필립 클라인의 저서 코딩 더 매트릭스 9장 내적
norm과 내적의 정의와 성질을 이해합니다.
직교의 의미를 이해합니다.
투영을 이용해 벡터를 분해하고 분해한 성분이 어떤 의미를 가지는지 알아봅니다.
내적을 이용해 간단한 기계 학습을 배워봅니다.
norm과 내적
두 벡터 u u u v v v v − u v - u v − u v v v ∥ v ∥ \parallel v \parallel ∥ v ∥
임의의 벡터 v v v ∥ v ∥ \parallel v\parallel ∥ v ∥
임의의 벡터 v v v ∥ v ∥ \parallel v\parallel ∥ v ∥ v v v
임의의 벡터 v v v α \alpha α ∥ α v ∥ = ∣ α ∣ ∥ v ∥ \parallel{\alpha v}\parallel = |\alpha| \parallel v\parallel ∥ α v ∥ = ∣ α ∣ ∥ v ∥
임의의 벡터 u u u v v v ∥ u + v ∥ ≤ ∥ u ∥ + ∥ v ∥ \parallel{u + v}\parallel \le \parallel u\parallel + \parallel v\parallel ∥ u + v ∥ ≤ ∥ u ∥ + ∥ v ∥
마지막 성질은 아래 삼각형을 보면 쉽게 이해할 수 있습니다. 삼각형의 한변의 길이는 절대 다른 두변의 길이의 합보다 크지 않습니다.
실수 벡터들에 대한 내적
R \Bbb{R} R
⟨ u , v ⟩ = u ⋅ v \langle u,v \rangle = u \cdot v ⟨ u , v ⟩ = u ⋅ v 실수 벡터들에 대한 내적은 도트곱의 성질들을 따릅니다.
⟨ u + v , w ⟩ = ⟨ u , w ⟩ + ⟨ v , w ⟩ \langle u + v, w \rangle = \langle u, w \rangle + \langle v, w \rangle ⟨ u + v , w ⟩ = ⟨ u , w ⟩ + ⟨ v , w ⟩ ⟨ u , v ⟩ = ⟨ v , u ⟩ \langle u, v\rangle = \langle v, u\rangle ⟨ u , v ⟩ = ⟨ v , u ⟩ ⟨ α u , v ⟩ = α ⟨ u , v ⟩ \langle \alpha u, v \rangle = \alpha \langle u, v \rangle ⟨ α u , v ⟩ = α ⟨ u , v ⟩
벡터 v v v
∥ v ∥ = ⟨ v , v ⟩ \parallel v \parallel = \sqrt{\langle v, v \rangle} ∥ v ∥ = ⟨ v , v ⟩ v = [ v 1 , v 2 , . . . , v n ] v = [v_1, v_2, ..., v_n] v = [ v 1 , v 2 , . . . , v n ]
∥ v ∥ 2 = ⟨ v , v ⟩ = v 1 2 + v 2 2 + . . . + v n 2 = ∑ i ∈ D v i 2 \begin{aligned}
\parallel v \parallel^2 & = \langle v, v \rangle \\
& = {v_1}^2 + {v_2}^2 + ... + {v_n}^2 \\
& = \sum_{i \in D} {v_i}^2
\end{aligned} ∥ v ∥ 2 = ⟨ v , v ⟩ = v 1 2 + v 2 2 + . . . + v n 2 = i ∈ D ∑ v i 2 따라서 ∥ v ∥ = ∑ i ∈ D v i 2 \parallel v \parallel = \sqrt{\sum_{i \in D} {v_i}^2} ∥ v ∥ = ∑ i ∈ D v i 2
직교성 Orthogonality
직교(Orthogonal)는 수직(perpendicular)에 대한 수학적인 용어입니다. 직교의 정의에 대해 알아보기 전에 피타고라스의 정리를 이용해 그 동기를 살펴보겠습니다.
위 삼각형에서 빗변 u + v u + v u + v
∥ u + v ∥ 2 = ⟨ u + v , u + v ⟩ = ⟨ u + v , u ⟩ + ⟨ u + v , v ⟩ = ⟨ u , u ⟩ + ⟨ v , u ⟩ + ⟨ u , v ⟩ + ⟨ v , v ⟩ = ∥ u ∥ 2 + 2 ⟨ u , v ⟩ + ∥ v ∥ 2 \begin{aligned}
{\parallel u + v \parallel}^2 & = \langle u + v, u + v \rangle \\
& = \langle u + v, u \rangle + \langle u + v, v \rangle \\
& = \langle u, u \rangle + \langle v, u \rangle + \langle u, v \rangle + \langle v, v \rangle \\
& = {\parallel u \parallel}^2 + 2 \langle u, v \rangle + {\parallel v \parallel}^2
\end{aligned} ∥ u + v ∥ 2 = ⟨ u + v , u + v ⟩ = ⟨ u + v , u ⟩ + ⟨ u + v , v ⟩ = ⟨ u , u ⟩ + ⟨ v , u ⟩ + ⟨ u , v ⟩ + ⟨ v , v ⟩ = ∥ u ∥ 2 + 2 ⟨ u , v ⟩ + ∥ v ∥ 2 마지막 표현이 ∥ u ∥ 2 + ∥ v ∥ 2 {\parallel u \parallel}^2 + {\parallel v \parallel}^2 ∥ u ∥ 2 + ∥ v ∥ 2 ⟨ u , v ⟩ = 0 \langle u, v \rangle = 0 ⟨ u , v ⟩ = 0 u u u v v v
피타고라스 정리의 a 2 = b 2 + c 2 a^2 = b^2 + c^2 a 2 = b 2 + c 2 u u u v v v
∥ u + v ∥ 2 = ∥ u ∥ 2 + ∥ v ∥ 2 {\parallel u + v \parallel}^2 = {\parallel u \parallel}^2 + {\parallel v \parallel}^2 ∥ u + v ∥ 2 = ∥ u ∥ 2 + ∥ v ∥ 2 직교의 몇가지 성질을 알아보겠습니다.
u u u v v v u u u α \alpha α α v \alpha v α v
∵ ⟨ u , α v ⟩ = α ⟨ u , v ⟩ = α 0 = 0 \because \langle u, \alpha v \rangle = \alpha \langle u, v \rangle = \alpha 0 = 0 ∵ ⟨ u , α v ⟩ = α ⟨ u , v ⟩ = α 0 = 0
u u u v v v w w w u + v u + v u + v w w w
∵ ⟨ u + v , w ⟩ = ⟨ u , w ⟩ + ⟨ v , w ⟩ = 0 + 0 = 0 \because \langle u + v, w \rangle = \langle u, w \rangle + \langle v, w \rangle = 0 + 0 = 0 ∵ ⟨ u + v , w ⟩ = ⟨ u , w ⟩ + ⟨ v , w ⟩ = 0 + 0 = 0
평행 및 수직 성분으로의 벡터 분해
임의의 벡터 b b b v v v b ∥ v b^{\parallel v} b ∥ v b b b v v v b ⊥ v b^{\perp v} b ⊥ v b b b v v v
b = b ∥ v + b ⊥ v b = b^{\parallel v} + b^{\perp v} b = b ∥ v + b ⊥ v b ∥ v b^{\parallel v} b ∥ v v v v σ ∈ R \sigma \in R σ ∈ R
b ∥ v = σ v b^{\parallel v} = \sigma v b ∥ v = σ v 그리고 b ⊥ v b^{\perp v} b ⊥ v v v v
벡터 b b b v v v b b b S p a n { v } Span\{v\} S p a n { v } b ∥ v b^{\parallel v} b ∥ v b ⊥ v b^{\perp v} b ⊥ v S p a n { v } Span\{v\} S p a n { v } p p p
세 점 b b b b ∥ v b^{\parallel v} b ∥ v p p p
∥ b − p ∥ 2 = ∥ b ∥ v − p ∥ 2 + ∥ b − b ∥ v ∥ 2 {\parallel b - p \parallel}^2 = {\parallel b^{\parallel v} - p \parallel}^2 + {\parallel b - b^{\parallel v} \parallel}^2 ∥ b − p ∥ 2 = ∥ b ∥ v − p ∥ 2 + ∥ b − b ∥ v ∥ 2 만약 b ∥ v ≠ p b^{\parallel v} \neq p b ∥ v = p ∥ b ∥ v − p ∥ 2 > 0 {\parallel b^{\parallel v} - p \parallel}^2 > 0 ∥ b ∥ v − p ∥ 2 > 0 ∥ b − b ∥ v ∥ 2 < ∥ b ∥ v − p ∥ 2 + ∥ b − b ∥ v ∥ 2 {\parallel b - b^{\parallel v} \parallel}^2 < {\parallel b^{\parallel v} - p \parallel}^2 + {\parallel b - b^{\parallel v} \parallel}^2 ∥ b − b ∥ v ∥ 2 < ∥ b ∥ v − p ∥ 2 + ∥ b − b ∥ v ∥ 2 ∥ b − b ∥ v ∥ < ∥ b − p ∥ \parallel b - b^{\parallel v}\parallel < \parallel b - p \parallel ∥ b − b ∥ v ∥ < ∥ b − p ∥ b b b S p a n { v } Span\{v\} S p a n { v } b ∥ v b^{\parallel v} b ∥ v ∥ b − b ∥ v ∥ \parallel b - b^{\parallel v} \parallel ∥ b − b ∥ v ∥ ∥ b ⊥ v ∥ \parallel b^{\perp v} \parallel ∥ b ⊥ v ∥
투영 및 가장 가까운 점 찾기
b ∥ v = σ v b^{\parallel v} = \sigma v b ∥ v = σ v σ \sigma σ b ⊥ v b^{\perp v} b ⊥ v v v v
⟨ b ⊥ v , v ⟩ = 0 \langle b^{\perp v}, v \rangle = 0 ⟨ b ⊥ v , v ⟩ = 0 b ⊥ v = b − b ∥ v b^{\perp v} = b - b^{\parallel v} b ⊥ v = b − b ∥ v
⟨ b − b ∥ v , v ⟩ = ⟨ b , v ⟩ − ⟨ b ∥ v , v ⟩ = ⟨ b , v ⟩ − ⟨ σ v , v ⟩ = ⟨ b , v ⟩ − σ ⟨ v , v ⟩ \begin{aligned}
\langle b - b^{\parallel v}, v \rangle & = \langle b, v \rangle - \langle b^{\parallel v}, v \rangle \\
& = \langle b, v \rangle - \langle \sigma v, v \rangle \\
& = \langle b, v \rangle - \sigma \langle v, v \rangle
\end{aligned} ⟨ b − b ∥ v , v ⟩ = ⟨ b , v ⟩ − ⟨ b ∥ v , v ⟩ = ⟨ b , v ⟩ − ⟨ σ v , v ⟩ = ⟨ b , v ⟩ − σ ⟨ v , v ⟩ σ \sigma σ
σ = ⟨ b , v ⟩ ⟨ v , v ⟩ \sigma = \frac{\langle b, v \rangle}{\langle v, v \rangle} σ = ⟨ v , v ⟩ ⟨ b , v ⟩ 위의 정리를 기반으로 b ∥ v b^{\parallel v} b ∥ v b ⊥ v b^{\perp v} b ⊥ v project_along, project_orthogonal_1를 작성해 보겠습니다.
def project_along ( b, v) :
sigma = ( b * v) / ( v * v) if v * v != 0 else 0
return sigma * v
def project_orthogonal_1 ( b, v) :
return b - project_along( b, v)
외적과 투영
벡터 u u u v v v u v T uv^T u v T
[ u ] [ v T ] \begin{bmatrix}
\text{ } \\
u \\
\text{ }
\end{bmatrix}
\begin{bmatrix}
\text{ } & v^T & \text{ }
\end{bmatrix} ⎣ ⎢ ⎡ u ⎦ ⎥ ⎤ [ v T ] 외적을 이용해 v v v b b b b ∥ v b^{\parallel v} b ∥ v b ∥ v = σ v b^{\parallel v} = \sigma v b ∥ v = σ v σ = ⟨ v , v ⟩ ⟨ b , v ⟩ \sigma = \frac{\langle v, v \rangle}{\langle b, v \rangle} σ = ⟨ b , v ⟩ ⟨ v , v ⟩
b ∥ v = b ⋅ v ⟨ v , v ⟩ v b^{\parallel v} = \frac{b \cdot v}{\langle v, v \rangle}v b ∥ v = ⟨ v , v ⟩ b ⋅ v v 위 식을 행렬-행렬 곱셈으로 표현하면 다음과 같습니다.
1 ⟨ v , v ⟩ [ v ] ( [ v T ] [ b ] ) = 1 ⟨ v , v ⟩ ( [ v ] [ v T ] ) ⏟ 행렬 [ b ] \begin{aligned}
\frac{1}{\langle v, v \rangle}
\begin{bmatrix}
\text{ }\\
v \\
\text{ }
\end{bmatrix}
\begin{pmatrix}
\begin{bmatrix}
\text{ } & v^T & \text{ }
\end{bmatrix}
\begin{bmatrix}
\text{ }\\
b \\
\text{ }
\end{bmatrix}
\end{pmatrix}
= \frac{1}{\langle v, v \rangle}
\underbrace{
\begin{pmatrix}
\begin{bmatrix}
\text{ }\\
v \\
\text{ }
\end{bmatrix}
\begin{bmatrix}
\text{ } & v^T & \text{ }
\end{bmatrix}
\end{pmatrix}
}_{행렬}
\begin{bmatrix}
\text{ }\\
b \\
\text{ }
\end{bmatrix}
\end{aligned} ⟨ v , v ⟩ 1 ⎣ ⎢ ⎡ v ⎦ ⎥ ⎤ ⎝ ⎛ [ v T ] ⎣ ⎢ ⎡ b ⎦ ⎥ ⎤ ⎠ ⎞ = ⟨ v , v ⟩ 1 행 렬 ⎝ ⎛ ⎣ ⎢ ⎡ v ⎦ ⎥ ⎤ [ v T ] ⎠ ⎞ ⎣ ⎢ ⎡ b ⎦ ⎥ ⎤ 다음은 위 식의 행렬을 찾는 프로시저 projection_matrix입니다.
from matutil import zero_mat
from vecutil import list2vec
def projection_matrix ( v) :
M = zero_mat( ( v. D, v. D) )
norm = v * v
for r in v. D:
for c in v. D:
M[ r, c] = v[ r] * v[ c]
return M * ( 1 / norm)
기계학습
직교와 투영에 기반에 간단한 기계학습을 살펴보겠습니다. 데이터는 유방암 진단에 대한 각각의 피쳐벡터를 행으로 가지는 행렬과 결과벡터입니다. 행렬 방정식 M x = b Mx = b M x = b M M M b b b cancer_data.py의 프로시저 read_training_data로 가져올 수 있습니다.
from cancer_data import read_training_data
M, b = read_training_data( '../assets/train.data' ) 기계학습을 통해 M x = b Mx = b M x = b x ˉ \bar{x} x ˉ M x ˉ = b ˉ M\bar{x} = \bar{b} M x ˉ = b ˉ ( b ˉ − b ) 2 (\bar{b} - b)^2 ( b ˉ − b ) 2 w w w a i a_i a i h h h
h ( a i ) = w ⋅ a i h(a_i) = w \cdot a_i h ( a i ) = w ⋅ a i 앞서 M x ˉ = b ˉ M\bar{x} = \bar{b} M x ˉ = b ˉ b ˉ \bar{b} b ˉ h ( a i ) h(a_i) h ( a i )
( h ( a 1 ) − b 1 ) 2 + ( h ( a 2 ) − b 2 ) 2 + . . . + ( h ( a m ) − b m ) 2 (h(a_1) - b_1)^2 + (h(a_2) - b_2)^2 + ... + (h(a_m) - b_m)^2 ( h ( a 1 ) − b 1 ) 2 + ( h ( a 2 ) − b 2 ) 2 + . . . + ( h ( a m ) − b m ) 2 행렬A와 결과벡터 b, 가설 벡터 w를 인수로 받아 전체 에러를 구하는 프로시저 loss를 작성해 보겠습니다.
def loss ( A, b, w) :
diff = A * w - b
return diff * diff제곱의 합은 내적임을 이용해 반복문 없이 간단하게 프로시저를 작성할 수 있었습니다.
전체 에러의 최소화를 위해 경사하강법(그래디언트 디센트)를 알아볼 필요가 있습니다. 만약 솔루션 공간을 평면으로 그릴 수 있다면 다음과 같은 입체 평면이 그려집니다.
솔루션의 초기값이 위 평면의 임의의 지점에 있다고 가정하겠습니다. 최솟값에 도달하기 위해 지금의 점에서 가장 경사가 급한 지점으로 하강하고 다시 이동한 지점에서 경사가 가장 급한 지점으로 하강하면 최솟값에 도달하리라 예상할 수 있습니다. (실제로 전체 평면의 최소지점이 아닌 국지적인 최소지점에 도달할 수도 있습니다.) 이를 위해 그래디언트 ∇ f \nabla f ∇ f f ( [ x 1 , . . . , x n ] ) f([x_1, ..., x_n]) f ( [ x 1 , . . . , x n ] )
[ ∂ f ∂ x 1 , . . . , ∂ f ∂ x n ] [\frac{\partial f}{\partial x_1}, ..., \frac{\partial f}{\partial x_n}] [ ∂ x 1 ∂ f , . . . , ∂ x n ∂ f ] 전체 에러를 구하는 손실함수를 L ( x ) L(x) L ( x ) L ( x ) L(x) L ( x )
L ( x ) = ∑ i = 1 m ( a i ⋅ x − b i ) 2 L(x) = \sum_{i=1}^{m}(a_i \cdot x - b_i)^2 L ( x ) = i = 1 ∑ m ( a i ⋅ x − b i ) 2 L ( x ) L(x) L ( x ) x j x_j x j
∂ L ∂ x j = ∑ i = 1 m ∂ ∂ x j ( a i ⋅ x − b i ) 2 = ∑ i = 1 m 2 ( a i ⋅ x − b i ) a i j \begin{aligned}
\frac{\partial L}{\partial x_j} & = \sum_{i=1}^{m}\frac{\partial}{\partial x_j}(a_i \cdot x - b_i)^2 \\
& = \sum_{i=1}^{m}2 (a_i \cdot x - b_i) a_{ij}
\end{aligned} ∂ x j ∂ L = i = 1 ∑ m ∂ x j ∂ ( a i ⋅ x − b i ) 2 = i = 1 ∑ m 2 ( a i ⋅ x − b i ) a i j 여기서 a i j a_{ij} a i j x ⋅ a i x \cdot a_i x ⋅ a i x j x_j x j a i a_i a i
∇ L ( x ) = [ ∑ i = 1 m 2 ( a i ⋅ x − b i ) a i 1 , ∑ i = 1 m 2 ( a i ⋅ x − b i ) a i 2 , . . . , ∑ i = 1 m 2 ( a i ⋅ x − b i ) a i j ] \nabla L(x) = [\sum_{i=1}^{m}2 (a_i \cdot x - b_i) a_{i1}, \sum_{i=1}^{m}2 (a_i \cdot x - b_i) a_{i2}, ..., \sum_{i=1}^{m}2 (a_i \cdot x - b_i) a_{ij}] ∇ L ( x ) = [ i = 1 ∑ m 2 ( a i ⋅ x − b i ) a i 1 , i = 1 ∑ m 2 ( a i ⋅ x − b i ) a i 2 , . . . , i = 1 ∑ m 2 ( a i ⋅ x − b i ) a i j ] 그래디언트를 찾는 프로시저 find_grad를 작성해보겠습니다. 연산 과정을 떠올려 보면 벡터-행렬 곱셈을 이용해 간단하게 구현할 수 있습니다.
def find_grad ( A, b, w) :
return 2 * ( A * w - b) * A그래디언트 디센트는 find_grad를 통해 찾은 그래디언트에 작은 스칼라를 곱한 값을 원래의 w w w w w w σ \sigma σ
def gradient_descent_step ( A, b, w, sigma) :
return w - sigma * find_grad( A, b, w) 프로시저 gradient_descent_step를 사용해 주어진 이터레이션 수만큼 하강을 반복하는 프로시저 gradient_descent를 작성해 보겠습니다.
def gradient_descent ( A, b, w, sigma, T) :
for i in range ( T) :
w = gradient_descent_step( A, b, w, sigma)
if i % 30 == 0 :
print ( loss( A, b, w) )
return w위 프로시저에서는 이터레이션의 매 30번마다 현재 전체 에러를 출력합니다.
이제 유방암 진단 데이터를 이용해 가설 벡터를 구할 수 있도록 학습하고 validate.data에 적용해 보겠습니다.
from vecutil import list2vec
from vec import Vec
A, b = read_training_data( '../assets/train.data' )
w = Vec( A. D[ 1 ] , { } )
sigma = 10e - 10
T = 300
w = gradient_descent( A, b, w, sigma, T)
A_val, b_val = read_training_data( '../assets/validate.data' )
print ( loss( A_val, b_val, w) )
>> >
204.03071938964135 전체 에러만으로는 실제 결과와 얼마나 다른지 직관적으로 보기가 어렵습니다. 아래는 실제 데이터와 예측한 데이터가 얼마나 다른지 보여주고자 만든 프로시저입니다.
from vecutil import zero_vec
def signum ( u) :
v = zero_vec( u. D)
for d in u. D:
if u[ d] >= 0 :
v[ d] = 1
else :
v[ d] = - 1
return v
def fraction_wrong ( A, b, w) :
r = signum( A * w)
diff = ( r - b) / 2
return ( diff * diff) / len ( b. D) 프로시저 signum은 양수는 모두 1에 음수는 모두 -1에 매핑합니다. fraction_wrong는 벡터의 엔트리 값이 항상 1 또는 -1임을 이용해 실제와 예측이 얼마나 다른지 보여줍니다.
print ( fraction_wrong( A_val, b_val, w) )
>> >
0.1 
