코딩 더 매트릭스 - 7장 차원 (1)

필립 클라인의 저서 코딩 더 매트릭스 7장 차원

1. Morphing 정리와 응용을 통해 벡터공간의 기저에 대한 성질을 이해합니다.
2. 차원과 랭크를 이해하고 차원이 기하학적으로 어떤 의미를 가지는지 알아봅니다.
3. Superset-basis 와 차원 원리의 두 성질을 이해합니다.
4. 행열의 행랭크와 열랭크가 동일함을 증명을 통해 이해합니다.
5. 직합에 대해 알아봅니다.

기저의 크기 |B|

벡터 공간 V에 대해 $S$는 $V$의 생성자들의 집합이라 하고 $B$는 $V$에 속하는 벡터들로 구성된 일차독립인 집합이라 하면 $|S| \ge |B|$입니다. 이를 Morphing 정리라 하고 교환정리를 이용해 증명할 수 있습니다.

$B = \{b_1, ..., b_n\}$, $k = |B|$라 하겠습니다. $k = 0$일 때, 즉 $B$가 영벡터로만 이루어진 집합일때 $|S| \ge |B|$가 성립합니다. 귀납적으로 $k = 1, ..., n$에 대해 $S_{k-1}$로부터 $S_k$를 얻음으로써 $|S| \ge |B|$임을 증명해보겠습니다. $A_k = \{b_1, ..., b_{k-1}\}$이라하면 $A_k \cup b_k$는 일차독립이므로 교환정리를 $A_k$와 $S_{k-1}$에 적용할 수 있습니다. $Span\text{ }(\{b_k\} \cup S_{k-1} - \{w\})$가 $V$를 생성하는 벡터 $w \in S_{k-1} - A_k$가 존재합니다. $S_k = \{b_k\} \cup S_{k-1} - \{w\}$라 정의하면 $S_1 = \{b_1\} \cup S_0 - \{w\}$, $S_2 = \{b_2\} \cup S_1 - \{w\}$, $S_3 = \{b_3\} \cup S_2 - \{w\}$ 처럼 $S_k$는 $|S|$를 일정하게 유지한 채 $b_k$를 추가합니다. $S_k$는 $\{b_1, ..., b_k\}$를 포함하면서 $V$를 생성합니다. 따라서 $|S| \ge |B|$입니다.

Morphing 정리를 이용해 벡터공간의 기저에 대한 성질을 몇가지 얻을 수 있습니다. $B_1$과 $B_2$를 벡터공간 $V$의 기저라 할 때, $B_1$과 $B_2$는 일차독립인 집합이면서 생성자들의 집합이므로 Morphing 정리의 $|S| \ge |B|$식에 대입할 수 있습니다. $S = B_1$, $B = B_2$일때 $|B_1| \ge |B_2|$입니다. 반대로 $S = B_2$, $B = B_1$일때 $|B_2| \ge |B_1|$입니다. 따라서 $|B_2| = |B_1|$이고 이는 벡터공간 $V$의 기저의 크기는 모두 같음을 의미합니다.

벡터공간 $V$의 생성자들의 집합이 $V$의 생성자들의 집합 중 가장 작은 집합이 될 필요충분조건은 이 집합이 $V$의 기저일 경우입니다. $T$를 $V$의 기저라 할때 $T$가 생성자들의 집합 중 가장 작은 집합인지 알아보겠습니다. $T$는 기저이므로 일차독립입니다. $S$를 $V$의 생성자들의 집합 중 가장 작은 집합이라고 할 때 $S$와 $T$를 Morphing 정리에 대입하면 $|S| \ge |T|$입니다. 따라서 $T$도 생성자들의 집합 중 가장 작은 집합입니다. $T$가 생성자들의 집합이지만 기저가 아니라고 할 때, 즉 일차종속일 때 Superfluous-vector 정리에 의해 $T$에서 하나의 벡터를 제거해도 생성자의 집합이 됩니다. 따라서 $T$는 생성자들의 집합 중 가장 작은 집합이 아닙니다.

차원

벡터공간의 기저의 크기를 차원이라 하고 벡터공간 $V$의 차원을 $dim\text{ }V$라 씁니다. 벡터들의 집합 $S$가 있을 때 $Span\text{ }S$의 차원을 $S$의 랭크라 하고 $rank\text{ }S$라 씁니다. $rank\text{ }S$는 $Span\text{ }S$의 기저의 크기이므로 $rank\text{ }S \le |S|$입니다.

행렬의 열벡터 집합의 랭크를 열랭크라 하고 행벡터 집합의 랭크를 행랭크라 합니다. 행렬 $M$이 있을때 열랭크는 $dim\text{ }Col\text{ }M$와 같고 행랭크는 $dim\text{ }Row\text{ }M$와 같습니다.

차원과 기하학적 구조

좌표의 수는 기저의 크기이고 기저의 크기는 주어진 벡터들로 구성된 집합의 랭크입니다.

예를 들어 $Span\{[1,2,-2]\}$ 는 3개의 좌표로 구성된 1차원 기하객체 직선입니다. 기저의 개수가 하나이므로 차원은 1입니다. $Span\{[0,0,0]\}$ 는 점입니다. 영벡터만이 기저를 형성하므로 차원은 0입니다.

$Span\{[1,2], [3,4]\}$ 는 $\Bbb{R}^2$의 모든 것, 즉 2차원 객체를 구성합니다. 반면에 $Span\{[1,3],[2,6]\}$은 기저의 크기가 하나이므로 차원이 1입니다.

$Span\{[1,0,0], [0,1,0], [0,0,1]\}$ 은 $\Bbb{R}^3$의 모든 것, 즉 3차원 객체를 구성합니다. 반면에 $Span\{[1,0,0], [0,1,0], [1,1,0]\}$ 은 2차원 객체 평면을 구성합니다.

Superset-Basis

임의의 벡터공간 $V$와 벡터들로 구성된 일차독립 집합 $T$에 대해, $V$는 $T$의 모든 원소를 포함하는 기저를 가집니다. 이를 Superset-Basis라 하고 Grow 알고리즘으로 증명할 수 있습니다.

아래와 같은 Grow 알고리즘의 한 버젼이 있습니다.

def superset_basis(T, V):
	initialize B to be equal to T
	repeat while possible
		find a vector v in V that is not in Span B, and put it in B

두번째 줄에서 $T$는 일차독립 집합이므로 $B$는 일차독립 집합으로서 초기화됩니다. Grow 알고리즘은 생성자 집합을 찾아내고 $Span\text{ }B = V$ 입니다. 따라서 $B$는 $V$의 기저이면서 $T$의 모든 원소를 포함합니다.

차원 원리

만약 $V$가 $W$의 부분공간이면 다음 성질을 얻습니다.

• $dim\text{ }V \le dim\text{ }W$
• $dim\text{ }V = dim\text{ }W$이면 $V = W$

Superset-Basis를 이용해 위 성질들을 증명할 수 있습니다. $V$의 기저를 $v_1, ..., v_k$라 하면 $dim\text{ }V = k$이고 $W$는 일차독립인 $V$의 기저 $v_1, ..., v_k$를 포함하는 기저를 가지므로 $dim\text{ }V \le dim\text{ }W$입니다. 만약 $dim\text{ }V = dim\text{ }W$이면 $W$의 기저가 $v_1, ..., v_k$ 이외의 다른 벡터는 포함하지 않으므로 $V$의 기저는 또한 $W$의 기저임을 뜻합니다. 따라서 $V = W$입니다.

첫번째 성질을 이용하면 $\Bbb{R}^D$상의 벡터들로 구성된 집합의 랭크는 $|D|$보다 작거나 같습니다. D-벡터들로 구성된 집합이 $\Bbb{R}^D$상의 벡터공간의 부분공간이므로 참입니다. 예를 들어 $Span\{[1,0,0], [0,1,0]\}$의 차원 2는 3-벡터들의 집합의 랭크이고 이는 3보다 작은 값입니다.

Rank 정리

임의의 행렬 $A$의 행랭크와 열랭크는 같습니다. 예를 들어 $n$개의 열벡터로 구성된 행렬 $A$가 다음과 같습니다.

$A$의 열공간의 기저를 $b_1, ..., b_r$이라 하고 $A$의 열벡터들을 $A$의 열공간의 기저로 다시 표현하면 다음과 같습니다.

$u_1, ..., u_n$은 열공간의 기저 $b_1, ..., b_r$에 대한 좌표표현 입니다. 간단히 $A = BU$로 쓸 수 있고 이때 $U$는 $r \times n$행렬입니다.

이제 행렬 곱셈을 행벡터들로 구성된 행렬 곱셈으로 바꾸어 보겠습니다.

$A$를 $B$와 $U$의 벡터-행렬 곱셈으로 바라보면 $A$의 행공간은 $U$의 행벡터들에 대해 $\bar{b_1}, ..., \bar{b_m}$를 좌표표현으로 갖습니다. 즉 $A$의 행공간은 $U$의 행공간의 부분공간입니다. $U$의 행공간의 차원은 $U$의 행벡터들의 개수 $r$보다 작거나 같으므로 부분공간인 $A$의 행공간의 차원도 $r$보다 작거나 같습니다. $r$은 $A$의 열공간의 차원이므로 행공간의 차원은 열공간의 차원보다 작거나 같습니다.

똑같은 증명과정을 $A^T$에 대해 적용하면 $A^T$의 행공간의 차원은 열공간의 차원보다 작거나 같고, 이는 $A$의 열공간의 차원이 행공간의 차원보다 작거나 같음을 의미합니다. 따라서 $A$의 열공간과 행공간의 차원은 같습니다.

직합 Direct sum

벡터공간 $U$와 $V$가 영벡터만을 공유할 때, 즉 교집합이 영벡터뿐일 때 두 벡터공간의 직합 $U \oplus V$을 아래와 같이 정의합니다.

$U \oplus V$는 $U$와 $V$의 벡터의 모든 합으로 구성된 집합입니다. 직합의 의미를 기하학적으로 이해해 보겠습니다.

$U = Span\text{ }\{[4,-1,1]\}$, $V = Span\text{ }\{[0,1,1]\}$이라 하면 $U$와 $V$는 각각 벡터의 생성이고 직선을 형성합니다. 유일한 교점은 원점이므로 직합을 정의할 수 있습니다. 직합은 $Span\text{ }\{[4,-1,1], [0,1,1]\}$이며 두 개의 직선을 포함하는 평면입니다.

평면의 방정식은 두 벡터의 외적으로 법선벡터를 찾아 구할 수 있습니다.

법선벡터의 $[-2,-4,4]$와 원점을 이용해 평면방정식 $z = 0.5x + y$를 구할 수 있습니다. matplotlib를 이용해 직접 두 직선과 평면을 그려보겠습니다.

import matplotlib.pyplot as plt
import numpy as np
from mpl_toolkits.mplot3d import Axes3D

ax = plt.subplot(projection='3d')

# 직선1
ax.plot3D([4,-4], [-1, 1], [1, -1], linewidth=3)

# 직선2
ax.plot3D([0,0], [4, -4], [4, -4], linewidth=3)

# 평면
x, y = np.meshgrid(range(-4, 4), range(-4,4))
z = 0.5 * x + y
ax.plot_surface(x, y, z, alpha=0.5)
plt.show()

직합에 대한 몇가지 성질을 알아보겠습니다. $U$와 $V$가 영벡터만을 공유할때 $U$의 생성자들의 집합과 $V$의 생성자들의 집합의 합집합은 $U \oplus V$의 생성자들의 집합입니다. $U = Span\text{ }\{u_1, ..., u_n\}$이고 $V = Span\text{ }\{v_1, ..., v_m\}$ 이라 할 때 $U$의 내의 모든 벡터는 $\alpha_1 u_1 + ... + \alpha_n u_n$으로 표현할 수 있고 $V$의 내의 모든 벡터는 $\beta_1 v_1 + ... + \beta_m v_m$으로 표현할 수 있습니다. 그래서 $U \oplus V$ 내의 모든 벡터는 $\alpha_1 u_1 + ... + \alpha_n u_n + \beta_1 v_1 + ... + \beta_m v_m$ 으로 표현할 수 있습니다. 이는 $U$와 $V$의 생성자들의 합집합이 $U \oplus V$의 생성자 집합임을 의미합니다.

$U$의 기저와 $V$의 기저의 합집합은 $U \oplus V$의 기저입니다. $U$의 기저를 $\{u_1, ..., u_n\}$라 하고 $V$의 기저를 $\{v_1, ..., v_m\}$라 하겠습니다. 기저는 생성자들의 집합이므로 $\{u_1, ..., u_n\}$와 $\{v_1, ..., v_m\}$의 합집합은 $U \oplus V$의 생성자들의 집합입니다. 또 $U \oplus V$내의 임의의 벡터 $\alpha_1 u_1 + ... + \alpha_n u_n + \beta_1 v_1 + ... + \beta_m v_m$ 는 공유벡터가 영벡터인 $U$와 $V$의 기저들의 선형결합, 즉 일차독립인 벡터들의 선형결합이므로 $\alpha_1 u_1 + ... + \alpha_n u_n + \beta_1 v_1 + ... + \beta_m v_m = 0$은 오직 자명한 선형결합일 경우 성립합니다. 따라서 $U$와 $V$의 기저들의 합집합 $\{u_1, ..., u_n, v_1, ..., v_m\}$은 일차독립이고 앞서 $U \oplus V$의 생성자들의 집합임을 증명했으므로 $U \oplus V$의 기저입니다. $\{u_1, ..., u_n, v_1, ..., v_m\}$의 개수는 $\{u_1, ..., u_n\}$의 개수와 $\{v_1, ..., v_m\}$의 개수의 합이므로 다음이 성립합니다.

벡터공간 $U$와 $V$에 대해 $u \in U$, $v \in V$이고 $U \oplus V$가 정의될 때 $U \oplus V$의 임의의 벡터 $u + v$는 유일하게 표현됩니다. $U$와 $V$의 기저를 각각 $\{u_1, ..., u_n\}$, $\{v_1, ..., v_m\}$이라 하면 $U \oplus V$의 임의의 벡터 $u + v$는 다음과 같이 표현할 수 있습니다.

$U$와 $V$가 영벡터만을 공유하고 $\{u_1, ..., u_n\}$, $\{v_1, ..., v_m\}$는 일차독립이므로 $u + v$는 유일하게 표현됩니다.