선형대수학개론 1.1

조범희 선생님의 인프런 선형대수학개론 강의를 정리한 내용에, 제가 생각하고 이해한 것을 추가하였습니다.

1.1 Systems of Linear Equations

Systems of Linear Equations는 우리가 일반적으로 보던 연립 방정식의 꼴과 비슷하다. 이때, 이 연립방정식의 각 행이 Linear 해야된다. 각 행, 즉 각 행의 다항식이 Linear 하다는 것은 다항식의 degree가 2보다 작다는 것이다.

e.g. degree of a polynomial : $x^2y^3 + x^1y^2 + x^2y^0$

The first term has a degree of 5 (the sum of the powers 2 and 3), the second term has a degree of 3, the third term has a degree of 2. Thus, the polynomial has a degree of 5, which is the highest degree of any term. (https://en.wikipedia.org/wiki/Degree_of_a_polynomial)

Linear Equations

\[a_1x_1+a_2x_2+a_3x_3+\cdots+a_nx_n = b\]

$a_1, a_2, a_3, \cdots, a_n$ → Coefficient

$a_1, a_2, a_3, \cdots, a_n, b$ → real or complex numbers

$4x_1 - 5x_2 = x_1x_2$ → $x_1x_2$ 로 인해 Linear Equation 이 아니다

즉, 앞서 설명한 Linear Polynomials에 속하는 equation들을 Linear Equations라고 한다.

System of Linear Equations

A collections of one or more linear equations

(하나여도 상관없다)

=> 이를 짧게 Linear System이라고도 한다.

1개 이상의 Linear Equations를 연립 방정식의 형태로 모은 형태를 System of Linear Equations라고 한다. 여러 공학 및 과학적 분야들에서 System에 영향을 끼치는 변수들이 존재할 때 그 변수들과 변수들이 미치는 영향의 정도를 coefficient로 해서 연립 방정식을 만들 수 있다. 이와 같이 연립 방정식으로 하나의 system을 설명하고, 그 연립 방정식의 해가 그 system을 설명하는데 중요한 역할을 하는 것을 감안하면, 이러한 Linear System의 해와 관련된 여러 성질들이 얼마나 중요할지 미리 짐작해볼 수 있다. 이제 이러한 Solution 들을 모은 Solution Set에 대해 얘기해보자.

Solution Set

The set of all possible solutions of the linear system

Two linear systems are called equivalent if they have the same solution set

Solution Set은 Linear System의 solution을 모은 것으로, 두 Linear System이 동일한 solution set을 가지면, 두 Linear System은 equivalent 하다.

A system of linear equations has either

1. no solution (inconsistent), or
2. exactly one solution (consistent), or
3. infinitely many solutions (consistent)

Solution은 존재하지 않거나 (inconsistent), 존재한다 (consistent). Solution이 존재할 경우, 무한이 많은 solution이 있거나, 또는 단 하나의 solution만 존재한다. Consistent와 Inconsistent는 빈번히 사용되는 용어라 꼭 기억해야 한다.

Matrix Notation

아래와 같은 Linear System이 존재할 때,

\[\begin{matrix} x_1-2x_2+x_3 = 0 \\ 2x_2-8x_3=8 \\ -4x_1+5x_2+9x_3 = -9 \end{matrix}\]

각 행에서 동일한 변수의 coefficient 들을 모아 아래와 같이 matrix 형태로 구성이 가능하다.

\[\begin{bmatrix} 1 & -2 & 1 \\ 0 & 2 & -8 \\ -4 & 5 & 9 \end{bmatrix}\]

이를 coefficient matrix라고 하며, 여기서 이 matrix는 (3x3) 라는 size를 가진다.

이때, 각 row에 해당하는 방정식의 우변도 coefficient와 마찬가지로 포함해 나타낸 matrix는 아래와 같고,

\[\begin{bmatrix} 1 & -2 & 1 & 0 \\ 0 & 2 & -8 & 8 \\ -4 & 5 & 9 & -9 \end{bmatrix}\]

이를 augmented matrix 라고 하고, (3x4)를 size로 갖는다.

일반적으로 연립 방정식을 푸는 방식을 matrix에 그대로 적용할 수 있다. 여기서 우리는 matrix의 elementary row operation을 자연스럽게 발견할 수 있다.

예제를 살펴보자.

ex1. Solve the following system of linear equations

우선 아래에 한 Linear System과, 그와 동일한 Matrix Notation이 주어져있다.

Linear System

\[\begin{matrix} x_1-2x_2+x_3 = 0 \\ 2x_2-8x_3=8 \\ -4x_1+5x_2+9x_3 = -9 \end{matrix}\]

Matrix Notation

\[\begin{bmatrix} 1 & -2 & 1 & 0 \\ 0 & 2 & -8 & 8 \\ -4 & 5 & 9 & -9 \end{bmatrix}\]

아래와 같이 eq(1)과 eq(3)에 적절한 연산을 가해서, eq(3)의 $x_1$을 소거할 수 있다. 이를 eq(3a)라고 하자.

\[\begin{aligned} eq(1)\quad 4*(x_1-2x_2+x_3=0) \\ eq(3)\quad +(-4x_1+5x_2+9x_3=-9) \\ \rule{6cm}{0.4pt} \\ eq(3a)\quad -3x_2+13x_3=-9 \end{aligned}\]

이제, $x_1$이 소거된 eq(3a)로 eq(3)를 대체할 수 있다. 이를 replacement라고 한다.

이때의 Linear System과 그 Matrix Notation은 아래와 같이 표현된다.

\[\begin{aligned} eq(1)\quad x_1-2x_2+x_3 = 0 \\ eq(2)\quad 2x_2-8x_3=8 \\ eq(3a)\quad -3x_2+13x_3=-9 \end{aligned}\] \[\begin{bmatrix} 1 & -2 & 1 & 0 \\ 0 & 2 & -8 & 8 \\ 0 & -3 & 13 & -9 \end{bmatrix}\]

각 행의 scalar 배를 scaling이라고 한다.

\[\begin{aligned} eq(2)\quad \frac{1}{2}*(2x_2-8x_3=8) \\ \rule{6cm}{0.4pt} \\ eq(2a)\quad x_2-4x_3=4 \end{aligned}\]

위와 같이 eq(2)를 eq(2a)로 scaling 하고,

\[\begin{aligned} eq(1)\quad x_1-2x_2+x_3 = 0 \\ eq(2a)\quad x_2-4x_3=4 \\ eq(3a)\quad -3x_2+13x_3=-9 \end{aligned}\] \[\begin{bmatrix} 1 & -2 & 1 & 0 \\ 0 & 1 & -4 & 4 \\ 0 & -3 & 13 & -9 \end{bmatrix}\]

eq(2a)와 eq(3a) 간의 연산을 통해 eq(3a)의 $x_2$를 소거한다.

\[\begin{aligned} eq(2a)\quad 3*(x_2-4x_3=4) \\ eq(3a)\quad +(-3x_2+13x_3=-9) \\ \rule{6cm}{0.8px} \\ eq(3b)\quad x_3=3 \end{aligned}\]

따라서, 아래와 같은 꼴을 만들 수 있다.

\[\begin{aligned} eq(1)\quad x_1-2x_2+x_3 = 0 \\ eq(2a)\quad x_2-4x_3=4 \\ eq(3b)\quad x_3=3 \end{aligned}\] \[\begin{bmatrix} 1 & -2 & 1 & 0 \\ 0 & 1 & -4 & 4 \\ 0 & 0 & 1 & 3 \end{bmatrix}\]

이러한 형태를 Echelon Form이라고 한다. 자세한 설명은 아마 다음 글에서 등장할 것이다.

---

이어서, 거꾸로 다른 행들의 변수들도 점차 소거하며,

\[\begin{aligned} eq(1a)\quad x_1-2x_2=-3\\ eq(2b)\quad x_2=16\\ eq(3b)\quad x_3=3 \end{aligned}\] \[\begin{bmatrix} 1 & -2 & 0 & -3 \\ 0 & 1 & 0 & 16 \\ 0 & 0 & 1 & 3 \end{bmatrix}\]

행 2에는 $x_2$만 남기고,

\[\begin{aligned} eq(1)\quad x_1-2x_2+x_3 = 0\\ eq(2a)\quad x_2-4x_3=4\\ eq(3b)\quad x_3=3 \end{aligned}\] \[\begin{bmatrix} 1 & 0 & 0 & 29 \\ 0 & 1 & 0 & 16 \\ 0 & 0 & 1 & 3 \end{bmatrix}\]

이어서 행 1에는 $x_1$만 남겼다. 이처럼 Matrix Notation에 Elementary Row Operations를 적용하여, 점차 Linear System을 풀어나가는 방향으로 Matrix를 변화시켜 나갈 수 있다.

Elementary Row Operations

replacement

interchange

scaling

Two matrices are row equivalent if there is a sequence of elementary row operations that transforms one matrix into the other

If the augmented matrices of two linear systems are row equivalent, then the two systems have the same solution set.

두 matrix가 element row operation의 sequence를 거쳐 서로를 표현할 수 있으면, 두 matrix는 row equivalent 하다. 두 Linear System의 Augmented Matrix가 row equivalent하면, 두 Linear System은 동일한 solution set을 가진다. 즉, equivalent 하다.