1. 최소 자승 근사법 (Least Square Method, Least Mean Square, Least Squre Approximation)
ㅇ `잔차의 제곱의 합을 최소화`시켜,
- 실제에 가깝도록, 추정/근사하는 기법(수학적 도구)을 말함
ㅇ 즉, 최소자승법이란,
- 적은 수의 관찰값들 만으로,
- 그 상황을 가장 잘 설명하는 모델식(예측식)을 찾으려고 할 때,
. (여기서의 모델은, 선형 또는 비선형/곡선으로도 할 수 있으나, 주로 선형을 많이 씀)
- 그 기준을 `잔차의 제곱의 합을 최소화`함에 촛점을 두는 방법
. (관측값,추정값,잔차,잔차 제곱 합,최소화 등의 의미는, ☞ 아래 4.항 참조)
ㅇ 한편, 확률/통계 이론에서,
- 적은 수의 표본들로써 어떤 알지 못하는 값을 추정할 때 사용되는 방법 중 하나로,
. 최소자승법은, 굳이, 확률분포를 가정하지 않고도 추정할 수 있는 방법 임
- `최소자승법`에 대한 통계적 추론 용어로는,
. `최소평균제곱오차(MMSE) 추정` 이라고 함
2. 최소자승법의 개략 역사
ㅇ 최소자승법 최초 발표(1805) : 르장드르 (프랑스, 1752~1833)
ㅇ 최소자승법 완성 및 확률과의 관계를 최초로 설명 : 가우스 (독일, 1777~1855)
ㅇ 최소자승법과 확률을 연결한 가우스 기법을 개선 : 라플라스 (프랑스, 1749~1827)
3. 최소자승법의 특징
ㅇ 적은 수의 관찰값들 만으로, 그 상황을 가장 잘 설명하는 모델 방정식을 예측하는 것임
- 통계학에서는, 모델 방정식을 회귀 방정식 또는 회귀 모형 이라고도 함
ㅇ 실제로는, 이미 정해진 모델 방정식의 파라미터(계수)를 구하는 방법 임
- 즉, 전체를 대표하는 모델 방정식 또는 모델 다항식에서 각 항의 계수를 구하려는 것임
. 선형(또는, 비선형) 모델 방정식의 파라미터(계수)를 구하는 대표적인 방법 중 하나
. 선형일 경우, 기울기 및 절편을 구하는 것임
※ [참고] ☞ 선형 회귀분석, 회귀분석 참조
- 즉, 최소자승법은 회귀분석에서 회귀계수의 추정에 사용되는 방법의 일종임
4. 최소자승법의 전개(유도)
ㅇ 관측 데이터와 모델 데이터 간에 잔차 제곱 합을 최소화하도록,
- 모델식 내 파라미터를 결정하는 것임
ㅇ 잔차 제곱 합, 오차 제곱 합 (RSS : Residual Sum of Squares, SSR : Sum of Squared Residuals)
[# RSS = \sum^n_{i=1} \left( e_i \right)^2 = \sum^n_{i=1} \left( y_i - f(x_i) \right)^2 #]
- 관측값 : {# y_i \quad #}
- 추정값 : {# f(x_i) #}
- 잔차 : 실제 관측값과 추정값 간의 차이값 {# e_i = y_i - f(x_i) #}
- 잔차 제곱 합 : 관측값과 추정값 간의 차이의 제곱들을 모두 합한 값
ㅇ 여기서, `잔차 제곱 합`을 쓰는 이유
- 만일, 단지 `잔차의 합` 만을 최소화하면, 음과 양의 편차가 상쇄되므로,
- 결국, 편차의 합이 0 이 되버림
ㅇ 한편, 표준 선형 회귀분석 모델의 경우에는, `잔차의 제곱의 합`은 다음과 같음
[# RSS = \sum^n_{i=1} \left( y_i - (\alpha + \beta x_i) \right)^2 #]
ㅇ 이때, 이들 각 파라미터별로 편미분을 하여 0 으로 놓으면,
[# \frac{\partial (RSS)}{\partial \alpha} = -2 \sum^n_{i=1} (y_i - \alpha - \beta x_i) = 0 \\ \frac{\partial (RSS)}{\partial \beta} = -2 \sum^n_{i=1} (y_i - \alpha - \beta x_i)x_i = 0 #]
- 극값(최대값,최소값)을 구할 수 있게됨
ㅇ 결국,
- 각 파라미터(미지수 α,β)별로 편미분된 식으로 구분된 연립방정식으로부터,
- 각 파라미터 값을 구할 수 있고,
- 이로부터, 결과적인 `최적의 모델 방정식(또는, 최적 회귀식)`을 구할 수 있게됨
5. 선형대수에서, 최소 제곱 문제 (Least Square Problem)
ㅇ (최소 제곱 해, 최적 근사 해)
- 선형연립방정식의 해가 없는(불능) 경우에,
- 즉, 행렬방정식 {#A\mathbf{x}=\mathbf{b}#}를 만족하는 해가 없을 때,
- {#\|\mathbf{b}-A\mathbf{\hat{x}}\|#}을 최소로 만드는 값 {#\mathbf{\hat{x}}#}을 근사 해로 사용함
ㅇ (문제)
- m × n 행렬 {#A#}와 {#R^m#}의 벡터 {#\mathbf{b}#}가 주어졌을 때,
- 잔차 제곱 {#\|\mathbf{b}-A\mathbf{x}\|^2 #}이 최소가 되도록하는,
- {#\mathbf{x}\in R^n#}를 구하는 문제
* 여기서,
. 불완전한 추정 시스템 : {#A\mathbf{x}=\mathbf{b}#}
.. {#A#} : m × n 행렬인 시스템 행렬(계수 행렬)
.. m : 방정식의 갯수
.. n : 미지수의 갯수
. 오차 벡터 : {# \mathbf{e} = \mathbf{b} - A\hat{\mathbf{x}}#} ☞ 벡터 투영 참조
.. m개의 관측값 벡터 : {#\mathbf{b}#}
.. 추정 벡터 : {# \hat{\mathbf{x}} #}
. 잔차(오차) 제곱 : {# \|\mathbf{e}\|^2 = \|\mathbf{b} - A\hat{\mathbf{x}}\|^2 #}
. 잔차 제곱을 최소화하는 최소 제곱 해 : {#\mathbf{x}#}
ㅇ (목표)
- {#\mathbf{x}#}에 대한 n(< m)개의 값(파라미터)들을,
- 오차를 최소화하는 관점에서 택하여,
- 이들을 관측값에 잘 맞추려고 함