1. 추정의 정확성 척도
ㅇ 통계적 추정(Estimation)의 정확성(Accuracy)에 대한 질적인 척도가 필요함
- 즉, 추정값이 참값에 과연 어느정도 근접하는가를 척도화(정량화)시킬 필요가 있음
ㅇ 이에따라, 오차 또는 잔차를 일반화시킬 수 있는 척도들의 예(例)로는,
- 절대값 오차 (평균 절대값 오차, 최대 절대값 오차 등)
- 평균 제곱 오차 (MSE)
. `오차(잔차)의 제곱에 대해 평균을 취한 것`
- 제곱근 평균 제곱 오차 (RMSE)
. `오차(잔차)의 제곱에 대해 평균을 취하고 이를 제곱근한 것`
ㅇ 한편, 표준편차,평균 제곱 오차(MSE),제곱근 평균 제곱 오차(RMSE) 등이 갖는 공통적인 의미로는,
- 개별 관측값들이 중심에서 과연 얼마나 멀리 떨어져 있느냐의 정도를 나타내는 척도 들임
ㅇ 결국, MSE,RMSE 등이 작을수록 추정의 정확성이 높아짐
- 이를 추정의 질적 평가 척도로 삼을 수 있음
※ [참고]
- 추정치를 얻는 방법의 성능(추정 정확성)을 일반화/정량화한 함수 ☞ 비용 함수
- 평균 제곱 오차를 최소화시키는 추정 방법 ☞ 최소평균제곱오차(MMSE)
- 잔차 제곱의 합을 최소화시키는 추정 방법 ☞ 최소자승법(LSM), 회귀분석
- 관측값을 보고 여러 가설들을 평가할 때의 측도 ☞ 우도, 최대우도
2. MAE, MSE, RMSE 표현식
ㅇ 평균 절대값 오차 (MAE, Mean Absolute Deviation)
* 주로, 이상치가 많을 때 유용
[# e_{MAE} = \frac{1}{n} \sum^n_{i=1} | x_i - \hat{x}_i | #]
- 여기서, n 는 샘플 수, xi 는 관측값, xi^ 는 추정값(Estimated Value)
ㅇ 평균 제곱 오차 (MSE, Mean Square Error)
* 주로, 최소 평균제곱오차법(MMSE) 등에 쓰임
[# e_{MSE} = E [(X - \hat{X})^2] #]
- 여기서, E 는 기대값, X 는 랜덤변수, X^ 는 추정량(Estimate)
ㅇ 제곱근 평균 제곱 오차 (RMSE, Root Mean Square Error)
* 주로, 회귀분석, 최소제곱법 등에 쓰임
[# e_{RMSE} = \sqrt{e_{MSE}} = \sqrt{E [(X - \hat{X})^2]}
= \sqrt{\frac{1}{n} \sum^n_{i=1} (x_i - \hat{x}_i)^2} #]
3. 한편, MSE(평균제곱오차)가 추정 정확도의 척도로 많이 사용되는 이유
ㅇ 수학적인 분석이 쉬움
ㅇ 계산의 용이성 등