1. 내리막 경사법, 경사 하강법 (Gradient Descent Method)
ㅇ 비용함수를 최소화하기 위해, 반복해서 파라미터를 조정해 나가는 것
ㅇ 경사 하강에 대해, 가장 직관적인 선택은, 경사가 가장 가파른 하강 방향 임
- 경사가 가장 가파른 방향은 그래디언트 Δf와 반대방향 임
ㅇ 특징
- 기계 학습에서 가장 널리 사용되는 최적화 알고리즘 중 하나
.. 마치 산을 내려가는 것처럼, 함수의 값이 가장 낮아지는 방향으로, 조금씩 이동하며,
최소값을 찾아가는 방법
- 구현이 간단하고 직관적
- 다양한 문제에 적용 가능
- (학습률,지역 최소값 문제) 학습률을 적절히 설정해야 하며, 지역 최소값에 빠질 수 있음
- (계산 비용) 특성이 많은 데이터셋에서는 계산 비용이 많이 들 수 있음
ㅇ 핵심 아이디어 셋(3)
- 기울기 : 함수 내 특정 지점의 기울기는, 그 지점에서 함수 값이 가장 빠르게 감소하는 방향
- 반복 이동 : 현 위치에서 기울기의 반대 방향으로 균일 이동하면 함수 값 감소 가능
- 학습률 : 이동 크기를 조절하는 매개변수
. 학습률이, 너무 크면, 최소값을 넘어가고, 너무 작으면, 학습 속도 느려질 가능성
ㅇ 표현식
- θ := θ - α * ∇J(θ)
. θ: 모델의 파라미터 (가중치)
. α: 학습률 (learning rate)
. ∇J(θ): 비용 함수 J에 대한 θ의 기울기 (gradient)