1. 최적화 문제의 수학적 표현
[# \underset{\mathbf{x}}{\text{minimize}} \quad f(\mathbf{x}) #]
: (최소화)
[# \text{subject to} \quad \mathbf{x} \in χ #]
: (제약조건)
2. 최적화 문제의 필수 요소 셋 : (목적 함수, 결정 변수, 제약 식)
ㅇ 목적 함수 (Objective Function) : {#f()#}
- 최적화시키려는 대상
. 이익,효용 등을 최대화 하거나,
. 비용,시간 등을 최소화 하는 것 중 하나임
- (기타명칭) 비용 함수, 손실 함수 등
- 例) f(x) = x2 등
ㅇ 결정 변수 (Decision Variable) : {#\mathbf{x}=[x_1,x_2,\cdots,x_n]#}
- 함수와 식(조건)에 포함되는 변수 {#x_i#} 로써,
. 목적 함수에 극값(통상,최소값)을 가져다주는 변수
. 의사결정자가 통제 가능한 변수
. 최적 대안을 정량적으로 표현한 것
- (기타명칭) 설계 변수(Design Variable), 선택 변수(Choice Variable), 파라미터 등
- 한편, 각 설계 변수의 영향력을 분석하는 것을, 민감도 분석 이라고 함
- 例) 구조 설계(두께,강도), 제어(이득), 공급망(경로,위치), 반응(온도,압력,농도) 등
ㅇ 제약조건/구속조건/제약식 (Constraint) : {#\mathbf{x} \in χ#}
- 해당 문제에 주어지는 제약
. 결정 변수들이 만족해야 할 조건들을 나타냄
. 등식(=) 또는 부등식(≤,≥)으로 주어짐
. 이를통해, 실현 가능한 해 집합 (feasible solution set : {#χ#})이 규정됨
- 例) 자원의 제약, 운영 규칙/법규, 물리 법칙 등
※ 한편,
- 해 (solution, 솔루션 : x*)
. 제약 조건을 만족하고, 목적 함수를 최소화시키는, 결정 변수에 할당되는 값
- 실행 가능 영역 (feasible region, feasible solution set : {#χ#})
. 제약 조건을 만족하는 해 집합이 취하는 영역
- 최적 값 (optimal value)
. 최적 해 x*에서의 목적 함수 값 f(x*)
3. 최적화 문제의 해결 방식
ㅇ 결정 변수 값을 바꾸어가면서,
ㅇ 목적 함수의 값을 최적화(최대화/최소화)하되,
ㅇ 동시에 등식 또는 부등식으로 표현된 제약조건을 만족하도록 함
4. 최적화 문제의 본질
ㅇ 결정 변수(파라미터)의 값과 위치를,
- (어느 방향으로 얼만큼) 조금씩 조금씩 변경해가며,
ㅇ 목적 함수를,
- 최적화 (더 이상 변경할 수 없는 지점까지) 시킬 수 있는, 파라미터를 찾아가려는 것
ㅇ 이때,
- 더 이상 최적화 시킬수 없는 지점을, Local Minima, Global Minima 라고 함
ㅇ 물론, 찾아가는 방법(기법)들이 많이 있지만,
- 대부분, 이동할 방향, 이동 크기에 대한 차이로 구분되어짐