경사 하강법 알고리즘을 시각화하는 인터랙티브 계산기를 제공합니다.
경사 하강법 알고리즘은 함수 \( f(x, y) \)에 대해 \( x \)와 \( y \) 값을 반복적으로 조정하여 함수 \( f(x, y) \)의 최소값을 찾습니다. 초기 값 \( x_0 \)과 \( y_0 \)에서 시작하여 함수의 기울기를 사용해 최소값으로 가는 방향으로 이동하며, 학습률 \( r \)에 의해 이동 크기가 조정됩니다. 이 과정은 값의 변화가 충분히 작아지거나 다른 종료 조건이 충족될 때까지 계속됩니다.
다음은 함수 \( f(x, y) \)에 대해 초기 값 \( x_0 \)과 \( y_0 \), 학습률 \( r \)을 사용한 경사 하강법 과정의 단계별 설명입니다:
경사 하강법 설명
1. 초기화:
- 변수 \( x \)와 \( y \)에 대한 초기 추정값으로 시작합니다. 이 초기 값들을 \( x_0 \)와 \( y_0 \)로 설정합니다.
- 학습률 \( r \)을 선택하여 최소값으로 가는 단계의 크기를 조정합니다.
2. 기울기 계산:
- 함수 \( f(x, y) \)에 대해 \( x \)와 \( y \)에 대한 부분 도함수를 계산합니다:
\[
\dfrac{\partial f}{\partial x} \quad \text{및} \quad \dfrac{\partial f}{\partial y}
\]
- 현재 \( x \)와 \( y \) 값에서 이 부분 도함수를 평가합니다. 이 도함수를 각각 \( \dfrac{\partial f}{\partial x}(x_k, y_k) \) 및 \( \dfrac{\partial f}{\partial y}(x_k, y_k) \)로 나타내며, 여기서 \( k \)는 현재 반복 인덱스입니다.
3. 업데이트 규칙:
- 기울기의 반대 방향으로 이동하여 \( x \)와 \( y \) 값을 조정합니다(함수를 최소화하므로):
\[
x_{k+1} = x_k - r \dfrac{\partial f}{\partial x}(x_k, y_k)
\]
\[
y_{k+1} = y_k - r \dfrac{\partial f}{\partial y}(x_k, y_k)
\]
- 여기서 \( x_{k+1} \)과 \( y_{k+1} \)는 한 번의 반복 후 업데이트된 \( x \)와 \( y \) 값입니다.
4. 반복:
- 기울기를 계산하고 \( x \)와 \( y \) 값을 업데이트하는 과정을 종료 조건이 만족될 때까지 반복합니다. 종료 조건은 다음과 같을 수 있습니다:
- 최대 반복 횟수 도달.
- 반복 간의 \( x \)와 \( y \) 값 변화가 미리 정해진 임계값보다 작을 때.
- 기울기 크기 \( \dfrac{\partial f}{\partial x}(x_k, y_k) \) 및 \( \dfrac{\partial f}{\partial y}(x_k, y_k) \)가 미리 정해진 임계값보다 작을 때.
5. 수렴:
- 종료 조건이 만족되면, \( x \)와 \( y \) 값은 함수 \( f(x, y) \)의 최소값에 가까워져야 합니다.
또한 수렴을 조사하기 위한 또 다른 경사 하강법 계산기도 포함되어 있습니다.
계산기 사용 방법
이 계산기는 교육 목적으로만 경사 하강법 알고리즘을 시각화하기 위해 사용됩니다. 따라서 계산기에 입력된 함수가 최소값을 가지고 있고, 초기 값은 그래프 등을 통해 찾는 것이 좋습니다.
함수 \( f(x,y) \), 초기 값 \( x_0 \) 및 \( y_0 \), 그리고 학습률 \( r \)을 입력하십시오.
출력은 다음과 같습니다:
1) 함수 \( f(x,y) \)의 부분 도함수 \(
\dfrac{\partial f}{\partial x} \; \text{및} \; \dfrac{\partial f}{\partial y}
\)
2) 단계 번호와 업데이트된 \( x \) 및 \( y \) 값,
3) 업데이트된 \( x \) 및 \( y \) 값에서의 부분 도함수 값이 표시됩니다.
4) 모든 업데이트된 \( x \) 및 \( y \) 값의 그래프.
5) \( x \) 및 \( y \), 부분 도함수 값 및 \( f(x,y) \) 값이 출력으로 제공되는 테이블.
참고 아래 값 테이블에서 수렴이 발생할 때 부분 도함수 \(
\dfrac{\partial f}{\partial x} \; \text{및} \; \dfrac{\partial f}{\partial y}
\) 가 0에 가까워지고 \( f(x,y) \)는 지역 최소값에 가까워집니다.