경사 하강법 계산기를 사용하여 선형 회귀 모델 \(y = ax + b\)의 계수 \(a\)와 \(b\)를 구할 수 있습니다. 이 계수들은 선형 최소 제곱 피팅 을 기반으로 한 분석적 방법과 비교됩니다. 또한 교육 목적으로 결과 비교도 제시됩니다.
\( n \)개의 데이터 포인트 \( (x_i , y_i) \)가 주어졌다고 가정하고, 선형 모델 \(y = ax + b\)를 찾기 위해 다음의 합을 최소화하려고 합니다:
\[ \Sigma^{n}_{i=1}(y_i - (a \cdot x_i + b))^2 \]
이 합은 데이터 포인트와 선형 모델 위의 점 사이의 거리를 나타냅니다.
참고: 제곱합이 절대값 대신 사용된 이유는 부분 도함수 및 기타 분석적 계산에서 실용적이기 때문입니다.
이제 선형 모델에 포함된 계수 \( a \)와 \( b \)를 계산하는 두 가지 방법을 제시하겠습니다.
경사 하강법 은 비용 함수의 값을 최소화하여 \(a\)와 \(b\)를 찾는 반복 최적화 알고리즘입니다:
\[ J(a, b) = (1/2n) \Sigma^{n}_{i=1}(y_i - (a \cdot x_i + b))^2 \] 이 업데이트 규칙에 필요한 부분 도함수는 다음과 같습니다: \[ \dfrac{\partial J}{\partial a} = (1/n) \Sigma^{n}_{i=1}(- x_i (y_i - (a x_i + b))) \] \[ \dfrac{\partial J}{\partial b} = (1/n) \Sigma^{n}_{i=1}(-(y_i - (a x_i + b ))) \]매개변수 \( a \)와 \( b \)에 대한 업데이트 규칙은 다음과 같습니다:
\[ a_{k+1} = a_k - r \dfrac{\partial J}{\partial a}|_{a=a_k,b=b_k} = a_k - r (1/n) \Sigma^{n}_{i=1}(-x_i (y_i - (a_k * x_i + b_k))) \] \[ b_{k+1} = b_k - r \dfrac{\partial J}{\partial b}|_{a=a_k,b=b_k} = b_k - r (1/n) \Sigma^{n}_{i=1}(-(y_i - (a_k x_i + b_k))) \]선형 최소 제곱 피팅에 기반한 분석적 방법은 제곱 오차 합을 최소화하여 유도된 폐쇄 형식 공식을 사용합니다. 매개변수 \(a\)와 \(b\)에 대한 공식은 다음과 같습니다:
\[ a = \dfrac{(n \cdot \displaystyle \Sigma^{n}_{i=1} (x_i \cdot y_i) - \Sigma^{n}_{i=1} x_i \cdot \Sigma^{n}_{i=1} y_i)}{ (n \cdot \Sigma^{n}_{i=1} (x_i^2) - (\Sigma^{n}_{i=1}x_i)^2) } \] \[ b = \dfrac{(\Sigma^{n}_{i=1}y_i - a \cdot \Sigma^{n}_{i=1}x_i) }{ n } \]이 계산기의 목적은 경사 하강법 알고리즘(업데이트 공식)을 기반으로 하는 반복 과정의 수렴에 대해 학습률 \( r \) 및 초기 계수 \( a \)와 \( b \)의 초기값이 미치는 영향을 조사하는 것입니다.
점의 수 \( n \)을 입력하고 "Generate Points"를 클릭하면 \( n \)개의 점이 무작위로 생성됩니다. 그런 다음 \( r \), \( a_0 \), \( b_0 \)의 다양한 값을 조사하십시오.
반복 과정은 부분 도함수 \( \dfrac{\partial J}{\partial a} \)와 \( \dfrac{\partial J}{\partial b} \)가 0에 가까워지면 수렴합니다.
필요한 경우 최대 반복 횟수를 늘릴 수 있지만, 계산 시간이 걸릴 수 있습니다.
데이터 포인트의 산점도(빨간색)와 경사 하강법의 \( y = a x + b \) 그래프(파란색), 그리고 선형 최소 제곱법의 그래프(녹색)가 표시됩니다.
점의 수를 입력하십시오:
\( n = \)
\( \dfrac{\partial J}{\partial a} \) =
\( \dfrac{\partial J}{\partial b} \) =
경사 하강법 방법의 결과\(a = \)
\(b = \)
선형 최소 제곱법 방법의 결과 (위의 \( a \) 및 \( b \) 공식 사용)\(a = \)
\(b = \)
비용 함수 \( J(a, b) \)의 최소값:
그래프 범례: 파란색은 경사 하강법, 녹색은 선형 최소 제곱법.