[Supervised Machine Learning: Regression and Classification] Gradient descent for logistic regression

 Gradient Descent Implementation

 

 logistic regression model(f_w,b(x))에 새로운 x값을 입력하면 레이블이 1일 확률이 예측된다. linear regression과 마찬가지로 cost J를 최소화 할 수 있는 w와 b를 찾는 것이 중요한데, linear regression과 logistic regression은 모델부터 다르기 때문에 Gradient descent를 적용하는 식도 다르다. 

 

 우선 아래의 식을 cost가 최소가 되는 값을 찾을 때까지 계속해서 반복하는 것이 Gradient descent이다.

Gradient descent

  미분 값은 위의 식과 같이 표현할 수 있는데, 이러한 gradient descent 식만 보면 linear regression과 다를 게 없어 보인다. 

하지만 linear regression의 model은 f(x)=wx+b와 같이 표현이 되고, logistic regression은 다음과 같이 표현되듯이 f(x)에 대한 정의가 바뀌었기 때문에 둘의 Gradient descent는 다르다.

 

 linear regression과 logistic regression의 같은 점은 경사 하강을 모니터링 하여 수렴하는지 확인한다는 것과, 벡터화를 이용하여 경사 하강을 빠르게 실행한다는 것, feature scaling을 진행한다는 것이다.