3. Linear Regression cost 함수 최소화 (모두를 위한 딥러닝 스터디)

Linear Regression의 cost 최소화 알고리즘의 원리

강의 슬라이드 : http://hunkim.github.io/ml/lec3.pdf

- Simplified hypothesis

  . H(x) = Wx

- cost(W)는 무엇일까?

  . 밥그릇 엎어놓은 모양인 그래프

  . 목표 : cost가 작아지는 W와 b를 찾는것

  . 사용되는 알고리즘 : Gradient descent algorithm (경사를 따라 내려가는 알고리즘)

- 어떻게 작동할까?

  . 각 지점마다 경사도 체크

  . 항상 최저점에 도달할 수 있다.

  . 경사도 구하는 방법은 미분!

- Convex function : 모양이 convex이기 대문에 항상 답을 찾을 수 있다. (cost의 최소값)