[CS231n] Lecture 3 - Loss Functions and Optimization

 

www.youtube.com/watch?v=h7iBpEHGVNc&list=PL3FW7Lu3i5JvHM8ljYj-zLfQRF3EO8sYv&index=3

Stanford University에서 2017년도에 강의한 CS231n를 들으며 정리, 요약했다.

3강 Loss Functions and Optimization 강의 요약 시작!

---

Lecture 2 복습

고양이 사진을 인식하게 힘들게 만드는 원인

지난 시간의 복습

W의 row를 visualize

어떤 W가 좋은 W라고 할 수 있을까? 

car은 예측을 잘하고 frog는 엄청 못함

어떤 W가 best인지 알려면 loss function을 이용해야 함

어떤 W 가 least bed 한가?

 

loss function

x는 input (픽셀 이미지) y는 라벨, 타겟 이라고 불림

x랑 y 비교해서 어떤 방식으로 차이 값을 구하고, 모든 N개의 이미지에서 차이 합이 total Loss

 

multiclass SVM

Loss function의 일종

진짜 카테고리인 y_i를 제외한 다른 카테고리 j들에 대해서

진짜 카테고리를 예측한 score이 다른 카테고리를 예측한 점수 + 1 (1은 margin값) 보다 높으면,

즉 S_yi >= S_j + 1이라면, 값을 0을 준다. 

그렇지 않다면, S_j + 1 - S_yi 값을 준다

한 이미지에 모든 카테고리에 대해 구한 이 값들을 합하면, 1 data set에 대한 loss 값을 구할 수 있다.

그다음 모든 training data set에 대해서 평균을 구한다.

 

True class score이 다른 class의 점수보다 높으면~~ 의 if 문을 max로 바꾼 수식도 나와있다.

x축은 s_yi고 y축은 loss

s_yi가 s_j 보다 1만큼은 커야지 loss가 0 임을 알 수 있다.

 

example

지금 cat 사진에 대해 loss를 계산하는 것이다.

car score - cat score +1과 0을 비교, max값 선택, 다른 클래스랑도 같은 과정 후 합함

car에 대한 total loss는 0이다 

frog사진에 대한 total loss는 12.9

총합에 대한 평균은 5.27이다

 

SVM Loss에 대한 직관력을 기를 수 있는 질문 :

Q. car 이미지에서 만약 car score이 조금 변하면 어떻게 될까?

loss는 변하지 않을 것 : 이미 다른 점수보다 유의미하게 높아서 여전히 0

Q. SVM loss의 최대 최솟값은?

min은 0, max는 무한대

Q. W의 모든 값이 다 0에 가깝다면 SVM 로스 값은?

# class - 1

왜냐면 모든 점수가 0, 0,.., 0이 될 것이고 1이 클래스 -1 만큼 더해질 것 이기 때문

-> 유용한 디버깅 방법, 만약 W를 설정했는데 loss가 C-1이면 잘못된 것

Q. 만약 loss계산에 y_i가 포함된다면? (including j = y_i)

로스 값은 1만큼 증가할 것, S_yi - S_yi + 1이 포함될 것이니까

Q. 만약 위 네모 박스의 sum대신 mean을 쓰면?

전과 크게 변할 것이 없다, 그냥 rescale 한 것

Q. 만약 max()^2를 사용한다면?

이것은 다른 loss function이다, 차이가 크면 커질수록 really bad 하다는 정보를 주게 됨

어떤 loss를 사용할지 고려하는 것도 중요

 

SVM LOSS: Example code

W일 때 L=0이라면 2W일 때도 L=0

zero loss가 되는 게 한두 개가 아님

 

Loss : Data loss, Regularization

blue를 분류 -> 완전 똑같이 선 그 음 -> 새로운 input 들어옴 -> 초록색이 더 알맞다

파란색은 나의 training data set에 overfiting 되었고 너무 high dimension이다

더 간단한 W를 만들게 도와주는 term이 regularzation : 오컴의 칼날 -> 심플 이스 더 베스트

whole idea of regulization is just any thing that you do to your model, 
that sort of penalizes somehow the complexity of the model, 
rather than explicitly trying to fit the training data.

한마디로 너무 내 data에 편향되는 것을 막는 부분.

따라서 람다 값을 조정하는 것도 중요한 요인이 될 수 있다.

람다가 커지면 더 차원이 낮은 모델, 람다가 작아지면 더 차원이 높은 모델(파란색 선처럼) 될 가능성 있다

 

Regularization

보통 L2 regularization을 사용한다

L1과 L2를 함께 쓸 수도 있다

이 부분을 자세히 다루진 않음, 좀 더 공부해야 할 것 같다

 

다른 loss종류

svm은 loss가 주는 의미가 별로  없다 - score을 유의미하게 해석하지 않음

확률 분포를 해석하는 데 사용

0~1 사이로 확률이 나옴

 

예시

 

score을 exp 하게 한 뒤 0~1fh normalize, 그 후 Loss 취함

 

Q. min/max Loss 값은?

1 and 0

P= 1일 때 Loss가 0 임을 알 수 있다

그런데 그렇게 되려면 y_i가 양의 무한, 나머지 클래스가 음의 무한이 여야함

Q 모든 클래스의 S가 0에 근접하다면 Loss는?

normalize후에 1/C가 될 것이니 L = -log(1/C) = log C 가 될 것이다.

SVM loss와 Softmax의 비교

SVM은 아까 jiggle에 큰 상관이 없었다.

그런데 softmax는 어느 값 이상이라고 Loss가 같은 값을 가지지 않는다

그래서 최적의 W는 어떻게 찾을 건데??

 

Optimization

large valley를 걸어 다닌다

가장 최하점은 어디일까?

랜덤으로 아무 점이나 찾는 알고리즘 - 현명하지 않은 방법

걸어 다니면서 눈으로 보고 발의 감각을 느끼며, 기울기가 낮아지는 곳으로 걸어 나갈 것이다.

그렇다면 기울기라는 것은 무엇일까?

gradient는 x랑 같은 차원을 가지는 vector로, 기울기에 대한 정보를 준다

그러면 어떻게 구할까?

0.0001이라는 값에 아주 작은 값을 더해 봤더니, loss가 줄어들었다

기울기를 구하는 방법과 동일하게 gradient를 구한다

다음 entry에서도 같은 과정을 반복한다.

이렇게 하면 매우 느릴 것이다.

그래서 이렇게 표현하기로 한다!

WOW,,,,

이렇게 뚝딱 된다고 함^^

하지만 numerical방법은 디버깅하기 좋은 방법이라고 한다.

느리고 부정확 하지만,, 디버깅할 때 쓰임

 

Gradient Descent

step_size는 learning rate라고도 불리는데, 중요한 하이퍼 파라미터이다.

가장 먼저 체크 하는 파라미터라고 함

gradient의 음의 방향으로 가다 보면 minima에 도달할 수 있다

어떤 방법을 사용하냐에 따라 gradient를 다루는 방식이 다르다

stochastic Gradient Descent (SGD)

실제로는 N이 매우 크다

N이 million단위로 가면 W를 업데이트하는데 매우 많은 시간이 걸릴 것

그래서 minibatch를 이용해서 그 단위마다 Loss단위를 업데이트함

빨간색과 파란색을 linear 하게 분류할 수 없는데,

축을 바꿔서 분류가 가능해짐

어느 색이 가장 많은지 histogram을 만듦

simple한 image feature representation

dominant 한 edge 방향을 찾아서 히스토그램을 만듦

자연어 처리에 많이 쓰인다고 함

crop 해서 clustering

실제로 해보면 별반 다르지 않음

convolution 과정에서 feature가 extract 된다