꼭 알아야할 수학(5)_확률

#4 최대 우도 추정 MLP (Maximum Likelihood Estimation)

* 간단하게 말해 사건을 보고 확률을 추론하는 방법 (조건부 확률값이지만, 확률 분포는 아님. why? 확률의 합이 1이 아니기 때문)

 

아래의 예시에서 검은 공이 나올 최대의 확률을 구하는 것이 목표가 됨.!

(검은 공이 A주머니에서 나왔을까 B에서 나왔을까? 어떤 주머니에서 골랐을지 그 확률을 구하는것)

(vs. 조건부확률의 경우, A라는 상자를 골랐을떄 검은 공이 나올 확률을 구하는 것)

 

예시

---

예시>> x 사건을 구해야한다고 할때 Z1, Z2 라는 예측 분포가 주어진다면

1) x+n1 = Z1 (n~N(0,표준편차))

2) x+n2 =Z2

Z1과 Z2를 독립이라고 가정하고 x를 예측해보자,

정규분포(가우시안 분포)를 따른다고 가정하면 아래와 같은 식을 적을 수 있다.

위 식의 그래프 (x를 z축으로 보면 확률밀도 함수가 된다)

위 식을 미분했을 때 0이 되는 지점이 바로 x를 최대화하는 값이 된다!!!

식이 복잡하니, log를 씌어서 계산해보자 (곱셈 --> 덧셈으로)

log 씌우기 전 liklihood 공식

log 씌운 후 공식

따라서 전개해보면,

이제 x에 대한 미분 =0 을 계산해보자,

 

noise가 가우시안이라면 z의 평균을 구하면 x를 구할 수 있다. 

---

** -log를 취한다면..? --> MSE(Mean Squared Error)와 같아진다. 

오차를 제곱한 값의 평균

 

** MLE는 선형회기 최소자승법과도 일치한다고 함..하지만 이해하지 못함...ㅎㅎㅎ

 

# MAP (Maximum A Posteriori)

* MAP를 알기전에 조건부 확률과 베이지안 룰(Bayesian rule)을 알아야함. 

- 베이지안 룰은 조건부 확률을 구하는 공식이다.

조건부 확률

베이지안 룰

 

여기서 P(A|B)는 사후 확률(Posterior distribution)을 의미함. 

---

예시>> P(x|w) w는 measurement, 즉 measurement 가 주어져 있을때 x에 대한 확률 밀도값을 보자!

Posterior

이를 최대화해보자, (분모는 무시가능함)

왜 분모는 무시가 가능할까?

따라서 argmax P(w|x) * P(x)를 구해보자! (x ~N(0,분산))

(* vs. MLE와 비교해보면 P(x)가 추가되었다. 즉, P(x)를 안다는 것은 사전에 x의 분포를 알고 있다는 뜻 = prior distrubution)

전개후 자연로그 취해주기

이제 미분 = 0 값을 찾아보면,

따라서, MLE 값이랑 비교해봤을때 w의 분산/x의 분산이 분모에 추가됨.

---

** -log를 취하면?? L2-regularization 이 적용된 것으로 볼 수 있음.. --> 이해 못함...ㅎㅎ

참고 링크: https://hyeongminlee.github.io/post/bnn002_mle_map/

Maximum Likelihood Estimation(MLE) & Maximum A Posterior(MAP) | Hyeongmin Lee's Website