MAP - Maximum a Posteriori 최대 사후 확률

MLE(Maximum Likelihood Estimation)는 주어진 관측결과의 발생 가능성을 가장 높게 만들어 주는 모수를 찾아냈습니다.

 

MAP는 MLE와 전혀 다른 개념을 가지고 있는데 MAP는 주어진 관측결과와 '사전지식(사전확률)'을 결합해서 최적의 모수를 찾아내는 방법입니다. 

 

어떤 모수 $\theta$의 사전 확률 분포가 $p(\theta)$로 주어져 있고, 그 모수에 기반한 조건부 확률분포 $f(x|\theta)$와 그 분포에서 수집된 값 $x$가 주어져 있습니다. 이떄 모수의 사후 확률분포는 베이즈 정리에 의해 다음과 같이 계산할 수 있습니다.

사후 확률

여기서 x가 주어져 있기 때문에 분모는 $\theta$에 대해 상수가 됩니다. 여기에서 최대 사후 확률 모수는 다음과 같이 정의됩니다. 

 

최대 사후 확률

최대 사후 확률에 대응하는 모수는 최대우도와 마찬가지로 모수의 점 추정으로 사용할 수 있지만, 최대우도에서는 어떤 사건이 일어날 확률을 가장 높이는 모수를 찾는 것에 비해, 최대 사후 확률 모수는 모수의 사전 확률과 결합된 확률을 고려한다는 점이 다릅니다.

 

여기서 사전(prior) 확률의 확률값은 과거 경험 또는 개인적 믿음의 수량화 등에서 나옵니다.

따라서 사전 확률은 분석가의 개입의 여지가 있습니다. 같은 문제라도 서로 다른 사전 확률을 사용하여 접근할 수 있다는 의미가 됩니다. 하지만 사전 확률(prior probability)을 모르는 경우가 대부분이기 때문에 단순하게 Uniform Distribution으로 놓는 경우가 많은데 이 경우 MAP는 ML(Maximum Likekihood)와 같게 됩니다.

 

MAP의 장점

MAP는 설계자가 알고 있는 사전지식(사전확률)을 반영한다는 점에서 매우 합리적인 방법으로 여겨집니다. 단순히 관측결과에만 의존하는 것보다 기존의 알고 있는 정보를 반영한다는 점에서 실제 인간의 학습방식을 모사하기에 적합해 보입니다.

 

MAP의 단점

MAP는 베이즈추론을 기반으로 합니다. 관측결과 뿐만 아니라 사전지식(사전확률)을 활용하기 때문에 사전지식에 대한 모델링이 필요합니다. 문제는 사전지식에 대한 모델링이 어렵다는 것이고, 사전지식에 대한 모델링에 따라 추론결과인 사후확률(Posteriori)의 정확도가 크게 좌우됩니다. 사전지식이 양날의 검인 샘입니다.

 

 

 

참고자료

[1] https://niceguy1575.tistory.com/87

[2] https://ko.wikipedia.org/wiki/%EC%B5%9C%EB%8C%80_%EC%82%AC%ED%9B%84_%ED%99%95%EB%A5%A0 

[4] https://terms.naver.com/entry.nhn?docId=3338167&ref=y&cid=47324&categoryId=47324

[5] https://terms.naver.com/entry.nhn?docId=3338166&ref=y&cid=47324&categoryId=47324

[6] https://darkpgmr.tistory.com/62

[7] http://blog.naver.com/PostView.nhn?blogId=61stu01&logNo=221275859723&parentCategoryNo=&categoryNo=20&viewDate=&isShowPopularPosts=false&from=postView

[8] http://blog.naver.com/PostView.nhn?blogId=61stu01&logNo=221274628848&parentCategoryNo=&categoryNo=20&viewDate=&isShowPopularPosts=false&from=postView