대학생 서포터즈

AI스쿨 R&D 실무자 양성과정 6월 3주차 후기

작성자
청연
작성일
2018-06-25 10:36
조회
610
 

Bayes Decision Theory  & 가우시안 mixture model


양재 R&CD 혁신허브에서 제공하는 '인공지능 R&CD 실무자 양성과정’은 기계학습 및 인공지능 개론을 다룹니다. 5월 21일부터 9월 9일, 총 16주 동안 진행되며 기계학습과 알고리즘 개론에 대해 학습하는 이론 과정(8주)과 팀 프로젝트 과정(6주), 커리어 코칭 과정(2주)로 구성되어 있습니다. 현재 총 42명의 수강생이 있고 현재까지 5주차의 수업을 마쳤습니다.

이번 기사는 6월 19일, 인공지능 R&CD 실무자 양성과정 5주차 수업에 대해 다루겠습니다. 이번 5주차 수업은 Bayes Decision Theory(베이즈 결정이론)과 가우시안 mixture model에 대해 배웠습니다.

Bayes Decision Theory

베이즈 결정이론은 패턴 인식을 위한 통계적 접근 방법입니다. 베이즈가 제시한 통계적 방법을 통해 의사 결정을 하는 방법입니다. 전통적 통계 방식은 통계적 추리를 할 때 표집으로 얻은 정보 만 사용합니다. 베이지안 확률이 전통적 통계 방식과 다른 점은 학습자가 기존에 가지고 있는 사전 정보를 활용한다는 것입니다. 불확실한 상황에서 통계적으로 얻은 정보를 가지고 의사 결정을 해야 하는 경제학, 경영학 등 여러 분야에서 많이 사용된다고 합니다.

베이즈 결정이론에 사용되는 Bayes rule(베이즈 정리)에 대해 간단한 예시를 들어보겠습니다.

만약 우리가 은행 지점장이라고 가정해봅시다.
우리는 고객에게 돈을 빌려줄 수 있는데 아무나 막 빌려줄 수는 없겠죠?



그래서 우리는 은행 고객을 high-risk(돈을 빌려줘도 안 갚을 확률이 높은) 고객과 low-risk(돈을 빌려주면 갚을 확률이 높은) 고객으로 나눕니다.



그런데 은행은 고객이 돈을 갚을지 안 갚을지를 판단하는 기준이 있어야겠죠?
그래서 고객의 yearly income(연봉)과 savings(현재 은행계좌 보유금액)을 가지고 판단하겠습니다.

이러한 두 가지 고객, 즉 변수만 있을 때 우리는 이항분포를 사용해서 고객에게 돈을 빌려줄지 여부를 결정합니다.



결정을 내릴 때는 확률이 큰 쪽을 선택합니다. 확률이 큰 쪽을 선택하는 것은 이성적인 판단이기 때문입니다.

그래서 고객 x가 1(high risk)일 확률이 0(low-risk)일 확률보다 크다면, 1이라는 결정을 내리고, 작다면 0이라는 결정을 내립니다.

하지만 우리가 내리는 결정에도 error(=risk)가 존재합니다.


확률의 합은 항상 1이고 결정은 항상 P(C=1|x)나 P(C=0|x) 중 확률이 큰 쪽이기 때문에 1에서 그 확률을 빼면 그 결정의 error가 됩니다.

베이즈 결정이론은 이처럼 분류하고자 하는 물체들에 대해서 사전정보가 주어지는 경우에 사용이 될 수 있는 이론입니다.

Bayes’ rule

베이즈 결정이론에는 Bayes’ rule(베이즈 정리)가 사용됩니다.



- P(C) : prior probability(선행 확률, 특정 사건이 일어날 것에 대한 추가 정보를 획득하지 못한 확률)로 여기서는 x가 어떤 값을 가지든 C가 1일 확률을 말합니다.

- p(x|C) : likelihood(우도, C가 주어졌을 때 조건부 확률) C가 주어졌을 때 x를 가지고 있을  확률을 말합니다. 따라서 x값에 따라 확률이 달라집니다.
예를 들어 p(x|C = 1) 은 C가 1인 즉 high risk인 고객이 x를 가지고 있을 확률을 나타냅니다.

p(x) : evidence(증거)는 C와 상관없이  x가 나타날 확률입니다.

p(C|x) : posterior probability(사후확률)로 우리는 사후확률을 기반으로 아래와 같이 decision을 내립니다.



Loss and Risk

우리는 고객에게 돈을 빌려줌으로써 돈을 못 받는 loss(손실)이 존재하고, 돈을 못 받을 것 같은 고객에게 돈을 안 빌려줌으로써 생기는 손실 중 어떤 것이 더 적은 손실일지 생각해봐야 합니다.

action 을 α_i라고 했을 때 α_i에 대한 loss를 λ_ik라고 정의합니다.



위의 식은 실제로는 k인 상황이지만 action α_i를 취해서 생기는 loss(손실값)를 알려줍니다.


우리는 손실을 줄여야 하기 때문에 가장 작은 loss가 생기는 action을 취해야 합니다.

Reject

하지만 의사결정이 어려운 경우, 의사결정을 피하는 것이 적절한 경우도 있습니다
그래서 어떠한 행동도 하지 않는 action추가해서 계산합니다.
한계점(threshold)을 지정해서 이러한 영역을 제외하는 것을 rejection option이라고 합니다.

다음 그림을 보면 reject region에 해당하는 영역에서는 클래스에 할당하는 결정을 하지 않음을 보여줍니다.



매주 열심히 강의를 해주시는 강사님들과 조교님들, 그리고 이렇게 좋은 프로그램을 제공해주는 양재R&CD혁신허브에게 감사드립니다. 앞으로도 있을 프로그램에 관심을 가져서 많은 사람들이 좋은 교육을 받기를 바랍니다.

취재 : 최유진 기자(barbby20@naver.com),    편집 : 이탁연 연구원
전체 0