[면접 꿀팁] Probability와 Likelihood의 차이점

안녕하세요, 오늘은 머신러닝을 한다면 한번쯤은 들어보셨을 Probability와 Likelihood에 대해 비교하며 설명해드릴까 합니다. 너무 중요한 개념인만큼 정확히 이해해놓는 노력이 필요할 것 같습니다. 그럼 개념과 어떤 차이점이 있는지 리뷰해보겠습니다.

Probability (확률)

Probability는 특정 사건이 일어날 확률

확률은 어떤 사전 지식이나 가정을 바탕으로 어떤 사건이 발생할 가능성을 측정하는 값입니다. 이 값은 0과 1사이의 수로, 0은 불가능함을, 1은 확실함을 나타냅니다.

설명이 조금 직관적이지 않나요? 몇가지 예를 들면 금방 이해하실 것 같습니다.

• 동전을 던졌을 때 앞면이 나올 확률은 1/2이다.
• 주사위를 던졌을 때 3이 나올 확률은 1/6이다.
• 로또 1등에 당첨될 확률은 1/8145060이다.

알기 쉽죠?

Likelihood (우도)

Likelihood는 그 사건들을 설명할 수 있는 통계 모델

우리 말로 우도라고 부르는 이 개념은 어떤 사건(들)이 있을 때 그것을 설명할 수 있는 모델과 그것의 파라미터 집합을 구하는 것입니다.

어떤 사건을 설명할 수 있는 모델(빨간색)은 무한히 많다

위의 그림을 보면 막대가 있는데, 우린 이걸 설명하기 위해 상황을 설정해봅시다.

---

이상하게 각진 주사위가 있습니다. 이걸 10번 굴렸더니 10번 모두 5가 나왔습니다. 그런 의미에서 회색 막대는 5가 10번 나왔다는 것을 의미한다고 하겠습니다. 우리는 이 일련의 사건을 설명할 수 있는 무수히 많은 확률 모델을 만들 수 있습니다. 바로 위의 그림에 서로 다른 빨간색처럼 말이죠.

자 이제 주사위를 100번을 굴렸습니다. 그래서 1~6의 눈을 왼쪽부터 순서대로 아래와 같이 얻었습니다.

Likelihood - 셋 중 어느 곡선이 가장 그럴듯해 보이나요?

제 눈에는 셋 중 왼쪽에 있는 분포가 가장 그럴듯해 보입니다! 이렇듯 Likelihood는 어떤 사건이 벌어졌을 때, 그 사건을 설명할 수 있는 모델을 의미합니다. 정리하자면,

• Likelihood는 관측 데이터의 집합을 설명할 수 있는 확률을 의미한다 (그 확률 모델은 여러 파라미터의 집합)
• 관측한 사건이 많을 수록 더 정확한 Likelihood를 얻을 수 있다
• 이미 발생한 어느 사건을 두고, 그 사건을 가장 잘 설명할 수 있는 모델을 얻는 과정을 Maximum Likelihood Estimation이라고 한다

모델을 학습할 때 데이터를 많이 넣을수록 좋다고들 하죠?? 그게 바로 최대한 많이 사건을 관측하라는 의미이고, 모델을 최적화하는 과정이 바로 Maximum Likelihood Estimation이라고 부를 수 있습니다.