likelihood function

어떤 probability distribution(parameter \(\theta\))에서 sample \(\mathbb x\)를 뽑을 확률을 \(p\)라고 하면,
$$
L(\theta | \mathbb x) = p (=p(\mathbb x | \theta) )
$$
이다. 예를들어 Bernoulli distribution(\(Bin(n,\pi)\))은 다음과 같이 정의되는데,
$$
f(x;\pi) = \pi ^ x (1-\pi)^{(1-x)} , x = 0 , 1, \pi \text{ is unknown parameter}
$$
likelihood function은 다음과 같다.
$$
L(\pi | x) = \frac{x!}{(n-x)!x!} \pi ^x (1-\pi)^{(n-x)}
$$
계산상 편의를 이유로 Log를 취한 log likelihood가 자주 쓰인다.