type 1 error, type 2 error

위키피디아에 보면 null hypothesis가 일단 대상이다. null hypothesis란 뭔가 효과가 없다는 가정을 말하는 것 같은데 영어가 짧아서 확신을 못하겠다. 예문으로 “이 식이요법은 사람들의 체중에 영향을 미치지 못한다”가 나와있다. 여기보면 더 쉽게 나와있는데 보통 ‘no difference’를 뜻한다.  예로, ‘A집단과 B집단이 아무 차이가 없다’가 null hypothesis다. H_1은 alternative hypothesis라고 한다.

이 null hypothesis의 진리값이 참일수도 있고 거짓일 수도 있는데, 진리값이 참일 경우 테스트가 참이라고 판별하면 True다. 지금 우리가 관심있는 부분은 False고. 곧, False positive, False negative 둘을 구분하는 것이 핵심이라고 할 수 있다. null hypothesis가 거짓인데도 테스트가 참이라고 하면 false positive, 참인데도 테스트가 거짓이라고 하면 false negative되겠다.

type 1 에러는 false positive다. 그러니까 null hypothesis가 거짓임에도 참이라고 한 케이스.
type 2 에러는 false negative.

궁금한것은, null hypothesis가 아닌 hypothesis에 대해서는 error의 type이 반대인가 하는 점. 말하자면, 위에서 든 예문이 만약에 “이 식이요법은 효과가 있다”라면, null hypothesis가 아닌데, 그러면 type 1 에러는 false negative가 되어야 하는가 하는 점이다. negation을 생각해보면, 그러니까 “이 식이요법은 영향이 없지 않다”라고 놓고 생각해보면, ‘없다’임에도 형식적으로는 그것이 positive라고 볼 수도 있을 것 같다. 그러면 모든 에러에 대해 type1,2를 false positive, negative로 정의할 수 있을 것이다. 하지만 이렇게 되면 대상이 null hypothesis일 이유가 없지 않나?
face detection논문에 보니 type1을 FRR, type2를 FAR로 해두었다.
무슨말이냐면,
FRR(false rejection rate) = type 1 error = 얼굴을 포함하지만 검출 실패
FAR(false acceptance rate) = type 2 error = 얼굴이 없지만 있다고 함
이렇게 해두었다. FRR은 false negative같은데 type 1 error라고 해둔것.
null hypothesis가 아니기 때문일까?(‘이 이미지에는 얼굴이 있다.’) 그럼 위에 적은것처럼 null이냐 아니냐가 type 1, 2를 가르는 걸까. 아님 논문이 틀린걸까. 아님 내가 전체적으로 이해를 못하고 있는건가.
당분간은 positive/negative보다 명제 자체(null이든 아니든 참인 진리값)에 대한 부정이면 type 1 error, 반대면 type 2 error로 이해하기로 한다. 모호한점 투성이다.
논문에서는 ‘얼굴이 없다’를 null hypothesis로 잡은 것이다. 이 때 positive라면 얼굴이 없는 것이고 negative라면 얼굴이 있는 것. (보통 ‘있다’는 positive와 연결되기 때문에 헷갈렸다.) 따라서 false positive (type 1 error)라면 얼굴이 있는 사진에서 없는것을 뜻하고, false negative 라면 얼굴이 없는 사진에서 있다고 한 것이다.

얼핏 생각해도 그렇고, 여타 일반적인 논문의 주장이 null hypothesis인 경우는 거의 없을 것이라 negation을 취해서 일부러 null hypothesis를 만드는 모양인데, 그렇다면 negation이 complement가 아닐 때는 type 1,2 error를 말하기 힘들어진다. 위의 경우는 있다/없다 이므로 조건을 만족하는 경우.

그리고 정의(definition)에 따라 null hypothesis일 때만 type 1,2 error를 말하기로 하면 위에서 한 질문(‘null hypothesis가 아닐 때는 어떻게 하나’)은 의미 없는 질문이다.