3. 이진 판단 문제

이진판단 문제의 신경망 처리

 

이진 판단 문제는 예/ 아니오로 답하는 문제이다. 

 

특정 문제 해결에 있어서 예/ 아니오 로만 답하면 된다고 생각하면 굉장히 쉬울것 같다. 

하지만 이진 판단 문제를 인공지능 신경망으로 처리 하는 일은 생각보다 까다롭니다. 

 

우선 가중치와 편향을 이용하는 퍼셉트론의 선형 연산은 기본적으로 두가지 값으로 결과를 제한 할 수 없다. 

이에 따라 초기에는 선형 연산 결과가 임계치를 넘는가? 라는 문제로 두가지 문제중 하나를 출력하자는 접근이 있었는데 미분이 불가능해 학습이 어려워 지는 문제가 생긴다. 

 

이에 신경망은 확률에 해당하는 값을 추정하고 이 값잉 1에 가까우면 참 0에 가까우면 거짓을 선택하는 방식으로 변화한다. 

하지만 퍼셉트론의 선형연산 자체는 0과 1사이의 확률로 출력 범위를 제한 하는것도 쉽지가 않다. 

이에 따라 선형 연산에서는 일단 범위에 제한이 없는 실수를 생산하고 이를 확률값의 성질에 맞게 변환해주는 비 선형 함수를 찾아 활용한다. 

 

이를 시그모이드 함수 라고 한다. 

그런데 시그모이드 함수를 활용해서 신경망 출력을 확률적으로 해석하고 학습을 어떻게 하냐? 라는 문제가 남는다. 

MSE(평균 제곱 오차) 처럼 딥러닝에서의 손실함수는 0 이상 이면서 추정의 정확도에 따라 0에 수렴하는 성질이 있는 손실함수를 정의 할 수 있어야 한ㄴ다. 

그래야 이 손실 함수값을 줄이는것을 "목표"로 삼아 경사 하강을 통한 학습을 할 수 있다. 

하지만 이진 판단 문제 에서 손실 함수를 어떻게 정의해야 하는지 쉽게 알 수 없었다. 

 

---------------------------------------------------------------------------------------------------------------

 

이 문제 해결을 위한 접근 방식은 두가지 확률 분포가 얼마나 다른지를 하나의 숫자로 표현해주는 교차 엔트로피 라는 개념이다. 

항상 양수 이고 두 확률 분포가 비슷해 질 수록 값이 작아지는 교차 엔트로피는 이진 판단에 대한 손실함수로 적합 하다. 

이에 시그모이드 함수의 교차 엔트로피를 손실함수로 정의 하는 방식으로 이진판단문제를 다루는 신경망 학습이 가능하게 된다. 

 

근데 여기까지 생각해 보면 

신경망 출력의 해석을 시그모이드가 하고 손실함수 계산을 시그모이드의 교차엔트로피를 이용해서 퉁치면 나머지 신경망 처리는 회귀 문제와 다르지 않다는 느낌이 온다. 

 

그럼 간단한 예시 데이터셋과 함께 이진 분류에 대해서 알아보자.