4. 시그모이드 함수

시그모이드 함수는 범위에 제한 없는 임읭의 실수 값을 입력으로 받아 확률값의 범위에 해당하는 0~1을 출력하는 함수이다. 

 

시그모이드 함수는 입력 x가 어떤 확률 값의 로짓 표현이라고 간주한다. 

로짓을 모르니까 알아보자. 

 

로짓이란 실제 표현하는 값을 로그로 대신 나타낸것이다.

 

예를 들어서 작동이와의 저스트 댄스 내기에서 넙지가 이길 확률의 로짓 값은 2 라는 말은 무엇인가? 비교 대상이 필요하다. 

코코가 이길 로짓값은 1 덕구가 이길 로짓값은 5 이런식이어야 할것이다. 

 

이때 로그 함수는 지수의 역함수 이므로 덕구의 승리 확률은 e^3 = 20배 정도 크다. 

이를 통해서 넓은 범위의 수를 간단하게 표현 할 수 있다. 또한 값의 변화를 변화량 보다 비율적인 측면으로 한정해 예민하게 반응 할 수 있다. 

 

시그모이드 함수는 입력을 답이 참일 가능성을 로짓으로 표시한 값이라고 간주한다. 

그런데 로짓은 로그라고 했고 로그는 상대적이지 않은가? 따라서 비교 대상을 정해야 하고 시그모이드 함수에서는 "거짓"인 경우에 대한 로짓을 0으로 간주해 시그모이드 입력이 나타내는 확률의 값을 구할 근거를 정의 한다. 

 

시그모이드는 이렇게 생겼다. 입력이 로짓 값이고 비교 대상이 거짓인 경우의 로짓이 0 임을 활용한다. 1은 사실 e^0이다. 

 

상기 그래프에서 보이듯이 시그모이드 함수는 입력 범위에 제한이 없으며 출력은 0과 1사이의 값이다. 또한 입력이 커질때 출력은 1에 작아질때는 0에 수렴한다. 입력이 양수면 출력은 0.5보다 커지고 이는 이진판단에서 참을 의미하게 된다. 입력의 절대값이 클수록 참일 가능성이 높다. 

 

이쯤 오면 결과에 대한 고찰이 필요하다. 

 

우리는 알고 있다. 시험에서 알고 맞추는 문제와 애매하게 찍어서 답을 맞추는 경우를

애매하게 찍었으면 그 부분을 공부해야 한다. 

만약 확신을 갖고 풀었는데 틀렸으면 공부를 아예 잘못했으니 다시 공부해야 한다. 

 

이를 신경망에서는 파라미터 수정이라고 한다. 

수정이 필요함은 역전파 과정에서 해당 성분에 대한 손실 기울기 , 다시말해 손실기울기의 절댓값이 커지는 통에 파라미터 값이 크게 변화 하는것을 말한다. 

신경망이 추정한 확률과 정답이 가리키는 확률의 차이가 클수록 이는 커진다. 

 

https://cjstntjd.tistory.com/7

1. Titanic 데이터에 대한 시그모이드와 교차 엔트로피를 통한 이진 분류