8. 규제가 있는 선형모델 (LASSO,ElasticNet)

Least Absolute Shrinkage and Selection Operator

라쏘 회귀는 선형회귀의 또다른 규제이다. 

릿지 회귀처럼 비용함수에 규제함을 더하지만 L2 노름이 아닌 L1 노름을 사용한다는 차이가 있다. 

 

라쏘의 중요한 특징은 덜 중요한 특성의 가중치를 완전히 제거하려고 한다는 점이다. 

이는 feature Selection을 위미하는것과 유사하고 희소 모델을 만들게 된다. 

 

라쏘의 비용함수는 0에서 미분가능하지 않는데 그 경우라 하더라고 서브 그래디언드 벡터를 사용하면 경사 하강을 사용하는데 문제가 없다. 

서브 그래디 언트 벡터는 미분이 불가능한 지점근방 기울기들의 중간값을 의미한다. 

 

그리고 하이퍼 파라미터의 차이에 따라 릿지와 라쏘를 절충한것을 엘라스틱 넷이라고 한다. 

 

그럼 보통의 선형회귀와 릿지 라쏘 엘라스틱을 언제 사용해야 하는가?

 

적어도 규제가 있는것이 퍼포먼스에 좋은 영향을 미치므로 일반적인 선형회귀는 피하는것이 좋다. 릿지가 기본이 되지만 실제로 쓰이는 특성이 몇개 안된다고 생각되면 라쏘나 엘라스틱넷이 좋다. 

특성수가 훈련샘플보다 많거나 특성 몇개가 강하게 연관되어 있는 경우에 라쏘는 문제를 일으키므로 엘라스틱 넷이 좋다. 

 

-라쏘는 특성수가 샘플수보다 많으면 최대 샘플수 만큼의 특성을 선택한다. 또한 강하게 연관된 특성은 그중 하나는 고른다.