Federated learning

연합 학습(Federated Learning, 이하 FL)은 가용 가능한 자원을 가진 Edge 클라이언트가 중앙 서버가 협력하여 local data의 공유 없이 global model을 학습하는 분산 훈련의 패러다임이다. 여기서 각 클라이언트는 스마트 폰과 같이 자체적으로 데이터를 생성하고 저장하고 가공할 수 있는 경우를 말한다. 이 연합학습은 McMahan 외 공저자 4명이 2015년에 FedAVG 형태로 발표한 이후, 2017년 구글 AI 블로그에서 공식적으로 소개되고 google next word prediction에 탑재되어 성능을 검증했다.

 

Federated learning example

이와 같은 구성은 참여자의 local data의 유출을 원천적으로 막고 중앙서버의 스토리지 비용을 최소화 하면서 더 많은 client들을 훈련 과정에 참여 시켜 unique data에 대한 훈련을 통해 normalization performance를 향상시킬 수 있다는 점에서 주목할만하다. 

 

또한 FL은 비단 Edge client 뿐 아니라 언급한 데이터 보호 측면에서 의료 분야에서도 주목받는다.

 

 의료분야에서의 분산학습은 중요한 문제 입니다. 특히나 다양한 환자에게 균일한 서비스를 제공하기 위한 의료서비스 퀄리티 불균형 해소 측면에서 FL은 유망한 접근방식이다. 다양한 환자의 unique한 데이터를 유출하지 않은 채 central model이 전국 각지 병원 data의 unique한 지식을 훈련할 수 있다면 국내에서 연구된 다양한 환자 케이스의 숙련된 접근 방식에 대한 조언을 1차 병원으로 전이 시켜 환자들이 높은 서비스의 의료 품질을 빠르게 경험 하도록 할 수 있다. 또한 그 과정에서 의료 정보에 대한 유출위험이 감소해 기존 중앙 훈련 방식의 잠재적 위험 (희귀질환 쿼리 공격 등)에서 상대적으로 자유롭다.

기존의 FL 접근 방식 중 가장 널리 알려진 것은 FedAVG (McMahan et al , 2016)입니다.[1] FedAVG는 중앙서버에서 배포하는 훈련 모델의 복사본을 네트워크에 연결된 참여 client가 수신하고 local data를 통해 model update를 수행한 뒤 중앙서버에서 aggregation 됩니다. Aggregation 되고 update된 Central model은 다음 훈련 epoch에서 또 다른 참여 client에게 송신됩니다. 이와같은 과정의 반복을 통해 global model을 훈련하는 것을 목표로 합니다.

 

다음 포스트에서는 FedAVG paper를 리뷰 하면서 연합학습의 개괄적인 틀을 정리한다.

 

 

[1] Communication-Efficient Learning of Deep Networks from Decentralized Data