연합학습이란 (Federated Learning) ?

1. 연합학습 (Federated Learning) 필요성과 배경

 

1) 분산된 데이터 증가. 

산업의 고도화와 함께 스마트 제품과 IOT 기기의 사용이 증가하면서 개인과 기관들이 소유하는 데이터의 양이 급증하고 있다. 이러한 분산된 데이터는 시간이 갈수록 점차 증가할 것으로 예상되며, 이러한 분산된 데이터는 개인 맞춤형 서비스 제공과 다양한 목적을 달성하기 ㅜ이해 여러 클라이언트와 기관 간의 데이터 통합과 공유에 중요한 역할을 한다. 

 이처럼 분산된 데이터의 증가는 중앙집중식 데이터 관리 방식의 한계를 드러내고 있다. 기존의 중앙집중식 방법은 데이터를 중앙에 위치, 저장함으로써 개인정보 유출 및 보안 문제를 야기할 수 있다. 이러한 문제를 해결하기 위해 연합학습환경이 제안되었다. 연합학습은 데이터의 개인 정보 보호 문제를 해결하는 혁신적인 접근 방식이다. 연합학습에서는 클라이언트 간의 느슨한 연합에 의해 학습 작업이 수행되며, 각 클라이언트는 서버에 업로드되지 않는 로컬 훈련 데이터 세트를 보유하고, 서버는 현재 글로벌 모델에 대한 업데이트만을 수행한다. 이 접근 방식의 주요 장점은 모델 훈련을 원본 훈련데이터에 직접 접근하지 않고도 수행할 수 있다는 점이다. 또한 연합학습 환경에서는 학습이 중앙 서버와 개별 클라이언트 간의 협력으로 수행된다. 

 

 

2) 프라이버시 중요성 증가 

 인공지능 분야는 많은 데이터를 기반으로 빠르게 성장하고 있다. 그러나 금융 데이터, 의료 데이터 등 프라이버시가 중요한 분야에서는 데이터에 대한 접근이 어렵다. 이를 해결 하는 방법으로 연합학습 주목받고 있다. 연합학습은 중앙 데이터 저장소 대신 공유되지 않는 분산 데이터를 사용하여 프라이버시 보호에 유리하다. 일반적으로  "익명호된" 데이터 조차도 다른 데이터와 결합이 되는 경우 사용자의 프라이버시를 위험에 빠트릴 수 있다. 반면 연합학습에서는 모델 개선을 위해 최소한의 업데이트만 전송되며, 이는 원본 데이터 보다 훨씬 적은 양의 정보를 포함한다. 연합학습 구조적인 특징 덕분에 프라이버시를 보존하면서도 데이터를 효과적으로 활용할 수 있다. 

 

 

3) 연합학습 동작 과정

 연합학습 환경에서는 클라이언트 간에 데이터 프라이버시를 보존하면서 협력적 학습을 지원하는 새로운 방법을 제공한다. 이 환경에서는 각 클라이언트의 디바이스에서 모델 훈련이 수행되고, 클라이언트의 데이터 대신 훈련된 모델 가중치만이 중앙서버로 전송된다. 이러한 과정은 학습 중 개인정보 보호를 보장한다. 중앙 서버는 정기적으로 학습된 가중치를 수집하여 글로벌 모델을 개선하고, 이를 다시 각 클라이언트에게 개선된 내용을 전달하여 로컬 학습 및 추론을 수행한다. 통신은 활성화된 사용자 비율, 개별 클라이언트에서의 훈련 에포크 및 업데이트 횟수에 의해 결정된다. 연합학습은 보통 여러 라운드로 진행되며, 각 라운드에서는 다섯 가지 단계로 이루어진다. 첫째, 연합학습 서버는 클라이언트의 로컬 데이터에서 훈련할 기계 학습(ML), 딥러낭(DL) 모델을 선택한다. 둘째, 사용할 수 있는 클라리언트의 하위 집합이 무작위로 선택되거나 클라이언트 선택 알고리즘을 활용하여 선택된다. 셋째, 서버는 선택된 클라이언트에 글로벌 모델을 브로드캐스트한다. 클라이언트는 최신 글로벌 모델 매개변수를 받아 여러 에포크 동안 모델을 로컬로 훈련한다. 넷째, 각 클라이언트는 모델 업데이트를 서버에 전송한다. 다섯째, 중앙 서버는 클라이언트의 로컬 데이터에 접근하지 않고 집계 기술을 사용하여 모델 업데이트를 결합하여 새로운 글로벌 모델을 생성한다. 다섯 단계는 원하는 수준의 정확도가 달성될 때까지 반복된다. 이러한 연합학습 방식은 데이터 프라이버시를 유지하면서도 효과적인 모델 학습을 가능하게 한다. 클라이언트 간의 협력적인 학습 과정 데이터 분포가 환경에서도 우수한 성능을 보이며, 다양한 분야에서 활용 가능성을 보여준다. 

 

 

4) 연합학습 최적화 기법 : 모델 성능 향상, 통신비용 절감, 프라이버시 보호.

 연합학습 환경에서 최적화는 모델 성능 향상과 통신 비용 절감, 프라이버시 보호를 위해 필수 적이다. 여러 연구가 이러한 목표를 달성하기 위해 다양한 접근 방식을 제안하고 있다. FedAVG은 연합학습 초기이자 가장 기본적인 최적화 방법의 하나로, 분산 데이터에서 효율적인 통신 방식으로 기계 학습 모델을 훈련하는 것을 목표로한다. FedAVG는 각 클라이언트가 로컬 데이터를 사용하여 모델을 훈련한 후 , 서버가 이를 평균화하여 글로벌 모델을 업데이트 하는 방식이다. 이는 통신비용을 줄이고, 데이터 프라이버시를 보호하는데 효과적인다.  FedSGD는 각 클라이언트가 한 에포크 동안 로컬 데이터에서 모델을 훈련하고 그래디언트를 서버에 보내서 글로벌 모델을 업데이트하는 방식이다. FedSGD는 FedAVG와 유사하지만, 모델 파라미터가 아닌 그래디언트를 전송하여 업데이트를 수행한다는 점에서 차이가 있다. 이를 통해 통신 비용을 절감할 수 있으며, 모델 업데이트 과정에서의 유연성을 제공한다. 서버 보멘텀은 Non-IID(비독립적이고 동일하지 않은 분표) 데이터에서의 성능을 향상하기 위해 제안된 방법이다. 서버 모멘텀은 서버가 클라이언트의 모델 업데이트를 평균화할 때, 이전 업데이트의 모멘텀을 고려하여 새로운 업데이트를 계산한다. 이를 통해 모델이 더 안정적으로 수렴할 수 있으며, Non-IID 데이터 환경에서도 성능이 향상된다. FedKD는 적응형 지식 증류와 동적 그래디언트 압축 전략을 사용하여 연합학습에서 통신비용을 최소화한다. 이 방법은 크라이언트 간의 통신량을 줄이기 위해, 지식증류를 사용하여 모델의 크기를 줄이고, 동적 그래디언트 압축을 통해 전송되는 데이터의 양을 감소시킨다. 이처럼 다양한 최적화 방법들은 연합학습 환경에서 모델의 성능을 향상하고, 통신비용을 절감하며, 데이터 프라이버시를 보호하는 데 기여하고 있다. 각 접근 방식은 특정 환경과 목적에 맞게 사용될 수 있으며, 이를 통해 연합학습의 효율성을 극대화할 수 있다. 

 

 

5) 연합학습이 당면한 과제

 연합학습 환경에서의 모델 학습은 높은 통신비용, 신뢰할 수 없는 통신 링크, 학습 모델의 느린 수렴, 데이터의 이질성, 클라이언트 시스템 리소스의 변동성, 각 클라이언트의 디바이스 성능 등 다양한 도전과제에 직면하고 있다. 클라이언트 간에 리소스 및 데이터 가용성이 다를 수 있으며, 이에 따라 모델을 훈련하는데 사용되는 초매개변수 최적의 값이 달라질 수 있다. 전통적인 기계 학습에서는 전체 훈련데이터를 사용하여 모델을 훈련하는 반면, 연합학습 환경에서는 라운드마다 일부 클아이언트만 훈련에 참여한다. 이에 따라 초매개 변수 조정이 클라이언트 수준에서 이루어지며, 전체적인 그로벌 최적화가 없는 연합학습의 특성상 전통적인 방식의 초매개변수 조정이 적합하지 않을 수 있다. 또한 각각의 클라이언트는 일반적으로 다른 양의 데이터(데이터양의 이질성)와 데이터 분포 (데이터 분포의 이질성)를 가지고 있어 이질성을 초래한다. 이러한 이질성은 학습 성능에 심각한 문제를 일으킬 수 있다. 연합학습 환경에서의 데이터 이질성을 와화하기 위해 집계 알고리즘과 클라이언트 선택 정책을 도입하고자 하는 시도가 있다. 이러한 접근 방식은 이질성 완화에 도움이 될 수 있지만, 여전히 이질성 문제는 모델 성능 하락에 영향을 끼치고 있다. 전통적인 학습 방법과 비교했을 때 연합학습 환경에서 학습된 모델은 최대 15~20% 정도의 정확도 손신을 겪을 수 있다. 

 

 

연합학습 (Federated Learning) 예시

 

 

참고 문헌

[1] Zhang, Chen, et al. "A survey on federated learning." Knowledge-Based Systems 216 (2021): 106775.
[2] Mammen, Priyanka Mary. "Federated learning: Opportunities and challenges." arXiv preprint arXiv:2101.05428 (2021).
[3] Kundroo, Majid, and Taehong Kim. "Federated learning with hyper-parameter optimization." Journal of King Saud University-Computer and Information Sciences 35.9 (2023): 101740.
[4] Zawad, Syed, et al. "Demystifying hyperparameter optimization in federated learning." (2021).
[5] Zhu, Hangyu, and Yaochu Jin. "Multi-objective evolutionary federatedlearning." IEEE transactions on neural networks and learning systems 31.4(2019): 1310-1322.
[23]Hsu, Tzu-Ming Harry, Hang Qi, and Matthew Brown. "Measuring theeffects of non-identical data distribution for federated visual classification." arXiv preprint arXiv:1909.06335 (2019).\
[24] Sattler, Felix, et al. "Robust and communication-efficient federated learning from non-iid data." IEEE transactions on neural networks and learning systems 31.9 (2019): 3400-3413.