지토의 개발일기/논문리뷰

하이퍼파라미터 최적화(초매개변수 최적화)

지아토 2024. 12. 24. 15:15

1) 하이퍼파라미터 최적화

 

기계학습은 주어진 데이터를 활용하여 특정 결과를 도출하고 그 결과를 반영하여 성능을 향상하는 알고리즘에 대한 연구이다. 효과적인 기계 학습 모델을 구축하려면 적절한 알고리즘을 선택하고, 초매개변수를 조정하여 최적의 모델을 찾는 과정이 필요하다. 이는 시간이 많이 소요되고 복잡한 과정이다. 기계 학습 모델에는 학습 과정에서 데이터에 의해 초기화되고 업데이트 되는 파라미터 모델의 구조를 정의하거나 학습 알고리즘을 제어하기 위해 사전에 설정되는 초매개 변수가 있다. 최적 ML 모델을 구축하려면 다양한 가능성을 탐색하고 이를 통해 최적의 초매개변수 조합을 찾는 것이 중요하다. 하이퍼파라미터 최적화는 모델의 성능을 극대화하기 위해 하이퍼파라미터 최적 조합을 찾는 과정이다. 기계학습 모델에서 하이퍼파라미터가 가질 수 있는 모든 값의 탐색 범위를 탐색 공간(Search space)라고 한다. 탐색 공간의 원소들은 기계 학습 모델 성능 평갓값에 대응할 수 있다. 하이퍼파라미터 최적화 문제는 탐색 공간 내에서 가장 좋은 성능을 가지는 하이퍼파라미터를 찾는 과정이라고 볼 수 있다. 일반적인 방법으로는 그리드 서치(Grid Search), 랜덤 서치(Random Search), 베이지안 최적화 (Bayesian Optimization), 진화 알고리즘 (Evolutionary Algorithms)등이 있으며, 최근에는 강화학습 (Reinforcement Laearning)을 활용한 방법도 주목받고 있다. 이러한 방법들은 탐색 공간을 효율적으로 탐색하여 최적의 하이퍼파라미터 조합을 찾는데 도움을 준다. 

 

 

2) 하이퍼파라미터 최적화 연구 동향

 

최근 몇 년 동안 하이퍼파라미터 최적화 분야에 관심이 급증하면서, 현재 하이퍼파라미터에 관한 최첨단 기술들은 대략 네 가지 방법 범주로 분류되고 있다. 첫째, 포괄적인 방법은 하이퍼파라미터 공간을 철저히 탐색하는 것으로, 그리드 검색이 대표적이며 이는 낮은 차원에서는 효과적이지만 고차원에서는 비용과 시간이 많이 소요된다. 둘째, 모델별 방법은 특정 모델에 하이퍼파라미터 최적화하는 것으로, 특정 모델 클래스에 맞춰져 있어 다른 모델에 적용하기 어렵다는 한계가 있다. 셋째, 진화 알고리즘 기반 방법은 유전알고리즘, PSO등을 포함하며, 복잡한 문제에서 유용하지만 수렴 속도가 느릴 수 있다. 넷째, 순차 모델 기반 최적화(SMBO)는 대리모델을 사용하여 하이퍼파라미터 성능을 추론하며, 베이지안 최적화가 대표적인 예로 탐색 효율을 높이기 위해 확률적 모델을 사용한다. 최신 연구 동향으로는 강화 학습 기반 방법과 딥러닝을 활용한 자동화된 기계 학습 (Auto ML) 접근 방식이 있으며, 이는 더욱 복잡한 초매개 변수 최적화 문제를 해결하기 위해 고안되었다. 

 

3) 하이퍼파라미터 최적화가 당면한 과제

1. 하이퍼파라미터와 모델 복잡도

  • 포함 요소: 기계 학습 모델은 많은 하이퍼파라미터와 알고리즘 하이퍼파라미터를 포함.
  • 복잡도 증가: 하이퍼파라미터 최적화의 결정 변수가 많아질수록 모델의 복잡도 증가.
  • 결과:
    • 최적해를 구하는 데 필요한 시간과 비용이 증가.
    • 최적해를 찾지 못하거나, 많은 시간이 소요되는 문제 발생.

2. 목적 함수의 특성과 설계 필요성

  • 목적 함수의 성격:
    • 블랙박스 함수인 경우가 많음.
    • 다양한 형태에서 최적해를 구할 수 있도록 설계되어야 함.
  • 설계 필요성:
    • 하이퍼파라미터 구조를 문제의 특성에 맞게 효과적으로 설계해야 함.

하이퍼파라미터 최적화의 난점

1. 비용 함수와 변수 결정

  • 하이퍼파라미터 최적화를 위해 다음을 우선적으로 결정:
    • 최소화할 비용 함수.
    • 최적의 값을 정할 하이퍼파라미터 변수.

2. 수동적 방식의 한계

  • 수동적 방식: 하이퍼파라미터 값을 직접 입력하는 전통적 방법.
  • 장점: 널리 사용되고 연구에 적용 중.
  • 단점:
    • 효율성이 떨어짐.
    • 다음과 같은 요인으로 제한됨:
      • 복잡한 모델.
      • 많은 시간이 소요되는 모델.
      • 성능적으로 제한된 컴퓨팅 자원.

하이퍼파라미터 최적화의 목표와 도전 과제

1. 최적화의 목표

  • 효율적 아키텍처 구성:
    • 기계 학습 모델에 효과적으로 적용할 수 있는 하이퍼파라미터 최적화 아키텍처 설계.
    • 문제에 대해 최상의 성능을 얻는 것이 궁극적 목표.

2. 도전 과제

  • 최적화 아키텍처 구성 과정에서 여전히 많은 도전 과제 존재:
    • 효율성: 시간과 자원 활용.
    • 복잡성: 다양한 문제에서 일반화된 해결책 설계.

 

 

4.  하이퍼파라미터 최적화에 대한 흐름도 (FlowChart)

 

 

 

 

 

참고문헌

[7] Savic, Dragan. "Single-objective vs. multiobjective optimisation for integrated decision support." (2002). 
[8] Brest, Janez, Mirjam Sepesy Maučec, and Borko Bošković. "Single objective real-parameter optimization: Algorithm jSO." 2017 IEEE congress on evolutionary computation (CEC). IEEE, 2017. 하이퍼파라미터
[9] Bischl, Bernd, et al. "Hyperparameter optimization: Foundations, algorithms, best practices, and open challenges." Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery 13.2 (2023): e1484.
[30] Schilling, Nicolas, et al. "Hyperparameter optimization with factorizedmultilayer perceptrons." Machine Learning and Knowledge Discovery in D- 54 -atabases: European Conference, ECML PKDD 2015, Porto, Portugal, September 7-11, 2015, Proceedings, Part II 15. Springer International Publishing, 2015.