문제의 배경 — 기존 연구의 한계
호메로스는 일리아드를 쓰기 전에 먼저 단어를 배웠다. 너무나 당연한 이야기지만, 이것이 머신러닝 알고리즘에는 오랫동안 적용되지 않았다. 전통적인 Deep Reinforcement
Learning(DRL)은 에이전트에게 처음부터 목표 태스크를 주고 시행착오를 반복하게 한다 — 마치 갓 태어난 아이에게 미적분학 교과서를 던져주는 것처럼.
"Human learning is organized into a curriculum of interdependent learning situations of various complexities."
인간의 학습은 다양한 복잡도를 가진 상호 의존적 학습 상황들로 구성된 교육과정으로 조직된다.
이 직관은 1985년 Selfridge et al.이 처음 머신러닝에 적용했다. 막대 균형 제어기를 훈련할 때 처음엔 길고 가벼운 막대부터 시작해 점점 짧고 무거운 막대로 이행했다. 1991년
Schmidhuber는 인공 호기심을 통한 탐색 조직화를 제안했고, 이후 감독 학습 환경에서도 쉬운 예제→어려운 예제 순서로 훈련하는 것이 효과적임이 밝혀졌다.
DRL이 직면한 구체적 어려움
한계
희소 보상 문제 (Sparse Reward Problem): 복잡한 환경에서 에이전트는 우연히라도 보상을 받아야 학습할 수 있다. 목표가 너무 멀리 있으면 무작위
행동으로는 한 번도 보상을 받지 못해 학습 자체가 불가능하다.
한계
샘플 비효율 (Sample Inefficiency): 표준 DRL은 목표 태스크 분포에서만 훈련하므로, 에이전트가 현재 수준에서 학습 가능한 태스크와 그렇지 못한 태스크를
가리지 않는다. 이미 완벽히 해결한 태스크나 아직 불가능한 태스크에서 낭비되는 샘플이 많다.
한계
일반화 실패 (Generalization Failure): 고정된 분포의 태스크만 보면 에이전트는 그 분포에 과적합한다. 실제 환경(Real World)은 훈련 환경과
다르고, 특히 Sim2Real 전이에서 이 간극이 크다.
한계
수동 교육과정 설계의 비실용성: 사람이 수동으로 "단계 1 → 단계 2 → 단계 3"을 설계할 수 있지만, 이는 각 도메인마다 전문 지식이 필요하고, 에이전트의 실제 학습
속도에 맞게 동적으로 조정되지 않는다.
보충 기존 DRL 알고리즘들(DQN, PPO, SAC 등)은 이러한 문제를 보상 함수 설계, 탐색 전략, 신경망 구조 등으로
부분적으로 해결하려 했다. 하지만 이들은 무엇을 학습할지가 아닌 어떻게 학습할지에 집중한다. ACL은 "학습 상황의 분포 자체를 최적화"한다는 근본적으로 다른
접근법이다.
그래서 이 논문은: "에이전트 능력에 맞게 학습 상황 분포를 자동으로 조정하는 메커니즘이 필요하다"는 한계를 해결하려 한다. 이것이 ACL이다.
