Meta, University of Chicago 및 UC Berkeley의 연구원들은 강화 학습(RL)을 사용하여 LLM(대형 언어 모델) 에이전트를 교육하는 데 따른 높은 비용, 인프라 복잡성 및 신뢰할 수 없는 피드백을 해결하는 새로운 프레임워크를 개발했습니다. 프레임워크인 DreamGym은 RL 환경을 시뮬레이션하여 복잡한 애플리케이션에 대한 에이전트를 교육합니다. 훈련 프로세스가 진행됨에 따라 프레임워크는 작업 난이도를 동적으로 조정하여 에이전트가 개선됨에 따라 더 어려운 문제를 해결하는 방법을 점차적으로 학습하도록 보장합니다. 연구팀의 실험에 따르면 DreamGym은 완전 합성 설정과 모델이 시뮬레이션된 학습을 실제 세계에 적용해야 하는 시나리오 모두에서 RL 훈련을 크게 향상시키는 것으로 나타났습니다. RL이 가능하지만 비용이 많이 드는 설정에서는 합성 상호 작용만 사용하여 널리 사용되는 알고리즘의 성능과 일치하여 데이터 수집 및 환경 상호 작용 비용을 크게 절감합니다. 이 접근 방식은 기업에 매우 중요할 수 있습니다.