Google Cloud와 UCLA의 연구원들은 매우 까다로운 다단계 추론 작업을 학습할 수 있는 언어 모델의 능력을 크게 향상시키는 새로운 강화 학습 프레임워크를 제안했습니다. 지도 강화 학습(SRL)은 문제 해결을 일련의 논리적 “작업”으로 재구성하여 훈련 과정 중에 풍부한 학습 신호를 제공합니다. 이 접근 방식을 통해 더 작은 모델은 이전에 다른 일반적인 훈련 기술로는 접근할 수 없었던 복잡한 문제를 학습할 수 있습니다. 실험에 따르면 SRL은 수학 추론 벤치마크에서 탁월할 뿐만 아니라 에이전트 소프트웨어 엔지니어링 작업에 효과적으로 일반화됩니다. SRL은 더 작고 저렴한 모델을 더 높은 추론 능력으로 향상시킬 수 있는 다용도 훈련 프레임워크입니다. 현재 LLM 추론 훈련의 한계 추론을 위한 대규모 언어 모델(LLM) 훈련의 최근 발전은 모델이 기본적으로 보상을 받는 방법인 검증 가능한 보상이 있는 강화 학습(RLVR)에 의해 주도되었습니다.