불과 몇 주 전, Google은 Gemini 3 모델을 선보이며 여러 AI 벤치마크에서 선두 자리를 차지했다고 주장했습니다. 그러나 벤더가 제공하는 벤치마크의 문제점은 그것이 바로 벤더가 제공한다는 것입니다. 그러나 Prolific의 새로운 공급업체 중립적 평가에서는 Gemini 3가 순위표의 최상위에 올랐습니다. 이것은 일련의 학문적 벤치마크에 따른 것이 아닙니다. 오히려 실제 사용자와 조직이 관심을 갖는 일련의 실제 속성에 관한 것입니다. Prolific은 옥스포드 대학의 연구원들에 의해 설립되었습니다. 이 회사는 엄격한 연구와 윤리적인 AI 개발을 지원하기 위해 신뢰할 수 있는 고품질의 인간 데이터를 제공합니다. 회사의 “HUMAINE 벤치마크”는 대표적인 인간 샘플링 및 블라인드 테스트를 사용하여 다양한 사용자 시나리오에서 AI 모델을 엄격하게 비교함으로써 기술 성능뿐만 아니라 사용자 신뢰, 적응성 및 커뮤니케이션 스타일을 측정함으로써 이 접근 방식을 적용합니다. 최신 HUMAINE 테스트는 블라인드 테스트에서 26,000명의 사용자를 평가했습니다.