ARC-AGI-3는 AI 에이전트의 인간 수준 지능을 측정하기 위한 최초의 상호작용형 추론 벤치마크다. 환경 탐색과 적응 학습 능력을 평가하며, 모든 과제는 인간이 해결 가능한 환경으로 구성된다. 점수는 단순 성공률이 아닌 효율성 제곱값으로 계산되어, 인간이 10단계로 푼 문제를 모델이 100단계로 풀면 1%만 인정되는 엄격한 구조다.
커뮤니티 의견
- @GN⁺: “인간 기준점이 ‘두 번째로 빠른 인간’으로 정의되어 있고 효율성 제곱값으로 점수를 계산하는 등 엄격한 설계가 오히려 올바른 접근 방식처럼 느껴진다는 평가가 있음”
관련 레퍼런스
💡 실무 포인트: 자사 AI 모델의 추론 능력을 평가할 때 단순 정확도 외에 효율성(스텝 수) 지표를 함께 고려하는 벤치마크 설계를 참고할 만하다.