원문: dnhkng.github.io | 토론: GeekNews · 댓글 1개

핵심 요약 David Noel Ng가 Qwen2-72B(총 80개 레이어)의 중간 7개 레이어를 복제해 재조합하는 방법으로, 어떠한 학습이나 가중치 수정 없이 2024년 HuggingFace Open LLM 리더보드 1위를 달성했다. RTX 4090 두 장으로 수행된 이 실험은 중간 레이어를 반복 실행하는 구조만 변경한 것으로, LLM 벤치마크의 신뢰성에 의문을 제기하는 동시에 트랜스포머 내부 구조에 대한 새로운 통찰을 제공한다.

커뮤니티 의견

  • @GN⁺: “‘Goliath가 작동했다는 사실 자체가 놀랍다’는 부분이 핵심. 전체 transformer 스택을 복제하는 건 좋은 아이디어가 아님을 실험적으로 확인”

💡 실무 포인트: LLM 벤치마크 점수만으로 모델을 평가하는 것은 위험하다. 실제 서비스 태스크에 대한 자체 평가 기준을 수립하고, 벤치마크는 참고 지표로만 활용하자.