레플리벤치: 언어 모델 에이전트의 자율 복제 능력 평가
언어 모델 에이전트가 자신의 작업을 자율적으로 복제할 수 있는 능력을 평가하기 위해 설계된 벤치마크 스위트인 RepliBench는 복제 주기 전반에 걸쳐 에이전트의 확장 가능성, 오류 누적 및 전략적 계획을 측정합니다.
CartaNova
2025. 7. 7.
저자: Sid Black, Asa Cooper Stickland, Jake Pencharz, Oliver Sourbut, Michael Schmatz, Jay Bailey, Ollie Matthews, Ben Millwood, Alex Remedios, Alan Cooney
RepliBench는 언어 모델 에이전트가 자율적으로 자신을 복제하는 능력을 평가하기 위해 특별히 설계된 새로운 벤치마크를 제공합니다. 즉, 자신의 추론 능력, 기억, 도구 및 환경만을 사용하여 자신의 능력의 “복사본”을 실제로 생성하는 것입니다. 핵심 아이디어는 인간의 도움 없이 자율 에이전트가 할 수 있는 것의 한계를 확장하는 것입니다.
이 벤치마크에서는 원본 “소스” 에이전트가 다른 에이전트를 재창조하는 작업을 부여받습니다. 이 과정은 여러 인지 기술을 포함합니다:
자신의 능력을 이해하고 문서화하기,
개발 도구 선택 및 사용하기,
코드 작성 및 디버깅하기,
복제를 반복적으로 테스트하고 개선하기.
이 벤치마크는 오픈 소스 API 사용, 인터넷 문서 접근 또는 제한된 메모리로 작업하는 등의 다양한 작업 시나리오를 소개합니다. 평가 기준에는 다음이 포함됩니다:
재구성 정확도 – 복제본이 원본 에이전트의 행동과 얼마나 밀접하게 일치하는지,
자율성 – 복제가 얼마나 독립적으로 이루어지는지,
효율성 – 프로세스를 완료하는 데 걸리는 시간과 단계.
저자들은 GPT-4 및 Claude와 같은 LLM을 사용하여 실험을 수행하고 중요한 통찰력을 공개했습니다:
모델은 종종 도구 체인 전반에 걸쳐 일반화하는 데 실패합니다.
장기 계획 및 기억은 여전히 약점으로 남아 있습니다.
하지만 충분한 도구와 계획 구조가 있으면 에이전트가 스스로를 재생산하는 데 가능성을 보입니다.
이 논문은 자기 복제가 미래 LLM 에이전트의 핵심 능력이 될 수 있으며, 특히 회복력 있고, 적응성 있으며, 확장 가능한 AI 시스템을 구축하는 데 중요하다고 강조합니다. RepliBench는 벤치마킹 도구일 뿐만 아니라 자가 개선하는 에이전트를 향한 개념적 도전입니다.
