Study-1: 다중 LLM 에이전트의 실패와 복구를 연구합니다

여러 LLM과 도구를 연결하면 한 모델로 처리하기 어려운 작업을 나눌 수 있습니다. 하지만 구성 요소가 늘어난 만큼 실패의 원인도 복잡해집니다. 응답이 도착했다는 사실과 작업이 올바르게 완료됐다는 사실은 같지 않습니다. 재시도가 성공하더라도 지연과 추가 호출이 지나치게 늘었다면 운영 관점에서는 다른 평가가 필요합니다.

Study-1은 다중 LLM 에이전트 시스템의 신뢰성을 주제로, 실행 중 관측한 정보와 실패 이후의 상태를 바탕으로 어떤 복구 행동을 선택할지 연구합니다. 이 글은 내부 연구 기록을 공개용으로 정리한 소개이며, 원자료나 비공개 연구 포털을 그대로 공개하는 문서는 아닙니다.

예측과 복구는 서로 다른 질문입니다

첫 번째 질문은 실패 전에 얻을 수 있는 실행 정보로 위험을 판단할 수 있는지입니다. 두 번째 질문은 실패가 발생했을 때 같은 모델을 다시 호출할지, 다른 후보로 바꿀지, 검증 가능한 범위에서 로컬 처리를 사용할지입니다. 두 질문은 입력 정보와 평가 시점이 다르므로 하나의 성공률로 합쳐 설명하지 않습니다.

실패 이후에만 알 수 있는 정보를 실패 예측의 입력으로 사용하면 실제 운영에서는 얻을 수 없는 성능이 나올 수 있습니다. 따라서 기록할 수 있는 정보의 시점, 학습과 평가의 분리, 데이터 누출 가능성을 함께 확인해야 합니다.

무엇을 비교하나요?

복구 비교에서는 같은 초기 상태에 서로 다른 정책을 적용하고, 최종 응답의 정확성뿐 아니라 복구 호출 수와 지연을 기록합니다. 실행 실패, 출력 형식 문제, 문맥과 상태를 이어가는 과정의 문제를 구분합니다. 인위적으로 주입한 장애와 원래 발생한 자연 실패도 섞지 않습니다.

특히 복잡한 정책이 좋은 결과를 냈을 때에는 강한 고정 모델을 선택했기 때문인지, 상태에 따른 선택 자체가 도움이 됐는지 구분하는 대조군이 필요합니다. 모델별 결과는 선택된 조건에 영향을 받으므로 이를 전체 모델의 순위표로 해석하지 않습니다.

현재 기록을 읽는 방법

2026년 10월 13일에 마무리된 고정 모델 대조 실험은 계획한 수집과 오프라인 분석이 완료된 기록입니다. 이 실험에서는 적응형 정책이 두 고정 기준선보다 우월하다는 주장을 뒷받침하지 못했습니다. 실험을 끝냈다는 사실과 연구 가설이 지지됐다는 사실은 구분합니다. 자세한 해석은 복구 정책 비교 글에서 다룹니다.

앞선 단계의 문서에는 다른 실험 설계와 당시 진행 상태가 남아 있습니다. 각 결과를 읽을 때는 실험 날짜와 데이터 범위, 정책 버전을 확인해야 합니다. 서로 다른 실험의 성공 횟수를 합쳐 하나의 성능처럼 제시하지 않습니다.

공개 글의 원칙

이 사이트에서는 연구 질문, 검증 방법, 확인된 관찰과 한계를 중심으로 공유합니다. 실패·중단 사례를 성공으로 바꾸지 않고, 미완료 과제는 미완료로 표시합니다. API 키, 계정 정보, 원문 대화와 원자료 묶음은 공개 글에 포함하지 않습니다.

관심 있는 비교 조건이나 재현 방법이 있다면 댓글로 의견을 남겨 주세요. 단순히 더 높은 점수를 만드는 방법보다, 실제 운영에 도움이 되는 차이를 어떤 실험으로 구분할지 함께 논의하려 합니다.

자료 기준: Study-1 연구 개요 및 2026-10-13 고정 모델 대조 실험의 최종 결과·검증 기록. 이 글의 게시일과 실험 수행일은 다릅니다.