복구 정책의 성공률이 높아도 적응형 선택의 효과일까요?

복구 정책이 높은 성공률을 보였다는 사실만으로 상태에 따른 적응형 선택이 효과적이었다고 결론 내릴 수는 없습니다. 원래 성능이 좋은 모델로 바꾸는 것만으로 비슷한 결과를 얻을 수도 있기 때문입니다. Study-1의 2026년 10월 13일 고정 모델 대조 실험은 이 대안 설명을 확인하기 위한 비교입니다.

같은 상태에서 강한 기준선과 비교하기

설계에는 여섯 과제 계열의 24개 과제 인스턴스와 세 장애 유형이 포함됐습니다. 네 정책에 각각 864개 상태를 적용해 총 3,456개 에피소드와 288개 공통 블록을 완료했습니다. 이 수치는 3,456개의 독립적인 과제나 사용자를 뜻하지 않습니다. 같은 과제와 상태에서 파생된 반복 구조를 유지해 해석해야 합니다.

정책 이름은 연구 기록의 식별자를 사용합니다. G36·G38은 두 고정 모델 기준선이고, M4는 적응형 선택 정책, M5는 로컬 검증 게이트를 포함한 정책입니다. 각 상태에서 네 정책의 두 번째 후보 응답은 정확히 공유하도록 통제했습니다.

정규화 성공과 엄격한 최종 성공은 다릅니다

정규화 채점에서는 출력의 허용된 표현 차이를 처리합니다. 엄격한 최종 채점에서는 최종 출력이 원래 요구를 충족하는지 별도로 확인하며, 로컬에서 끝난 출력도 포함합니다. 따라서 두 기준의 숫자를 바꿔 쓰면 안 됩니다.

각 정책의 864개 에피소드에서 정규화 성공은 G36 863건, G38 864건, M4 862건, M5 864건이었습니다. 엄격한 최종 성공은 같은 순서로 861건, 864건, 862건, 863건이었습니다. M5의 정규화 성공이 모두 통과했다고 해서 엄격한 기준에서도 오류가 없었던 것은 아닙니다.

미리 정한 두 고정 기준선과의 비교에서 M4의 우월성은 입증되지 않았습니다. 이것은 모든 정책이 동등하다는 증명도, 다른 환경에서 적응형 선택이 항상 불필요하다는 결론도 아닙니다. 이 설계에서 지지되지 않은 주장을 그대로 제한하는 결과입니다.

호출이 줄어든 이유도 나눠 봐야 합니다

M4의 복구 API 호출은 868회, M5는 817회로 51회 차이가 났습니다. 이 차이 전체를 로컬 처리의 효과로 설명하면 안 됩니다. 기록에서는 48회의 로컬 우회와 3회의 독립적인 재시도 차이로 구분합니다.

M5의 로컬 게이트가 받아들인 48건에서는 의미상 오수락이 관측되지 않았지만, 올바른 후보 124건을 거절한 기록도 있습니다. 제한된 표본에서 오수락이 없었다는 사실은 일반적인 안전성 보증이 아닙니다. 호출 절감과 함께 놓친 기회, 지연, 최종 정확성을 같이 보아야 합니다.

이번 비교가 말하지 못하는 것

과제 계열이 여섯 개로 제한돼 있어 다른 업무로 일반화할 때 주의가 필요합니다. 합성한 실행 장애는 장시간 지속되는 실제 서비스 장애와 같지 않습니다. 평가 규칙과 정규화 방식, 원본 모델과 복구 모델이 같은 경우도 결과 해석에 영향을 줍니다.

호출 횟수는 실제 청구액이 아닙니다. 사용량 기반 추산과 미확정 요청의 보수적 비용 유보를 구분해야 하며, 검증되지 않은 청구 총액을 절감액으로 소개하지 않습니다. 또한 결과를 본 뒤 정책을 조정해 같은 평가 데이터를 다시 사용하는 방식은 새 검증을 대신하지 못합니다.

다음 비교를 설계한다면

강한 고정 기준선, 동일한 초기 상태, 사전에 고정한 성공 판정, 독립 과제 단위의 불확실성을 함께 기록하는 것이 출발점입니다. 높은 성공률이라는 한 줄 대신 어떤 조건에서 무엇이 개선됐고 무엇을 아직 말할 수 없는지 남기는 편이 연구와 운영 모두에 도움이 됩니다.

이 글은 완료된 한 실험의 해설입니다. 새 실험을 실행했거나 전체 연구가 확증됐다는 뜻은 아닙니다. 유사한 복구 시스템을 평가해 보셨다면 어떤 대조군과 실패 분류가 필요했는지 의견을 들려주세요.

자료 기준: Study-1의 2026-10-13 고정 모델 대조 실험 최종 결과와 정책 요약·로컬 검증 기록. 내부 기록을 바탕으로 작성한 공개 요약이며 원자료 다운로드는 제공하지 않습니다.