복구 정책 비교: 결과를 직접 확인하기

무엇을 확인하려는 실험인가요?

좋은 복구 모델을 선택하는 것과 상태에 따라 모델을 바꾸는 정책의 효과는 다릅니다. 고정 모델을 사용해도 높은 성공률을 얻을 수 있다면, 복잡한 선택 정책의 성공을 모두 적응성에 돌릴 수 없습니다. Study-1의 고정 기준선 대조는 이 대안 설명을 확인하는 실험입니다.

과제 인스턴스

24개 / 6계열

원본 모델

12개

장애 유형

3종

비교 범위

4정책 / 총 3,456 에피소드

정책마다 완료한 864개 상태는 864개의 독립 과제가 아닙니다. 288개 공통 블록과 같은 상태를 공유하는 비교 구조가 있습니다. 네 정책의 두 번째 후보 응답을 정확히 공유해 비교했으며, 수집을 완료한 뒤 결과에 맞춰 정책을 재조정하지 않았습니다.

정책 식별자

• G36·G38: 두 고정 모델 기준선입니다. 식별자는 연구 내 정책 이름이며 전체 모델의 성능 순위가 아닙니다.
• M4: 적응형 복구 선택 정책입니다.
• M5: 로컬 검증 게이트를 포함한 정책입니다. 검증 가능한 후보를 로컬에서 수락할 수 있으며, 거절과 오수락도 별도로 확인합니다.

서로 다른 실패를 구분합니다

실행 계층의 장애(provider_execution), 출력 계약 문제(output_contract), 상태·문맥 유지 문제(stateful_context)를 나눠 봅니다. 합성 장애와 실제 자연 실패를 같은 것으로 가정하지 않습니다. 특히 합성 503은 지속적인 실제 공급자 장애를 재현했다는 뜻이 아닙니다.

두 채점 기준을 함께 보세요

정규화 성공은 허용된 표현 차이를 정규화한 채점입니다. 엄격한 최종 성공은 최종 출력의 엄격한 판정이며 로컬 종료도 포함합니다. 응답이 JSON으로 파싱되거나 스키마가 맞는다는 사실만으로 의미상 정답이라고 판정하지 않습니다.

표를 좌우로 움직이면 모든 열을 볼 수 있습니다.

G38과 M5는 정규화 채점에서 모두 864/864이지만, 엄격한 최종 성공은 각각 864/864와 863/864입니다. 따라서 정규화 성공률 하나로 두 정책을 같다고 하거나 오류가 없다고 설명할 수 없습니다.

미리 정한 두 고정 기준선 대비 M4의 우월성은 입증되지 않았습니다. 이것은 정책 간 동등성·일반적 안전성·모든 업무에 대한 결론이 아닙니다. 집계 표만으로 원 연구의 대응·군집 통계 검정을 재현할 수도 없습니다.

51회 호출 감소를 모두 로컬 게이트 효과로 보면 안 됩니다

M4 868회와 M5 817회의 차이 51회는 로컬 우회 48회와 독립적인 재시도 차이 3회로 구분합니다. 로컬 수락 48건에서는 의미상 오수락이 관측되지 않았으나, 올바른 후보를 거절한 124건도 보존돼 있습니다. 48건에서 관측 오류가 0이라는 사실은 일반적인 안전성 인증이 아닙니다.

복구 호출 수는 최초 요청을 포함한 전체 수집 호출 수도, 실제 청구액도 아닙니다. 이 공개 표에는 비용 원장을 포함하지 않으며 호출 횟수 차이를 곧바로 비용 절감액으로 바꾸지 않습니다.

API 호출 없이 집계값을 검산하기

다섯 열은 정책 이름, 완료 수, 정규화 성공 수, 엄격한 최종 성공 수, 복구 호출 수입니다. 공개 CSV와 JSON의 네 행은 원 집계의 해당 열만 선택한 값으로, 가상의 실험 결과를 추가하지 않았습니다.

정규화 성공률 = normalized_successes / episodes × 100
엄격한 최종 성공률 = strict_successes / episodes × 100
채점별 실패 수 = episodes − 해당 성공 수
완료당 복구 호출 = recovery_calls / episodes

예를 들어 M5의 엄격한 최종 성공은 863/864 = 약 99.884%이고, 완료당 복구 호출은 817/864 = 약 0.946회입니다. 이는 이 실험의 완료된 에피소드를 분모로 한 기술 통계입니다.

python recompute_policy_summary.py study1-policy-summary.csv

Python 3 표준 라이브러리만 사용합니다. 네트워크 연결, API 키, 유료 모델 호출은 필요 없습니다. 브라우저 비교 도구에서도 같은 계산을 확인하거나 자신의 집계 CSV를 넣을 수 있습니다. 도구는 입력을 서버에 업로드하지 않습니다.

여기서 재현하는 것은 공개 집계의 산술입니다. 원래 모델을 다시 호출하거나 개별 에피소드 채점·통계적 검정을 재현하는 전체 실험 패키지는 아닙니다.

자료 범위와 추적 가능성

근거는 2026-10-13에 종료된 고정 모델 대조 실험의 최종 결과 기록과 POLICY_SUMMARY.csv입니다. 완료 수는 completed, 정규화 성공은 successes, 엄격한 성공은 strict_terminal_success, 호출 수는 recovery_api_calls에서 옮겼습니다. 원 집계 파일의 식별 해시는 아래와 같으며 공개 파일 자체의 해시와는 다릅니다.

acf96b4a7dc35191b690238f285d90a5a1afd389c5b568a786b8ed6506adf655

여섯 과제 계열로 범위가 제한되고, 실제 대상 모델 구성은 선택 조건에 의존합니다. 같은 모델 ID가 반환됐다고 내부 가중치가 고정됐음을 증명하지는 않습니다. 프롬프트·응답·개별 로그·미공개 원고·계정 정보와 비공개 포털은 공개하지 않습니다.

공개 집계와 새로 작성한 검산 코드는 SSKIM LAB 및 버전을 표시해 재사용할 수 있습니다. 제3자 모델·내부 원자료에 대한 이용 허락은 포함하지 않습니다. 분석 오류는 문의 메일이나 관련 글의 댓글로 알려 주세요. 수정은 실제 수정 시점과 내용을 남깁니다.

평가 체크리스트와 기록 양식 보기 · 연구 소개 · 부분관측 협동 AI 평가 노트