연구 방법 · 실무 체크리스트
실패·복구 실험을 읽고 기록하는 방법
같은 성공률을 보더라도 무엇을 성공으로 판정했는지, 어떤 실행을 제외했는지, 서로 독립적인 표본이 몇 개인지에 따라 의미는 달라집니다. 다음은 Study-1·Study-2의 검증 과정에서 구분했던 항목을 다른 실험에도 사용할 수 있도록 정리한 기록 양식입니다.
1. 실행 전에 성공 기준을 적습니다
정상 응답, 파싱 성공, 스키마 통과, 의미상 정답을 따로 기록합니다. 예를 들어 수량이 3개여야 하는 작업에서 {"count": 4}는 JSON으로 파싱되고 정수 스키마를 통과하더라도 작업의 정답은 아닐 수 있습니다. 이 예는 설명용이며 연구의 실제 응답을 공개한 것이 아닙니다.
- 입력과 채점 규칙을 먼저 고정했는가?
- 평가 후 유리한 규칙으로 바꾸지 않았는가?
- 정규화 성공과 엄격한 최종 성공을 각각 보존했는가?
- 판정 불가능·미완료·실패를 구분했는가?
2. 비교 단위와 대조군을 먼저 고릅니다
같은 초기 응답을 여러 정책이 공유하면 각 에피소드를 서로 독립인 관측으로 세면 안 됩니다. 과제 인스턴스, 계열, 반복, 실행 시점과 정책을 연결할 키를 남깁니다. 초기 상태가 다르거나 강한 고정 기준선이 빠지면 적응형 분기 자체의 효과를 분리하기 어렵습니다.
Study-1 공개 사례는 정책별 864개 상태와 24개 과제 인스턴스를 구분합니다. 집계 행 네 개만으로 군집·대응 검정을 다시 할 수 없으므로 비교 도구는 기술 통계까지만 제공합니다. 설계와 실제 결과 보기.
3. 실행 실패와 실험 도구 오류를 분리합니다
실제 정책 판단이 틀린 실행, 초기화되지 않은 실행, 로그가 누락된 실행은 다른 상태입니다. 도구 오류를 정책 실패율에 무조건 더하지도, 유효한 정책 실패를 불리하다는 이유로 빼지도 않습니다. 제외 이유는 원 기록과 함께 보존합니다.
설명용 기록 양식은 다음과 같습니다. 식별자는 임의 값이며 개인정보나 원 연구의 로그가 아닙니다.
run_id: example-001
protocol_version: v1
task_family: example-family
initial_state_id: example-state-01
policy: baseline
execution_status: completed | incomplete | tool_error
parse_ok: true | false | unknown
schema_ok: true | false | unknown
semantic_ok: true | false | unknown
normalized_ok: true | false | unknown
strict_terminal_ok: true | false | unknown
recovery_calls: 0
exclusion_reason: null
artifact_digest: SHA256-of-original-artifact이 양식은 누락 정보를 만드는 명령이 아닙니다. 측정하지 않은 필드는 unknown이나 N/A로 남기고, 실제 원자료와 연결되는 키·버전을 보존합니다. 비용은 사용량 추산·미확정 요청·청구 확인 여부를 별도로 관리합니다.
4. 부분관측에서는 평가 정답을 정책 입력과 분리합니다
평가자는 실제 상태를 알고 있어도 정책은 당시 관측한 것만 알아야 합니다. 마지막 관측 시각과 출처, 현재 시각, 관측이 유효한 구간을 기록합니다. 오래된 기억을 최신 관측으로 취급하거나 숨김 좌표를 정책 입력에 넣으면 문제의 성격이 바뀝니다.
역할이 배정됐다는 로그만으로 협업 완료를 판정하지 않습니다. 이동·도착·관측·재확인을 구분하고, 이동 구현의 오류와 정책 판단의 실패를 따로 확인합니다. Study-2의 예비 검증은 협동 AI 평가 노트에서 기능 검증과 통계적 성능 증거를 구분해 설명합니다.
5. 공개 전에 재사용 범위와 제한을 확인합니다
- 원본 파일은 보존하고 공개용 집계를 별도로 만들었는가?
- 공개 값이 원본 열과 정확히 일치하는가?
- 실험일·공개일·수정일을 실제 날짜로 구분했는가?
- API 키·계정 식별자·민감한 프롬프트·제3자 자료를 제거했는가?
- 도구·집계·원래 실험 중 어디까지 재현 가능한지 명시했는가?
이 체크리스트를 통과해도 연구의 일반화나 안전성이 보장되지는 않습니다. 검증 범위와 미완료 항목을 명시하는 것은 성과를 작게 보이게 하려는 것이 아니라, 독자가 결과를 적용할 수 있는 경계를 알 수 있게 하려는 것입니다.