{
  "schema_version": "portfolio.finance-ragas-comparison.v1",
  "title": "금융 RAG 답변 지침 비교 기록",
  "recorded_date": "2026-10-19",
  "scope": {
    "type": "고정된 가상 금융 질문의 단일 비교 실험",
    "paired_questions": 12,
    "question_origin": "AI로 작성한 가상 사례",
    "conditions": "같은 문항·생성 모델·판정 모델·검색 결과·채점 출력 상한으로 비교",
    "generator": "us.anthropic.claude-sonnet-4-6",
    "judge": "us.anthropic.claude-haiku-4-5-20251001-v1:0",
    "ragas_version": "0.4.3",
    "judge_max_tokens": 6144
  },
  "metrics": {
    "baseline": {
      "faithfulness": 0.7831325156325155,
      "answer_relevancy": 0.7784507958433243,
      "llm_context_precision_without_reference": 0.8611111110465278
    },
    "candidate": {
      "faithfulness": 0.9031308238545082,
      "answer_relevancy": 0.7910845139851546,
      "llm_context_precision_without_reference": 0.9652777777059026
    }
  },
  "per_case_comparison": {
    "faithfulness": {
      "candidate_higher": 8,
      "equal": 1,
      "baseline_higher": 3
    },
    "answer_relevancy": {
      "candidate_higher": 7,
      "equal": 0,
      "baseline_higher": 5
    }
  },
  "interpretation": [
    "근거 충실도는 0.7831에서 0.9031, 질문 관련성은 0.7785에서 0.7911로 측정됐다.",
    "두 조건의 검색 결과는 동일하다. 문맥 정밀도 점수 차이를 검색기 개선으로 해석하지 않는다.",
    "이후 재사용 시 같은 고정 문항의 재검증이다. 새로운 미공개 평가셋이나 서비스 전체 정확도 측정이 아니다."
  ],
  "decision": "점수 기준 충족 뒤에도 필요한 근거 조항 누락과 문맥 밖 연결을 추가 점검했다. 서비스 기본 지침은 유지하고 후보를 비교 실험으로 기록했다.",
  "other_retained_runs": {
    "development_pairs": 12,
    "baseline_quality_gate_passed": false,
    "candidate_quality_gate_passed": false,
    "note": "앞선 개발 문항의 미달 결과도 보존하며 이 비교 결과와 합산하지 않는다."
  },
  "provenance": {
    "baseline_summary_sha256": "bb4d595e19ade2cf2d9ac337d5477a64e026f712b35ad883f2a2e24bcf83532d",
    "candidate_summary_sha256": "b23f815205ca1f60c08ef55cb508c1b6297775260bb88f433d578c6ec016fa4b",
    "matched_condition_fields": [
      "manifest_sha256",
      "corpus_sha256",
      "generator",
      "judge",
      "judge_configuration_sha256",
      "evaluation_code_sha256",
      "index_sha256",
      "embedding_weights_sha256",
      "retrieval_snapshot_sha256"
    ]
  },
  "publication": "원본 질문·답변·문맥·사용자 정보·인증 정보 없이 집계 결과와 해석만 요약"
}
