마케팅 AI · 결과를 알 수 없는 모델 호출을 다시 보내지 않기
개인 프로젝트 · 공개 Olist 데이터 · 2026.10.12 단기 AWS 검증 / 2026.10.18 별도 로컬 검사
문제와 구현
모델 호출이 중간에 끊기면 요청이 처리됐는지 알기 어렵습니다. 이때 자동으로 다시 호출하지 않도록 했습니다. 호출하기 전에 예산을 예약하고, 완료된 조사는 모델을 다시 부르지 않고 저장한 결과를 돌려주도록 만들었습니다.
Olist 리드 8,000건·계약 842건을 연결했습니다. 주문 표본과 연결되지 않은 계약 462건은 판매가 없다고 판단하지 않도록 0건과 구분했습니다. 모델은 질문을 분류하고 허용된 읽기 전용 도구만 고릅니다. 조회와 수치 계산은 정해진 코드가 맡습니다.
시험 방법과 결과
- 10월 12일 시험은 사용자 승인 후 AI 어시스턴트가 AWS에서 짧게 실행한 기록입니다. 고객 서비스를 운영한 기록은 아닙니다. 당시 소스는
57ec671입니다. - 워커를 종료한 뒤
worker_crashed,attempted_unknown이 기록됐습니다. 예약 횟수는 3→4로 늘어난 뒤 4를 유지했고, 모델을 자동으로 다시 호출하지 않았습니다. - S3 백업을 같은 RDS 인스턴스의 별도 DB에 복원했습니다. 14개 테이블·뷰의 행 수·내용 해시와 API 응답을 비교했습니다. 호출 기록과 예약한 예산은 같은 EC2의 새 SQLite 경로로 복원했습니다.
- 10월 18일에는 로컬 PostgreSQL·TestClient·모의 planner로 RDF/OWL·SHACL 검사를 진행했습니다. 단위·버전·필수 근거가 맞지 않으면 답변을 보류하는지 확인했습니다. 이 검사는 앞선 AWS 시험이나 새로운 실제 모델 평가와 별도입니다.
확인한 범위: EC2 한 대에서 SQLite·파일 잠금(flock)을 사용한 시험입니다. 여러 서버에서 동시에 실행하거나 서버 전체를 옮기는 복구는 시험하지 않았습니다. 외부 API의 정확히 한 번 실행이나 고가용성을 확인한 결과도 아닙니다.
GitOps · CPU 할당량 부족으로 멈춘 배포 복구
래플 팀 프로젝트 이후 개인 개선 · 2026.10.06 저장소에 기록된 단기 시험
문제와 변경
HPA가 늘린 복제 수를 GitOps가 덮어쓰지 않도록 바꿨습니다. 카나리 승격 때는 구·신 버전이 함께 쓰는 자원량도 검사하도록 수정했습니다.
10월 6일 시험 결과
- 10월 6일 기록에는 기준선·카나리 각각 13분의 결과가 남아 있습니다. 각각 HTTP 15,600건·응모 3,900건, p95는 107.9ms·113.5ms였습니다. Prometheus·CloudWatch 지표를 함께 확인한 기록도 있습니다.
- 최종 승격이 멈춘 원인은 자원 부족이었습니다. CPU 할당량을 6→8코어로 바꾸고 제한된 수동 reconcile 후 Healthy를 확인했습니다. 같은 시험에서 이어서 확인한 결과는 readiness 150/150과 추가 응모 10/10입니다.
확인한 범위: 수동으로 조치한 뒤 복구를 확인한 기록입니다. 자동 승격이나 현재의 SLA를 확인한 시험은 아닙니다. 10월 19일 수정한 이미지의 AWS 재배포도 이 결과에 포함하지 않습니다. 일부 지표가 없으면 0으로 처리하는 코드가 있어, 지표 누락을 모두 막는 구성도 아닙니다.
청년 법률 AI · 철회한 기록을 제외하고 백업 복구하기
2026.06 팀 금융 Agent·질문 분류·검색 / 2026.10 개인 후속 개발 · 합성 자료만 사용
문제와 구현
예전 DB 백업을 그대로 복원하면 이미 철회한 자료가 다시 나타날 수 있습니다. 인증 후 기록을 저장하고, 철회하거나 보관 기한이 지나면 삭제하도록 했습니다. 삭제 이력은 DynamoDB에 따로 남겼습니다. 백업을 복원하기 전에 이 이력을 적용하도록 했습니다.
따로 진행한 두 시험
- 새 서버 복구 1회: EC2·SQLite와 S3 백업·DynamoDB 삭제 이력을 사용해 합성 자료를 복원했습니다. 약 3분 55초(234.52초)가 걸렸고, 보존 6건의 내용 해시가 일치했습니다. 철회한 자료는 복원 결과에서 제외됐습니다.
- 2026.10.21 HTTP IAM 시험: EC2 내부 loopback HTTP 경로에서 권한을 제한했을 때의 응답을 확인했습니다. 연결 풀을 수동으로 갱신하고 복구 처리(reconcile)를 실행한 뒤 상태 API가
200→503→200으로 응답했습니다. 모델은 호출하지 않았습니다.
확인한 범위: 합성 자료로 한 번 복구했고, 내부 HTTP 시험에서는 수동 조치가 필요했습니다. 자동 장애 전환·즉시 권한 철회·공개 HTTPS·실제 사용자 대상 서비스 수준은 시험하지 않았습니다. 처음 복구 시험에서는 IAM 차단을 관찰하지 못했고, 이후 HTTP 시험에서 다시 확인한 결과를 따로 남겼습니다.
청년 법률 AI · 답변 지침을 비교하고 기존 지침을 유지한 이유
개발에 사용한 검색 120문항 / 별도 고정 12문항 답변 비교
검색 결과 확인
금융 검색은 개발에 사용한 120문항에서 hit@3 0.975·MRR@3 0.840을 기록했습니다. 필요한 근거가 상위 세 검색 결과에 있는지와 그 순위를 확인한 수치입니다. 이력서와 로컬 기록에 남긴 결과이며, 공개된 독립 평가셋이나 답변 정확도 측정은 아닙니다.
2026년 10월 19일에는 AI로 작성한 가상 금융 질문 12개를 고정해 답변 지침을 한 번 비교했습니다. 생성 모델·판정 모델·검색 결과·채점 출력 상한을 같게 맞췄습니다. 앞의 검색 120문항과는 별도 시험입니다.
- RAGAS 근거 충실도: 기존 지침 0.783 → 후보 지침 0.903.
- RAGAS 질문 관련성: 기존 지침 0.778 → 후보 지침 0.791.
- 두 지침에 같은 검색 결과를 넣었으므로 점수가 높아졌다고 검색기가 개선됐다는 뜻은 아닙니다. 새로운 미공개 평가셋이나 서비스 전체 정확도도 확인하지 않았습니다.
기존 지침을 유지한 이유: 평균 점수는 높아졌지만 필요한 조항이 빠지거나 문맥에 없는 내용을 연결한 답변이 있었습니다. 그래서 기본 지침은 바꾸지 않고 후보 지침과 비교한 기록을 남겼습니다.