기관마다 다른 기상·교통 데이터를 같은 기준으로 조회
공공데이터를 함께 쓰는 개발자를 위한 KST·행정동 기준 통일과 검증 데이터 게시
- 내 역할
- 팀: 기상·교통 수집, 기준 통일과 게시 검사
개인: 예보 평가, 제한 조회와 복구 계획 추가
기상청 → Airflow → R2 원본 → Iceberg → dbt·Trino → 게시 검사 → D1·Workers
개인 후속 · 노트북 Docker Compose 수집·변환 / Cloudflare 저장·API
- 핵심 해결
- 적재 한도 초과 → 입력 분할 + PyIceberg 단일 커밋 → 부분 갱신 방지
- 성과
- 교통 변환 하루 288회 → 24회 (팀 실행 기록, 수집·변환 주기 분리)
- 전환 후 확인 구간에서 같은 예보 적재 오류 재발 없음 (팀 정기 실행 기록)
역할과 아키텍처 담당 범위 · 데이터 흐름 · 선택 이유
| 구분 | 팀·프로젝트 범위 | 내 담당 |
|---|---|---|
| 팀 서비스 | 6개 도메인·데이터 제품 60종 | 기상·교통 수집·게시 검사 |
| 적재 개선 | 팀 데이터 파이프라인 | 삭제·추가 단일 커밋, PR #178 |
| 개인 후속 | 기상 코드 이관 | 예보 평가·제한 조회·복구 계획 |
| 외부 기여 | K-Skill 오픈소스 | 기상 위험 제품 1개 조회 기능, PR #552 |
| 계층 | 기술 | 역할 | 선택 이유 |
|---|---|---|---|
| 수집 | Airflow / Docker Compose | 원본 수집·검증·재시도 | 실행 의존성 관리 |
| 저장 | R2 / Apache Iceberg | 원본·시각·해시 보존 | 재검사와 원자적 반영 |
| 변환 | Trino / dbt | Bronze → Silver·Gold, 기상 제품 4종 | 변환 SQL과 품질 검사 분리 |
| 게시 | D1 / Workers | 검증 데이터 조회 | 처리·조회 경로 분리 |
| 변경 검사 | GitHub Actions | 계약·DAG·프록시 검사 | 게시 기준 회귀 점검 |
Trino 메모리 5 GiB 상한·동시 실행 제한. Worker 토큰의 비밀값 보관. 개인 후속 구성 기준. 427개 장소의 조회 가능 구간·필수 입력 검사.
핵심 문제 해결 상황 → 검토 → 선택 → 결과
1. SQL 크기 제한과 부분 적재
- 상황
- 8만 행 이상 예보를 포함한 SQL에서 Trino 쿼리 크기 제한 초과
- 검토
- SQL 분할의 스냅샷 증가와 일괄 SQL의 크기 한도 비교
- 선택
- 입력은 나누되 삭제·추가는 PyIceberg 한 커밋으로 반영
- 결과
- 전환 후 확인한 정기 실행에서 같은 적재 오류 재발 없음
2. 누적 원본의 반복 정렬
- 상황
- 전체 이력 정렬이 Trino 메모리 한도 초과
- 검토
- 식별값 선택 후 재조인은 원본을 두 번 읽으며 메모리 부족 재발
- 선택
- 마지막 처리 이후 데이터 재계산, 장소 확장 전 격자별 예보 선택
- 결과
- 80개 격자·160페이지 재수집 후 기상 제품 4종 게시
성과와 검증 수치 · 시험 환경 · 적용 범위
| 지표 | 결과 | 검증 환경 |
|---|---|---|
| 동일 적재 오류 | 전환 후 확인 구간 재발 없음 | 팀 정기 실행, 2026.07.08 14:20 KST 이후 |
| 교통 변환 | 하루 288회 → 24회 | 수집과 변환 주기 분리, 팀 기록 |
| 게시·조회 | 80개 격자·160페이지 → 기상 제품 4종 | 2026.08.08 재수집·게시 기록 |
| 제한 조회 | 고정 10문항 10/10 | 기록 데이터 기반 Gemini 시험 |
427개는 장소별 조회 가능성 검사 범위. 복구 모듈은 계획·dry run 단계, 실제 자동 실행 미연결.
이 프로젝트의 역량
데이터 · 단일 커밋 적재, 증분 변환과 게시 검사
AI/AX · 허용된 제품 조회와 근거 부족 시 보류
클라우드 · 로컬 처리와 공개 API 분리, 자원·비밀값 관리