정성헌

프로젝트 상세

담당한 일과 데이터 흐름, 설계 선택과 검증 기록. 궁금한 항목만 펼쳐 보는 프로젝트 상세.

프로젝트 한눈에

목적과 담당 범위부터, 설계 선택과 검증 기록까지

대표 프로젝트 비교
프로젝트해결하려는 문제내 역할대표 검증·환경
ASK Seoul기관별 시간·지역 기준 차이기상·교통 파이프라인교통 변환 288→24회/일 · 팀 기록
Agentic Marketing Data Pipeline지표 오해와 중복 모델 호출분석 마트·조사 API14개 테이블·뷰 복원 대조 · AWS
GitOps 배포·복구배포 중 상태 충돌·자원 부족HPA 보존·자원 검사13분 HTTP 15,600건 · AWS
청년 법률 상담 AI상담 준비와 철회 기록 재노출금융 검색·기록 복구234.52초 복구 · AWS 합성 1회
역량별 보기

대표 프로젝트 4개

01

ASK Seoul

2026.06–08 팀 → 08–09 개인 후속

  • 데이터 엔지니어
  • 클라우드
  • AI/AX

기관마다 다른 기상·교통 데이터를 같은 기준으로 조회

공공데이터를 함께 쓰는 개발자를 위한 KST·행정동 기준 통일과 검증 데이터 게시

내 역할
팀: 기상·교통 수집, 기준 통일과 게시 검사
개인: 예보 평가, 제한 조회와 복구 계획 추가

기상청 → Airflow → R2 원본 → Iceberg → dbt·Trino → 게시 검사 → D1·Workers

개인 후속 · 노트북 Docker Compose 수집·변환 / Cloudflare 저장·API

핵심 해결
적재 한도 초과 → 입력 분할 + PyIceberg 단일 커밋 → 부분 갱신 방지
성과
  • 교통 변환 하루 288회 → 24회 (팀 실행 기록, 수집·변환 주기 분리)
  • 전환 후 확인 구간에서 같은 예보 적재 오류 재발 없음 (팀 정기 실행 기록)
역할과 아키텍처 담당 범위 · 데이터 흐름 · 선택 이유
역할과 기여
구분팀·프로젝트 범위내 담당
팀 서비스6개 도메인·데이터 제품 60종기상·교통 수집·게시 검사
적재 개선팀 데이터 파이프라인삭제·추가 단일 커밋, PR #178
개인 후속기상 코드 이관예보 평가·제한 조회·복구 계획
외부 기여K-Skill 오픈소스기상 위험 제품 1개 조회 기능, PR #552
아키텍처와 인프라
계층기술역할선택 이유
수집Airflow / Docker Compose원본 수집·검증·재시도실행 의존성 관리
저장R2 / Apache Iceberg원본·시각·해시 보존재검사와 원자적 반영
변환Trino / dbtBronze → Silver·Gold, 기상 제품 4종변환 SQL과 품질 검사 분리
게시D1 / Workers검증 데이터 조회처리·조회 경로 분리
변경 검사GitHub Actions계약·DAG·프록시 검사게시 기준 회귀 점검

Trino 메모리 5 GiB 상한·동시 실행 제한. Worker 토큰의 비밀값 보관. 개인 후속 구성 기준. 427개 장소의 조회 가능 구간·필수 입력 검사.

핵심 문제 해결 상황 → 검토 → 선택 → 결과
1. SQL 크기 제한과 부분 적재
상황
8만 행 이상 예보를 포함한 SQL에서 Trino 쿼리 크기 제한 초과
검토
SQL 분할의 스냅샷 증가와 일괄 SQL의 크기 한도 비교
선택
입력은 나누되 삭제·추가는 PyIceberg 한 커밋으로 반영
결과
전환 후 확인한 정기 실행에서 같은 적재 오류 재발 없음
2. 누적 원본의 반복 정렬
상황
전체 이력 정렬이 Trino 메모리 한도 초과
검토
식별값 선택 후 재조인은 원본을 두 번 읽으며 메모리 부족 재발
선택
마지막 처리 이후 데이터 재계산, 장소 확장 전 격자별 예보 선택
결과
80개 격자·160페이지 재수집 후 기상 제품 4종 게시
성과와 검증 수치 · 시험 환경 · 적용 범위
검증 결과
지표결과검증 환경
동일 적재 오류전환 후 확인 구간 재발 없음팀 정기 실행, 2026.07.08 14:20 KST 이후
교통 변환하루 288회 → 24회수집과 변환 주기 분리, 팀 기록
게시·조회80개 격자·160페이지 → 기상 제품 4종2026.08.08 재수집·게시 기록
제한 조회고정 10문항 10/10기록 데이터 기반 Gemini 시험

427개는 장소별 조회 가능성 검사 범위. 복구 모듈은 계획·dry run 단계, 실제 자동 실행 미연결.

이 프로젝트의 역량

데이터 · 단일 커밋 적재, 증분 변환과 게시 검사
AI/AX · 허용된 제품 조회와 근거 부족 시 보류
클라우드 · 로컬 처리와 공개 API 분리, 자원·비밀값 관리

02

Agentic Marketing Data Pipeline

2026.10 · 개인 · 공개 Olist 데이터

  • 데이터 엔지니어
  • AI/AX
  • 클라우드

리드·계약·주문을 연결해 근거와 함께 답하는 조사 서비스

누락·미연결 계약의 집계 오류 방지를 위한 분석 기준과 AI 조회 범위 정의

내 역할
PostgreSQL 분석 마트·품질 검사·버전 게시 구현
LangGraph 조사 API, 호출 기록·예산·복원 경로 설계

Olist → Core·Mart → 품질 검사 → 게시 버전 → 질문 분류 → 허용 조회·계산 → 근거 응답

AWS 단기 · EC2·Caddy → 프라이빗 RDS / SQLite → S3 백업

핵심 해결
워커 종료 → 호출 상태 보존 → 불확실한 호출의 자동 재전송 보류
성과
  • 호출 예약 3→4회 이후 4회 유지 (AWS 워커 종료 시험)
  • 14개 테이블·뷰의 행 수·내용 해시 일치 (같은 RDS의 별도 DB 복원)
역할과 아키텍처 담당 범위 · 데이터 흐름 · 선택 이유
역할과 기여
구분팀·프로젝트 범위내 담당
데이터개인 프로젝트Core·Mart·Ops, 품질 검사·버전 게시
AI 조회개인 프로젝트질문 분류, 허용 도구 조회와 근거 검증
실행 관리개인 프로젝트예산 예약·체크포인트·복원
아키텍처와 인프라
계층기술역할선택 이유
분석PostgreSQL분석 지표·게시 버전 관리실패 시 기존 결과 보존
조사LangGraph / Nemotron Super의도 분류 → 허용 조회 → 근거 응답분류와 SQL·계산 분리
호출 기록SQLite / 암호화 EBS호출 상태·예산 보존결과 재사용·재호출 통제
AWS 시험CloudFormation / EC2·CaddyHTTPS API, loopback 앱 바인딩소형 서버에서 배포·장애 시험
저장·백업프라이빗 RDS / S3분석 DB·버전 백업EC2 보안그룹에만 DB 접근 허용

모델에 DB 행·SQL·연결 정보 전달 차단. SSM SecureString 보관. 승인 USD 5, 24시간 비용 추정 USD 1.10–1.60.

핵심 문제 해결 상황 → 검토 → 선택 → 결과
1. 집계에서 사라지는 미확인 상태
상황
경로 누락 제외·주문상품 중복 조인·미연결 계약의 0 처리로 지표 왜곡
검토
값의 부재와 실제 0건을 구분하는 집계 기준 적용
선택
리드 8,000건 중 경로 누락 60건도 분모 포함, 주문 표본 미연결 계약 462건은 판매 0건 대신 NULL 보존
결과
판매자별 DISTINCT order_id 집계, 단위·버전·필수 근거 불일치 시 답변 보류
2. 완료 여부가 불명확한 외부 호출
상황
모델 응답과 로컬 완료 기록 사이의 워커 종료
검토
무조건 재시도 대신 호출 상태별 복구 경로 구분
선택
호출 전 예산 예약, attempted_unknown 자동 재전송 차단, 완료 결과 재사용
결과
종료 이후 예약 수 4회 유지, 백업 복원 시 호출 기록·예산 대조
성과와 검증 수치 · 시험 환경 · 적용 범위
검증 결과
지표결과검증 환경
호출 예약3→4회 이후 4회 유지2026.10.12 AWS 워커 종료 시험
복원 데이터14개 테이블·뷰, 행 수·내용 해시 일치같은 RDS의 별도 DB, S3 백업
계약 상태연결 380건 / 미연결 462건Olist 계약 842건 표본
의미 검증단위·버전·근거 오류 시 보류2026.10.18 로컬 RDF → OWL 2 RL → SHACL 시험

승인 후 AI 도구로 AWS 시험 실행·기록 보관. EC2 1대·SQLite 기준, 같은 RDS의 별도 DB 복원. 전체 서버 이전·다중 서버 실행 미검증.

이 프로젝트의 역량

데이터 · 지표 정의, 미연결 상태 보존과 검증 버전 게시
AI/AX · 질문 분류, 근거 검증과 호출 예산·재시도 통제
클라우드 · IaC 배포, DB 접근 제한과 백업 대조

03

GitOps 배포·복구

2026.10 · 래플 팀 프로젝트 이후 개인 개선

  • 클라우드
  • 데이터 엔지니어

응모 데이터의 일치 여부와 API 상태를 함께 확인하는 배포

접수 결과·후속 이벤트의 일치와 배포 안전성을 함께 검증하는 플랫폼 실험

내 역할
HPA 복제 수의 Argo CD 덮어쓰기 방지
구·신 버전 CPU 합산 검사와 회귀 테스트 추가

응모 API → DB 응모·outbox → 정합성·HTTP 지표 → 카나리 판정 → 승격 또는 복구

AWS 단기 · Terraform → EKS·ALB·RDS / Argo 배포 / Prometheus·CloudWatch

핵심 해결
승격 CPU 부족 → 할당량 조정·수동 재동기화 → 복구와 합산 검사 보강
성과
  • HTTP 15,600/15,600건 성공 (AWS 13분 카나리)
  • 응모 API p95 113.5ms (같은 시험, 기준선 107.9ms)
역할과 아키텍처 담당 범위 · 데이터 흐름 · 선택 이유
역할과 기여
구분팀·프로젝트 범위내 담당
기반래플 팀 응모 서비스후속 배포·복구 개선
개인 개선해당 없음HPA 복제 수 보존(PR #41), CPU 할당량 검사(PR #42)
회귀 검사해당 없음동시 CPU 수요 합산, PR #42
아키텍처와 인프라
계층기술역할선택 이유
인프라Terraform / EKS·RDS실행·저장 환경 구성비용·자원 관리
배포Argo CD / Argo RolloutsGit 동기화와 단계 배포확장 보존·단계 검증
관측Prometheus / CloudWatch정합성·오류·지연 지표데이터·HTTP 동시 판정
CI·인증GitHub Actions / OIDC이미지 검사와 배포 인증digest 고정·OIDC 인증
접근ALB·WAF / SSM외부 요청과 운영자 접근SSH 미공개·DB 권한 구분

EKS private endpoint, namespace RBAC. 측정 불가(-1) 시 승격 차단. 시험 상한 3시간·USD 5.50, 비용 추정 USD 3.448.

핵심 문제 해결 상황 → 검토 → 선택 → 결과
1. 자동 확장과 Git 동기화의 충돌
상황
HPA가 늘린 복제 수를 배포 동기화가 다시 덮어쓰는 문제
검토
복제 수의 관리 주체를 하나로 구분
선택
HPA의 replicas 값을 보존하도록 Argo CD 동기화 설정 수정
결과
배포 설정·회귀 검사에 복제 수 보존 조건 반영
2. 카나리 통과 뒤 멈춘 최종 승격
상황
안정 4개·후보 4개 Pod의 CPU limit 합 8코어, 할당량 6코어
검토
실행 중인 두 버전의 자원 수요를 함께 계산
선택
할당량 6→8코어 조정과 제한된 수동 reconcile, 이후 CPU 합산 검사 추가
결과
Healthy 복구 뒤 readiness 150/150, 추가 응모 10/10
성과와 검증 수치 · 시험 환경 · 적용 범위
검증 결과
지표결과검증 환경
HTTP 성공15,600/15,600건2026.10.06 AWS 13분 카나리
응모 API p95기준선 107.9ms / 카나리 113.5ms각각 13분, 개선률 아닌 두 실행 결과
응모 정합성3,900/3,900건, outbox gap 0같은 카나리 세션
복구 후 점검readiness 150/150, 추가 응모 10/10할당량 조정·수동 reconcile 이후
자원 정리Terraform 리소스 36개 삭제, 잔여 0해당 시험 종료 시점의 기록

AWS 단기·수동 승격 기준. 재동기화 중 Ready 2개로 일시 감소. 상시 운영·무중단 자동 복구 미검증.

이 프로젝트의 역량

클라우드 · IaC, 지표 기반 배포 차단과 자원 수요 계산
데이터 · 응모·outbox 정합성을 배포 판정에 연결

04

청년 법률 상담 AI

2026.06 팀 → 10월 개인 후속

  • AI/AX
  • 데이터 엔지니어
  • 클라우드

금융 첫 상담 준비와 복원 후에도 유지되는 기록 철회

청년의 금융 법령·공식 문의 경로 탐색과 첫 상담 자료 준비 지원

내 역할
팀: 금융 검색·Agent와 질문 분류
개인: 상담 카드, 인증·철회·만료 삭제와 복구

질문 분류 → 금융 법령 검색 → 상담 준비 / 기록 백업 → 최신 삭제 이력 적용 → 격리 복원

개인 AWS 단기 · EC2·SQLite / DynamoDB·Lambda 삭제 이력 / S3 백업·SSM

핵심 해결
과거 백업 → 최신 삭제 이력 적용 → 철회 기록 재노출 차단
성과
  • 금융 검색 hit@3 0.975 (개인 후속 검색 재평가, 개발용 120문항)
  • 새 서버 복구 234.52초·보존 6건 해시 일치 (AWS 합성 자료, 1회)
역할과 아키텍처 담당 범위 · 데이터 흐름 · 선택 이유
역할과 기여
구분팀·프로젝트 범위내 담당
팀 서비스금융 포함 4분야 라우팅·RAG금융 검색·Agent·질문 분류
검색 데이터팀 조문 1,212개금융 조문 812개 검색 경로
개인 후속해당 없음상담 카드, 인증·철회·복구
답변 평가개인 후속지침 비교·누락 조항 검토
아키텍처와 인프라
계층기술역할선택 이유
검색BM25 / Chroma·pgvector금융 법령 후보 검색키워드·벡터 결합
모델Amazon Bedrock팀 질문 분류·답변 생성분류·답변 단계 분리
개인 앱EC2 / SQLite상담 준비와 기록 저장소형 서버 복구 검증
삭제 상태DynamoDB / Lambda삭제 의도와 권한 상태 보존데이터·삭제 이력 분리
백업SQLite backup API / S3일관 사본과 버전 명세크기·SHA-256·VersionId 대조

앱은 loopback 전용, 인바운드 없이 SSM 접근. 백업 명세 부재·15분 초과 시 readiness 차단, 소유자·epoch·IAM 조건 점검.

핵심 문제 해결 상황 → 검토 → 선택 → 결과
1. 과거 백업에서 되살아나는 철회 기록
상황
상담 데이터와 삭제 상태가 같은 복원 시점으로 되돌아가는 문제
검토
삭제 상태를 복원 데이터와 다른 저장소에 보존
선택
DynamoDB 최신 이력을 격리 사본에 적용하고 검사 후 서비스 연결
결과
합성 자료 복구에서 철회 기록 제외, 보존 6건의 해시 일치
2. 평가 점수 상승과 필수 조항 누락
상황
후보 답변 지침에서 근거 충실도 상승과 필요한 조항 누락의 동시 발생
검토
같은 12문항·검색 결과·모델·채점 조건으로 기본/후보 지침 비교
선택
점수와 별도로 조항 포함 여부를 검토하고 기본 지침 유지
결과
평가 점수만으로 기본 설정을 바꾸지 않는 적용 기준 수립
성과와 검증 수치 · 시험 환경 · 적용 범위
검증 결과
지표결과검증 환경
금융 검색hit@3 0.975 / MRR@3 0.840개인 후속 검색 재평가, 개발용 120문항
근거 충실도0.783 → 0.9032026.10.19 RAGAS 고정 12문항
질문 관련성0.778 → 0.791같은 지침 비교, 기본 지침 유지
새 서버 복구234.52초, 보존 6건 해시 일치AWS 합성 자료, 복구 1회
상태 APIHTTP 200 → 503 → 2002026.10.21 IAM 차단·수동 풀 갱신·reconcile

로컬 더미·AWS 합성 자료 기준. 새 서버 복구와 HTTP IAM 시험은 별도 실행. 수동 조치 범위, 자동 전환·실사용자 품질 미검증.

이 프로젝트의 역량

AI/AX · 금융 RAG, 고정 문항 평가와 내용 기반 적용 판단
데이터 · 삭제 이력 보존과 복원 데이터 대조
클라우드 · 권한 조건, 격리 복원과 HTTP 차단·복구 시험

경력과 교육

㈜비아이비즈앤 · BI 엔지니어

2022.04–2024.08 · 2년 5개월

한국투자증권·신세계백화점·이마트24의 MicroStrategy 리포트·데이터 모델 개발과 유지보수.
수치·적재 오류 시 SQL·원천 데이터·Trace·로그 대조. Enterprise Manager 반복 적재 오류는 재현 과정과 설정·오류 기록을 정리해 기술지원에 전달.

SK플래닛 T아카데미 ASAC

2026.02–09 · 데이터 엔지니어 과정 960시간

Python·SQL·AWS 학습과 데이터 수집·처리 팀 프로젝트 수행.

정보처리기사 · 2026.09.11   /   ADsP · 2022.11

추가 프로젝트

Robot Data Platform · 센서 수집·이관 ↗

합성 센서 데이터를 수집·검사·조회로 연결하는 개인 파이프라인

Kinesis·S3 수집 / Glue → RDS 이관 / Parquet·Athena 조회

AWS 소량 재실행에서 중복 없이 4건 유지, 정상·오류 혼합 배치 전체 반영 차단

FinGate ↗

금리·재무 데이터의 잘못된 게시와 근거 없는 AI 수치 응답 방지

Python·DuckDB / 데이터 검사 / 승인·감사 기록

잘못된 응답·값의 게시 차단과 승인 근거 보관 (로컬 오류 주입 시험)

D2C 응모 데이터 처리 ↗

승인과 후속 이벤트를 연결하고 미전송 이벤트를 재처리하는 개인 파이프라인

같은 트랜잭션의 승인·outbox → Kafka → Spark·Apache Iceberg

발행기·Kafka 재시작 뒤 승인·이벤트·저장 각 9건 일치 (로컬 브로커 1대)

PRISM ↗

설비 데이터를 바탕으로 공구 교체·속도 조정 방안을 비교하는 해커톤 팀 시제품

Streamlit·DuckDB / 본인 담당: 데이터 조회 규칙·오프라인 경로

외부 API 호출 없이 설비 대응 방안을 비교하는 시연 기능 구현

이어짐 · 백업 복원 후 삭제 유지 ↗

안내문에서 일정·할 일을 정리하는 서비스의 삭제·복구 개선

Cloudflare D1 별도 삭제 이력 / Queue 실행 차단 / Cron 만료 처리

격리 복원 후 조회·작업 차단, 공개 환경 직접 삭제·실제 Cron 이력 검증 (합성 자료)

커머스 SQL · 증분 적재 ↗

중복 이벤트 정리와 사용자·상품 분석 테이블의 변경분 반영

PostgreSQL / 변경 시각 기반 증분 처리 / UPSERT

원본 중복 정리와 변경분 반영 경로 구현 (합성 데이터)

제가 한 작업이 궁금하시다면 연락 주세요.