기간: 2020년
역할: 모델 모니터링 플랫폼(DMS) 설계 및 기능 정의, 서비스 헬스/데이터 헬스 지표 구성, Alert & Drift 모듈 설계
목적: 다양한 AI 모델이 운영되는 환경에서 성능 저하·데이터 변질 등을 실시간 감지하는 모니터링 시스템 구축
운영 중인 AI 모델들의 서비스/데이터/모델 상태를 실시간 진단·관리할 수 있는 플랫폼 완성
항목 | 기능 |
---|---|
서비스 상태 모니터링 | Traffic, Latency, Error 등 지표 시각화 |
데이터/모델 헬스 지표 | Output Drift, Schema Error, Feature Drift 등 제공 |
모델 성능 관리 | 예측 결과 수집 및 Label Upload 통한 성능 업데이트 |
Alert 시스템 | Drift/오류 감지 시 Webhook 알림 전송 및 임계값 설정 가능 |
통합 대시보드 | 모델별 상태 요약 및 지표 통합 뷰 제공 |