자체 서비스 : [Daria] 데이터 업로드부터 모델 예측까지 | Notion

✅ 프로젝트 배경

목적: 데이터 업로드부터 모델 예측까지 단일 웹 환경에서 가능한 AutoML 플랫폼 구축

AutoML 기능 자체는 있었으나, 실제 사용자는 데이터 정제나 모델 평가에 어려움
웹 UI 기반 데이터 병합/정제 → 모델 학습 → 실시간 예측까지 이어지는 E2E 워크플로우 설계 필요
내부 인프라 및 분산처리 기반에서 웹, 클라우드, API 각각의 역할 분리 및 통합 설계

✨ 사용 기술 스택

백엔드: Python (Django), AMQP (RabbitMQ), Redis, MongoDB, MySQL, Hive
프론트엔드: Angular.js 기반 웹 UI, Card 기반 Predict 인터페이스
AutoML 엔진: 내부 ML 학습 worker 구조, Scikit-learn 기반 모델링
데이터 파이프라인: HDFS, Hive 기반 DAG 실행 구조, Cleanse/Join/Merge/Transform 등 정제 연산
인프라/통신: RabbitMQ 기반 작업 분산 처리, HDFS/Hive 연동, Alice Shared 모듈 구성

🎯 핵심 성과 요약

AutoML 학습/예측 전 과정을 GUI 기반으로 제공하는 통합 플랫폼 구축

항목	성과
E2E 구조 설계	Connect → Cleanse → Train → Evaluate → Predict 전 단계 웹화
데이터 정제 기능	Join, Merge, Extract, Split, Cluster 등 GUI 정제 도구 제공
실시간 예측 API	학습 완료 후 API 자동 발급 및 실시간 예측 가능
인프라 구성	Web/Cloud/API 분리 배포, RabbitMQ 기반 작업 분산
UI 개선	사용자 피드백 기반 입력 흐름 개선 및 분포 시각화 지원

🔍 주요 기능별 성과

1. 데이터 전처리 및 정제 파이프라인 설계

스크린샷 2025-03-28 오후 3.54.50.png

CSV 업로드 또는 DB 연결을 통해 데이터 수집
DAG 기반 데이터 조작 (Join, Merge, Extract) 정의 후 실행
Cleanse 단계에서 Invalid/Empty 필터링, 컬럼 변환 및 정제 함수 10종+ 제공