개발새발

[머신러닝 플랫폼 스터디] 챕터 5 — Kubeflow Pipelines로 배치 추론하기

목차1. 배치 추론과 Kubeflow Pipelines어떤 작업을 자동화할까?Kubeflow Pipelines란?2. 실습에서 구성하는 파이프라인전체 흐름무엇을 예측할까?3. 실습 환경 준비4장에서 이어서 사용하는 구성5장 코드 가져오기KFP 화면 접속클러스터용 Feast 설정컴포넌트 이미지와 입력 데이터4. 컴포넌트와 파이프라인 정의component.yaml이 하는 일컴파일과 등록5. 파이프라인 실행과 결과 확인실행 결과개별 예측 결과 살펴보기6. 정리참고 자료4장에서는 MLflow에 소득 분류 모델을 등록하고 Feast에서 피처를 조회했습니다. 이번 글에서는 준비한 모델과 피처를 Kubeflow Pipelines로 연결해 배치 추론을 실행합니다.실습은 참고 자료에 링크한 블로그 글을 따라 진행했습니다..

[머신러닝 플랫폼 스터디] 챕터 4 — MLflow와 Feast로 실험과 피처 관리하기

머신러닝 모델을 훈련할 때는 어떤 데이터와 설정으로 실험했고, 어떤 결과가 나왔는지 기록해야 합니다. 이번 글에서는 『머신러닝 플랫폼 엔지니어링』 4챕터의 실습을 로컬 Kubernetes 클러스터에서 직접 진행한 과정과 결과를 정리합니다.목차1. 실습 환경전체 구성사용한 도구와 버전Apple Silicon 맥에서 확인한 점노트북 실행 준비2. 실험 추적: MLflow실습에서 풀어볼 문제노트북이 하는 일플롯으로 데이터 살펴보기범주형 데이터를 모델 입력으로 바꾸기모델링 라이브러리모델별 학습 방식정확도와 AUC실험 결과모델 등록과 stage3. 피처 스토어: Feast피처 스토어 설계저장소 구성오프라인에서 온라인으로피처 서버4. 정리참고 자료MLflow로 실험 결과를 기록하고 모델을 등록합니다. Feast에서..

머신러닝 모델을 학습한 뒤 실제 서비스에서 사용하려면 데이터 준비, 배포, 모니터링이 함께 필요합니다. 이번 글에서는 『머신러닝 플랫폼 엔지니어링』 책의 1~2챕터에서 다룬 머신러닝 수명주기와 MLOps를 정리하고, 각 단계를 지원하는 플랫폼의 역할을 살펴봅니다.목차1. 모델을 만드는 일과 운영하는 일2. 실험 단계: 모델 훈련·평가·검증의 반복문제 정의탐색적 데이터 분석데이터 수집 및 준비데이터 버전 관리모델 훈련모델 평가와 모델 검증3. 개발·스테이징·프로덕션: 배포까지 전체 흐름 자동화모델 배포: 검증된 모델을 서비스에 연결모델 모니터링과 재훈련으로 이어지는 반복4. 머신러닝 플랫폼파이프라인 오케스트레이션: 작업의 실행과 연결 관리피처 스토어: 훈련과 추론에 필요한 입력 제공실험 추적: 어떤 조건에..