Kubeflow Pipelines 주요 컨셉과 목표 소개 Kubeflow Pilelines는 도커 컨테이너 기반의 이식 가능하고, 확장/축소가 유연한 머신러닝 워크 플로우 빌드 및 배포를 위한 플랫폼입니다. Quickstart 첫번째 파이프라인을 실행하려면 pipelines quickstart guide를 참고하세요. What is Kubeflow Pipelines? Kubeflow Pipelines 플랫폼은 아래와 같이 구성됩니다: experiments, jobs, runs를 관리하고 추적할 수 있는 UI 제공 멀티 스텝 ML 워크플로우를 스케줄링 할 수 있는 엔진 파이프라인과 컴포넌트를 정의하고 조작할 수 있는 SDK SDK로 시스템과 인터랙션 할 수 있는 Notebooks Kubeflow Pipel..

Kubeflow 노트북의 공통적인 문제에 대한 해결 ISSUE: notebook not starting SOLUTION: check events of Notebook 아래 명령어를 실행하고 events 섹션에서 에러가 없는지 확인하세요. $ kubectl describe notebooks "${MY_NOTEBOOK_NAME}" --namespace "${MY_PROFILE_NAMESPACE}" SOLUTION: check events of Pod 아래 명령어를 실행하고 events 섹션에서 에러가 없는지 확인하세요. $ kubectl describe pod "${MY_NOTEBOOK_NAME}-0" --namespace "${MY_PROFILE_NAMESPACE}" SOLUTION: check YAML ..

노트북에서의 쿠버네티스 리소스 제출 Notebook Pod ServiceAccount Kubeflow는 default-editor 라는 쿠버네티스 ServiceAccount를 노트북 Pods에 할당합니다. 해당 쿠버네티스 default-editor ServiceAccount는 kubeflow-edit ClusterRole에 바운드 되어 있습니다.이 ClusterRole은 많은 쿠버네티스 자원에 권한이 있는 네임스페이스 스코프를 가지고 있습니다. 당신은 ClusterRole/kubeflow-edit 을 위한 RBAC의 모든 리스트를 아래와 같이 조회할 수 있습니다. $ kubectl describe clusterrole kubeflow-edit Kubectl in Notebook Pod 모든 노트북 pod..

Kubeflow 노트북에서의 Jupyter와 Tensorflow 사용 예제 Mnist Example (tensorflow/tensorflow - mnist_softmax.py 에서 각색) Jupyter와 Tensorflow가 설치된 container image를 선택해서 노트북 서버를 생성하세요. Python 3 노트북 생성을 위해 Jupyter 인터페이스를 사용하세요. 아래 코드를 복사, 붙여넣으세요. from tensorflow.examples.tutorials.mnist import input_data mnist = input_data.read_data_sets("MNIST_data/", one_hot=True) import tensorflow as tf x = tf.placeholder(tf.fl..

Kubeflow 노트북은 기본적으로 세 가지 타입(JupyterLab, RStudio, and Visual Studio Code (code-server))의 노트북을 제공합니다. 그러나 어떠한 웹 베이스의 IDE도 동작이 가능합니다. 노트북 서버는 쿠버네티스 Pod의 컨테이너로써 구동됩니다. 그렇다는 것은 IDE 종류는 사용자가 선택한 도커 이미지에 의해 결정된다는 것을 의미합니다. Images 수 많은 예제 이미지 가 준비되어 있습니다. Base Images 이 이미지들은 Kubeflow 노트북 컨테이너를 위한 공통 스타팅 포인트를 제공합니다. 당신의 고유 패키지로 확장하려면 custom images를 참고하세요. Dockerfile Registry Notes base https://gallery.ec..

Summary Getting Started - Installing Kubeflow 를 보고 Kubeflow를 설치 브라우저에서 Central Dashboard를 엽니다. 왼쪽 패널에서 “Notebooks”를 클릭합니다. “New Server”를 클릭해서 새로운 노트북 서버를 생성합니다. 노트북 서버를 위한 설정을 명시합니다. 노트북이 준비되면 “CONENCT”를 클릭합니다. Detailed Steps 브라우저에서 Kubeflow Central Dashboard 를 여세요. 네임스페이스를 선택합니다. 상단의 사용가능한 네임스페이스 목록을 보고 선택합니다. Kubeflow 프로필과 일치하는 네임스페이스를 선택합니다.(프로필에 대해 더 알고싶다면 multi-user-isolation 페이지를 참고하세요) 왼쪽..