Kubeflow Pipelines 주요 컨셉과 목표 소개 Kubeflow Pilelines는 도커 컨테이너 기반의 이식 가능하고, 확장/축소가 유연한 머신러닝 워크 플로우 빌드 및 배포를 위한 플랫폼입니다. Quickstart 첫번째 파이프라인을 실행하려면 pipelines quickstart guide를 참고하세요. What is Kubeflow Pipelines? Kubeflow Pipelines 플랫폼은 아래와 같이 구성됩니다: experiments, jobs, runs를 관리하고 추적할 수 있는 UI 제공 멀티 스텝 ML 워크플로우를 스케줄링 할 수 있는 엔진 파이프라인과 컴포넌트를 정의하고 조작할 수 있는 SDK SDK로 시스템과 인터랙션 할 수 있는 Notebooks Kubeflow Pipel..

Kubeflow 노트북의 공통적인 문제에 대한 해결 ISSUE: notebook not starting SOLUTION: check events of Notebook 아래 명령어를 실행하고 events 섹션에서 에러가 없는지 확인하세요. $ kubectl describe notebooks "${MY_NOTEBOOK_NAME}" --namespace "${MY_PROFILE_NAMESPACE}" SOLUTION: check events of Pod 아래 명령어를 실행하고 events 섹션에서 에러가 없는지 확인하세요. $ kubectl describe pod "${MY_NOTEBOOK_NAME}-0" --namespace "${MY_PROFILE_NAMESPACE}" SOLUTION: check YAML ..

노트북에서의 쿠버네티스 리소스 제출 Notebook Pod ServiceAccount Kubeflow는 default-editor 라는 쿠버네티스 ServiceAccount를 노트북 Pods에 할당합니다. 해당 쿠버네티스 default-editor ServiceAccount는 kubeflow-edit ClusterRole에 바운드 되어 있습니다.이 ClusterRole은 많은 쿠버네티스 자원에 권한이 있는 네임스페이스 스코프를 가지고 있습니다. 당신은 ClusterRole/kubeflow-edit 을 위한 RBAC의 모든 리스트를 아래와 같이 조회할 수 있습니다. $ kubectl describe clusterrole kubeflow-edit Kubectl in Notebook Pod 모든 노트북 pod..

Kubeflow 노트북에서의 Jupyter와 Tensorflow 사용 예제 Mnist Example (tensorflow/tensorflow - mnist_softmax.py 에서 각색) Jupyter와 Tensorflow가 설치된 container image를 선택해서 노트북 서버를 생성하세요. Python 3 노트북 생성을 위해 Jupyter 인터페이스를 사용하세요. 아래 코드를 복사, 붙여넣으세요. from tensorflow.examples.tutorials.mnist import input_data mnist = input_data.read_data_sets("MNIST_data/", one_hot=True) import tensorflow as tf x = tf.placeholder(tf.fl..

Kubeflow 노트북은 기본적으로 세 가지 타입(JupyterLab, RStudio, and Visual Studio Code (code-server))의 노트북을 제공합니다. 그러나 어떠한 웹 베이스의 IDE도 동작이 가능합니다. 노트북 서버는 쿠버네티스 Pod의 컨테이너로써 구동됩니다. 그렇다는 것은 IDE 종류는 사용자가 선택한 도커 이미지에 의해 결정된다는 것을 의미합니다. Images 수 많은 예제 이미지 가 준비되어 있습니다. Base Images 이 이미지들은 Kubeflow 노트북 컨테이너를 위한 공통 스타팅 포인트를 제공합니다. 당신의 고유 패키지로 확장하려면 custom images를 참고하세요. Dockerfile Registry Notes base https://gallery.ec..

상황 This application requires one of the following versions of .NET Framework: .NET framework, Version=v4.7.2 사내망(폐쇄망)에서 git을 통해 작업시 위와 같은 에러메세지가 반복적으로 발생했다. .NET Framework 최신 버전을 설치하면 될 것 같은데 사내망(폐쇄망)환경이라 그럴 수 없는 상황.. 시행착오 먼저 StackOverflow를 참고하여 아래와 같이 세팅했다. $ git config --unset-all credential.helper $ git config credential.helper wincred Git for Windows에서는 기본적으로 Git Credential Manager Core란 것을 ..