Kubeflow 노트북의 공통적인 문제에 대한 해결 ISSUE: notebook not starting SOLUTION: check events of Notebook 아래 명령어를 실행하고 events 섹션에서 에러가 없는지 확인하세요. $ kubectl describe notebooks "${MY_NOTEBOOK_NAME}" --namespace "${MY_PROFILE_NAMESPACE}" SOLUTION: check events of Pod 아래 명령어를 실행하고 events 섹션에서 에러가 없는지 확인하세요. $ kubectl describe pod "${MY_NOTEBOOK_NAME}-0" --namespace "${MY_PROFILE_NAMESPACE}" SOLUTION: check YAML ..

노트북에서의 쿠버네티스 리소스 제출 Notebook Pod ServiceAccount Kubeflow는 default-editor 라는 쿠버네티스 ServiceAccount를 노트북 Pods에 할당합니다. 해당 쿠버네티스 default-editor ServiceAccount는 kubeflow-edit ClusterRole에 바운드 되어 있습니다.이 ClusterRole은 많은 쿠버네티스 자원에 권한이 있는 네임스페이스 스코프를 가지고 있습니다. 당신은 ClusterRole/kubeflow-edit 을 위한 RBAC의 모든 리스트를 아래와 같이 조회할 수 있습니다. $ kubectl describe clusterrole kubeflow-edit Kubectl in Notebook Pod 모든 노트북 pod..

Kubeflow 노트북에서의 Jupyter와 Tensorflow 사용 예제 Mnist Example (tensorflow/tensorflow - mnist_softmax.py 에서 각색) Jupyter와 Tensorflow가 설치된 container image를 선택해서 노트북 서버를 생성하세요. Python 3 노트북 생성을 위해 Jupyter 인터페이스를 사용하세요. 아래 코드를 복사, 붙여넣으세요. from tensorflow.examples.tutorials.mnist import input_data mnist = input_data.read_data_sets("MNIST_data/", one_hot=True) import tensorflow as tf x = tf.placeholder(tf.fl..

Summary Getting Started - Installing Kubeflow 를 보고 Kubeflow를 설치 브라우저에서 Central Dashboard를 엽니다. 왼쪽 패널에서 “Notebooks”를 클릭합니다. “New Server”를 클릭해서 새로운 노트북 서버를 생성합니다. 노트북 서버를 위한 설정을 명시합니다. 노트북이 준비되면 “CONENCT”를 클릭합니다. Detailed Steps 브라우저에서 Kubeflow Central Dashboard 를 여세요. 네임스페이스를 선택합니다. 상단의 사용가능한 네임스페이스 목록을 보고 선택합니다. Kubeflow 프로필과 일치하는 네임스페이스를 선택합니다.(프로필에 대해 더 알고싶다면 multi-user-isolation 페이지를 참고하세요) 왼쪽..

영어로 된 문서를 읽는건 항상 느리고 답답합니다. 영어도 잘 못해서 사전과 번역기를 참조해가며 읽으니 효율이 낮은 것처럼 느껴집니다. 하지만 새로운 기술을 공부하다보면 결국 공식문서만한게 없습니다. 구글링을 아무리 해봐도 마지막엔 공식문서의 대부분을 읽은 상태가 된 경험을 자주 하기 때문입니다. 그 기술을 가장 잘 아는 사람은 기술을 만든 사람들이니 당연한 결과일 것입니다. 그래서 차라리 처음부터 공식문서를 완독하는게 더 효율적일지도 모릅니다. What is kubeflow Notebooks? Kubeflow 노트북은 쿠버네티스 클러스터 내에서 Pod로 구동되는 웹 베이스 개발 환경을 제공합니다. 주요 특징은 아래와 같습니다: JupyterLab, RStudio, Visual Studio Code(cod..

Kubeflow Jupyter 노트북에서 Kubeflow Pipeline SDK를 활용해 코드를 작성하다 보면, 모델을 MinIO로 업로드 할 필요가 생긴다. 물론 pipeline에서 제공해주는 OutputPath를 사용하면 지정된 경로에 임시로 파일을 쓰고 읽으면서 파라미터 전달을 해주지만, MinIO에 바이너리가 아닌 모델 파일 자체를 업로드 할 필요가 있었다. 일단 MinIO 문서를 보면 파일을 업로드 할 수 있는 API는 put_object와 fput_object를 제공한다. put_object : object를 MinIO로 업로드 fput_object : file을 MinIO로 업로드 모델 학습은 텐서플로우(Tensorflow) 예제로 테스트를 하고 있는데, 예제에서 생성되는 모델은 단일 파일이..