[개발] 문서 번역/Kubeflow

[Kubeflow Notebooks] Quickstart Guide

하하미아 2022. 11. 24. 11:23

Summary

  1. Getting Started - Installing Kubeflow 를 보고 Kubeflow를 설치
  2. 브라우저에서 Central Dashboard를 엽니다.
  3. 왼쪽 패널에서 “Notebooks”를 클릭합니다.
  4. “New Server”를 클릭해서 새로운 노트북 서버를 생성합니다.
  5. 노트북 서버를 위한 설정을 명시합니다.
  6. 노트북이 준비되면 “CONENCT”를 클릭합니다.

Detailed Steps

  1. 브라우저에서 Kubeflow Central Dashboard 를 여세요.
  2. 네임스페이스를 선택합니다.
    1. 상단의 사용가능한 네임스페이스 목록을 보고 선택합니다.
    2. Kubeflow 프로필과 일치하는 네임스페이스를 선택합니다.(프로필에 대해 더 알고싶다면 multi-user-isolation 페이지를 참고하세요)

  1. 왼쪽 패널에서 “Notebook Servers”를 클릭합니다:

  1. “Notebook Servers” 페이지에서 “New Server”를 클릭합니다.

  1. 노트북 서버의 “Name”을 입력합니다.
    • 이름은 숫자와 문자로 이루어지며, 공백은 포함할 수 없습니다.
    • 예를들면, my-first-notebook 처럼 할 수 있습니다.

  1. 노트북 서버의 도커 “Image”를 선택합니다.
    • Custom image: 커스텀 옵션을 선택하면, registry/image:tag 와 같은 형태로 오커 이미지를 명시할 수 있습니다(container images 가이드를 참고하세요).
    • Standard image: “Image” 드롭다운 메뉴를 클릭하면 사용 가능한 이미지 리스트를 확인할 수 있습니다(Kubeflow 관리자에의해 설정된 리스트 중에서 선택 가능합니다).
  2. 노트북서버에서 요청할 “CPU”를 선택해주세요.
  3. 노트북서버에서 요청할 “RAM” 용량을 명시해주세요.
  4. home 디렉터리에 마운트 될 PVC 볼륨을 “worksapace volume”에 명시해주세요.
  5. (선택) 추가로 마운트 될 PVC 볼륨을 “data volumes”에 명시해주세요
  6. (선택) 하나 이상의 추가적인 “configurations”를 명시해주세요.
    • These correspond to PodDefault resources which exit in your profile namespace.
    • Kubeflow는 PodDefault 매니페스트에 명시된 프로퍼티와 “configurations”의 라벨을 매칭시킵니다.
    • 예를들어, PodDefault 매니페스트가 포함하는 아래의 설정과 매치시키기 위해, “configurations” 필드의 add-gcp-secret 라벨을 선택합니다.
    • apiVersion: kubeflow.org/v1alpha1 kind: PodDefault metadata: name: add-gcp-secret namespace: MY_PROFILE_NAMESPACE spec: selector: matchLabels: add-gcp-secret: "true" desc: "add gcp credential" volumeMounts: - name: secret-volume mountPath: /secret/gcp volumes: - name: secret-volume secret: secretName: gcp-secret
  7. (선택) 노트북 서버에서 요청할 “GPUs”를 명시합니다.
    • Kubeflow는 노트북 Pod으로GPUs를 준비를 요청하는 Pod에서 “limits”를 사용합니다(GPUs 스케쥴링에 대한 설명은 Kubernetes Documentation에서 찾을 수 있습니다).
  8. (선택) “enable shared memory”를 위한 세팅을 명시합니다.
    • PyTorch와 같은 몇몇 라이브러리들은 멀티 프로세싱을 위해 공유 메모리를 사용합니다.
    • 현재, 쿠버네티스에서는 공유 메모리를 활성화할 수 있는 방법이 없습니다.
    • 해결방법으로써 Kubeflow는 /dev/shm에 빈 디렉터리를 마운트합니다.
  9. “LAUNCH”를 클릭해서 새로운 노트북 CRD를 생성합니다.
    • “Notebook Servers” 페이지에서 새로운 노트북 서버 항목이 표시됩니다.
    • “Status” 컬럼에 spinning indicator가 표시됩니다.
    • 노트북 서버 pod을 준비를 위해 몇 분이 소요될 수 있습니다.
    • “Status” 컬럼 내 아이콘에 마우스를 올리면 Pod의 상태를 체크할 수 있습니다.
  10. “CONNECT” 를 클릭해서 노트북 서버에 접속합니다.