스토리지

스토리지(Storage)는 미리 준비된 원격 저장소에 대한 연결 정보입니다. 원격 저장소는 코드 스냅샷, 학습 데이터, 학습 결과 등을 저장하는 데 이용됩니다. Kakao i Machine Learning에서는 고성능 컴퓨팅(HPC)를 위한 인피니밴드(Infiniband) 네트워크를 지원하여, 고성능 데이터 I/O 처리 능력을 제공합니다.

스토리지 유형

스토리지 유형은 기본 스토리지와 퍼블릭 스토리지로 구분됩니다.

기본 스토리지

기본 스토리지(default)는 워크스페이스 전용 저장소입니다. 워크스페이스 생성 시, 자동으로 Kakao i Machine Learning 스토리지에서 기본 스토리지가 할당됩니다.

해당 워크스페이스 구성원만 스토리지를 조회하고 데이터를 관리할 수 있습니다. 워크스페이스 역할별 권한 및 관리 방법은 워크스페이스 문서를 참고하시기 바랍니다.

퍼블릭 스토리지

퍼블릭 스토리지(public)는 모든 워크스페이스가 공유하는 저장소입니다. 워크스페이스 생성 시, 접속한 Kakao i Machine Learning 환경에서 이용 가능한 퍼블릭 스토리지를 자동으로 추가합니다.

모든 워크스페이스의 구성원은 퍼블릭 스토리지의 데이터를 관리할 수 있습니다. 공용으로 이용하는 데이터 등을 퍼블릭 스토리지에 저장하여, 여러 워크스페이스에서 해당 데이터를 공유하고 편리하게 사용할 수 있습니다.

스토리지 관리

사용자는 스토리지를 추가하거나 삭제할 수 없으며 등록된 스토리지를 조회만 할 수 있습니다.

안내
KiML CLI에서 kiml data 명령어를 이용하여 스토리지의 파일을 관리할 수 있습니다.

스토리지 파일 업로드

워크스페이스에 추가된 스토리지는 워크스페이스의 구성원 모두가 사용할 수 있으며, 스토리지에는 모든 형식의 파일을 자유롭게 업로드할 수 있습니다.

웹 콘솔에서 한번에 최대 50개 파일(파일 크기 총 10GB 이하)을 업로드할 수 있습니다.
CLI를 통해 업로드하는 경우, 파일 크기에 상관없이 최대 1억 개까지 업로드할 수 있습니다. 대용량 또는 다량의 파일은 kiml data upload 명령어로 업로드할 수 있습니다.

안내
대용량 파일 업로드는 kiml data upload CLI 명령어를 이용해 주시기 바랍니다.

자세한 kiml data upload 명령어 설명은 CLI 명령어 참조 문서를 참고하시기 바랍니다.

스토리지 파일 조회

콘솔에서 스토리지에 저장된 데이터의 디렉토리와 파일 정보를 조회할 수 있습니다.

5MB 이하의 파일은 콘솔에서 파일 미리보기를 지원합니다.
텍스트 기반의 파일 유형(yaml, py, pkl, text, xml, csv, json, md)은 미리보기를 지원합니다.

스토리지 파일/폴더 다운로드

콘솔 또는 KiML CLI에서 스토리지에 저장된 파일을 다운로드받을 수 있습니다.

콘솔에서 파일 다운로드

콘솔에서 파일을 다운로드하는 방법은 다음과 같습니다.

그림스토리지에서 폴더/파일 다운로드하는 방법

콘솔에 로그인 후, 스토리지 메뉴에 접속합니다.
스토리지 유형인 default 또는 public을 선택합니다.
스토리지 상세 화면에서 파일 브라우저 탭 클릭합니다.
다운받을 파일 이름의 오른쪽 [더보기] 아이콘을 클릭 후, 파일 다운로드를 클릭해 파일을 다운로드합니다.

KiML CLI에서 폴더/파일을 다운로드

KiML CLI에서 폴더 또는 파일을 다운로드하는 방법은 다음과 같습니다.

다운받을 파일 저장 위치를 확인합니다. 실행 인풋 또는 실행 아웃풋 저장 경로는 콘솔의 실험 > 실행 > 실행 정보 탭에서 조회할 수 있습니다.
Shell 접속 후, kiml login 명령어로 로그인합니다.
kiml data download 명령어 실행하여 스토리지에 저장된 파일 다운로드합니다. 데이터 다운로드 명령어는 CLI 명령어 참조 문서를 참고하시기 바랍니다.

코드예제스토리지에 저장된 데이터 다운로드

BASH

  kiml data download default/{저장된 폴더/파일 경로}

스토리지 파일 삭제

스토리지 저장 공간을 효율적으로 사용하기 위해, 사용하지 않는 파일은 삭제하는 것을 권장해 드립니다.

주의
Kakao i Machine Learning 이용 시 기본 스토리지(default)에 experiments, models와 같은 폴더가 자동으로 생성됩니다.

해당 폴더를 직접 삭제하는 경우, 일부 기능에서 오류가 발생하여 서비스를 정상적으로 이용할 수 없으므로 주의하시기 바랍니다.

kakaoIdocumentation

Kakao i Machine Learning::구성::스토리지

페이지 이동경로