인스턴스

안내
카카오 i 머신러닝 운영 환경(퍼블릭/공공)에 따라 제공하는 기능이 다를 수 있습니다.
공공 클라우드 환경에서 제공하는 인스턴스 타입은 공공 환경 인스턴스 타입 문서를 참고하시기 바랍니다.

인스턴스는 CPU, GPU 및 시스템 메모리를 포함한 가상화된 하드웨어 리소스입니다. 인스턴스 타입별로 호스트 컴퓨터의 하드웨어 사양이 결정됩니다. 사용 목적과 예상되는 워크로드에 따라 최적화된 인스턴스 타입을 선택할 수 있도록 다양한 성능의 항목을 지원합니다.

Kakao i Machine Learning 서비스에서 다음과 같이 컴퓨팅 리소스가 필요한 기능에 인스턴스를 생성하여 실행합니다. 각 작업의 규모 또는 비즈니스 타임에 적합한 인스턴스 타입을 자유롭게 선택하시기 바랍니다.

• AI 모델 학습을 위한 학습 코드 실행 제출
• 개발 환경 관리 및 모델 개발부터 테스트 등 다양한 목적으로 작업을 수행할 수 있는 컴퓨팅 인스턴스 생성
• AI 모델 추론, 테스트, 서비스를 위한 엔드포인트 생성 및 모델 배포 생성

Nvidia Driver는 470.103.01 버전을 이용합니다. Cuda Runtime 버전은 11.6 입니다.

CPU 인스턴스

A1 타입

가장 범용적으로 사용하는 인스턴스 타입을 지원하며, 최적화된 비용으로 서버를 구성할 수 있습니다. 학습(Training)과 추론(Inference)에서 사용할 수 있습니다.

활용 예시

• 웹, 애플리케이션 서비스
• 그 밖의 일반적인 컴퓨팅, 개발 환경

안내
CPU 단독(A1) 인스턴스 타입은 추론에서만 사용 가능하며, 학습에서는 추후 지원할 예정입니다.
GPU가 포함된 인스턴스를 이용해주시기 바랍니다.

GPU 포함 인스턴스

고성능 GPU 장치를 활용하여 대규모 연산을 동시에 처리하는 데 최적화된 인스턴스입니다.
기계 학습(Machine Learning)에서 모델 생성을 위한 학습(Training)과 추론(Inference) 또는 대량의 데이터 분석, 비디오 트랜스 코딩처럼 대량의 고성능 리소스가 필요한 작업에 활용할 수 있습니다.

A100 타입

‘NVIDIA TESLA A100’ 그래픽 카드가 함께 제공되는 인스턴스 타입입니다. 학습(Training)과 추론(Inference)에서 사용할 수 있습니다. Ampere 아키텍처 기반의 A100은 대규모 데이터세트를 빠르게 불러오고, AI, 고성능 컴퓨팅(HPC) 작업을 가속화하는 데 효과적입니다.

V100 타입

‘NVIDIA TESLA V100’ 그래픽 카드가 함께 제공되는 인스턴스 타입입니다. 제공하는 환경에 따라서 학습(Training) 또는 추론(Inference)에서 사용 가능합니다. NVIDA V100은 Volta 아키텍처를 탑재하여, Tensor Core와 TensorRT를 지원하는 프레임워크로 AI 학습과 추론 시 메모리 사용을 최적화할 수 있습니다. 자율주행 자동차, 딥러닝, 신약 개발 등에 활용할 수 있습니다.

T4 타입

‘NVIDIA T4’ 그래픽 카드가 함께 제공되는 인스턴스 타입입니다. 추론(Inference)에서만 사용 가능합니다. NVIDA T4는 고성능의 컴퓨팅, 기계학습 추론, 동영상 트랜스코딩, 대화형 그래픽 등에 중점을 고급 GPU 장비입니다.