[DBR] Cluster 만들기

 

---

■ 클러스터란?

프로덕션 ETL 파이프라인, 스트리밍 분석, 임시 분석 및 기계 학습과 같은 데이터 엔지니어링, 데이터 과학 및 데이터 분석 워크로드를 실행하는 계산 리소스 및 구성 집합을 의미

 

■ 클러스터 유형

• 다목적 클러스터
  - UI, CLI, REST API로 다목적 클러스터 생성
  - 여러 사용자가 공유하여 공동 대황형 분석 수행
  - 수동으로 종료/재시작
• 작업 클러스터
  - 새 작업 실행시 작업 클러스터 생성
  - 작업 완료시 클러스터 종료
  - 다시 시작 불가

 

■ 클러스터 만들기

ㅁ Web UI 에서 만들기

• Web UI > 만들기 > 클러스터

 

 

• Web UI > 컴퓨팅 > Compute 만들기

• 클러스터 생성
    - CE 버전에서는 Default만 설정 가능

ㅁ 노트북에서 만들기

• Web UI > 만들기 > 노트북 > 노트북 만들기

• 연결 > 클러스터에 연결 설정

 

■ 클러스터 생성 확인

 

---

※ Resources

• https://learn.microsoft.com
• https://hevodata.com/
• https://sparkbyexamples.com/spark/types-of-clusters-in-databricks/