DA•CDO

현대적 데이터 아키텍처 비교

Data_Manager — Mon, 14 Apr 2025 18:02:58 +0900

아키텍처	정의	강점	약점	적합한 상황
데이터 웨어하우스	중앙 집중형, 구조화된 데이터 저장소	높은 일관성, 규제 준수, BI에 강점	유연성 부족, 비정형·실시간 데이터 처리에 약함	규제가 강한 환경, 엔터프라이즈 리포팅
데이터 레이크	구조화·비정형 데이터 전체를 저장하는 원시 저장소	낮은 비용, 유연성, 다양한 소스 수용 가능	통제 어려움, ‘데이터 늪’이 될 위험	탐색적 분석, 다양한 원시 데이터 활용
레이크하우스	웨어하우스 거버넌스와 레이크 유연성의 결합	비용과 구조의 균형, 하이브리드 활용에 적합	아직 성숙 단계, 최신 역량 필요	통합 분석, 다양한 워크로드 처리
데이터 메시	도메인 주도형 분산 아키텍처, 데이터를 ‘제품’으로 취급	소유권 강화, 민첩성 확보, IT·비즈니스 정렬	강력한 거버넌스 및 문화 변화 필요	복잡한 조직, 성숙한 데이터 역량 보유
데이터 패브릭	분산 시스템 간 통합을 위한 메타데이터 기반 계층	실시간 가시성, 크로스 시스템 거버넌스, 하이브리드·클라우드 친화적	구현 복잡성, 정교한 메타데이터 관리 필요	사일로 해소, 멀티 클라우드 간 실시간

기고 | AI 성능을 갉아먹는 ‘저품질 데이터’··· CIO·CDO가 알아야 할 데이터 품질 향상법 | CIO

기고 | AI 성능을 갉아먹는 ‘저품질 데이터’··· CIO·CDO가 알아야 할 데이터 품질 향상법

투자 규모와 무관하게, 부실한 데이터는 AI와 혁신 전략을 무너뜨린다. IT 리더는 지금 바로 나서서 데이터 신뢰를 바탕으로 조직이 진짜로 성과를 낼 수 있도록 해야 한다.

www.cio.com

데이터 품질 KPI와 성숙도 모델

Data_Manager — Mon, 14 Apr 2025 18:01:12 +0900

성숙도 단계	특징	데이터 품질 KPI 및 기대 수치
1단계: 대응 중심	공식 전략 없음. 문제 발생 시에만 조치.	완전성: 낮음 (예: 60~70%) — 표준화된 입력 프로세스 부재. 정확성: 낮음 (예: 60~70%) — 오래되거나 잘못된 데이터.
2단계: 전술적 대응	기본 프로파일링 도구 도입. 중요 시스템에 데이터 관리 책임자 지정.	완전성: 보통 (예: 70~80%) — 프로파일링으로 개선 시작. 정확성: 보통 (예: 70~80%) — 초기 정제 활동 반영. 일관성: 낮음~보통 (예: 65~75%) — 데이터 사일로 여전히 존재.
3단계: 선제적 관리	KPI 정의.지속적인 품질 측정. 부서 간 협업.	완전성: 높음 (예: 80~90%) — 입력 표준화 반영. 정확성: 높음 (예: 8090%) — 신뢰 가능한 소스와 비교 검증. 일관성: 보통~높음 (예: 75~85%) — 여러 플랫폼 간 데이터 일관성 확보를 위한 작업 진행. 적시성: 보통 (예: 24~48시간 내 데이터 제공).
4단계: 내재화	제품 개발 및 운영 프로세스에 데이터 품질 관리 통합. 문제 사전 예방.	완전성: 매우 높음 (예: 90~95%) — 내재화된 품질 점검 반영. 정확성: 매우 높음 (예: 90~95%) — 지속적 모니터링. 일관성: 높음 (예: 85~95%) — 시스템 간 통합 달성. 적시성: 높음 (예: 1~24시간 내 데이터 제공). 고유성: 높음 (예: 85~95%) — 중복 최소화.
5단계: 최적화	AI 기반 검증과 예측형 문제 해결. 신뢰할 수 있는 데이터 중심의 조직 문화 구축.	완전성: 거의 완벽 (예: 95~100%) — 자동화된 입력 검증 적용. 정확성: 거의 완벽 (예: 95~100%) — AI 기반 이상 탐지 반영. 일관성: 매우 높음 (예: 95~100%) — 원활한 데이터 통합. 적시성: 실시간에 가까움 (예: 몇 분 이내 데이터 제공). 고유성: 매우 높음 (예: 95~100%) — 고도화된 중복 탐지 기술 적용.

기고 | AI 성능을 갉아먹는 ‘저품질 데이터’··· CIO·CDO가 알아야 할 데이터 품질 향상법 | CIO

[BI] 네트워크 그래프 구현 가능성 체크

Data_Manager — Sun, 18 Aug 2024 22:27:15 +0900

■ 브라우저 환경의 한계

⛔ 브라우저에 할당된 메모리 내에서만 동작

ㅁ SVG

빠르고 높은 퀄리티의 2D 벡터 그래픽을 제공
브라우저 메모리 사용
d3, amChart, cytoscape 등 대부분의 차트 라이브러리가 svg 를 사용
그려야 하는 객체의 개수가 늘어날 수록(10만 개 ↑ ) 브라우저 과부하

ㅁ WebGL

브라우저에 무언가를 렌더링 할 때 그래픽 하드웨어(GPU) 성능을 이용할 수 있음
렌더링 기능에 특화되어있어 svg 와 비교해 인터랙션 성능은 떨어짐
(이벤트 핸들러 지원 X)

대부분의 고성능 네트워크 그래프 라이브러리가 WebGL 로 노드와 엣지를 렌더링하고 툴팁, 라벨, 축 등은 SVG 로 그리는 방식을 사용 → 기본적인 인터랙션 구현 가능

ㅁ 10만건 Scatter 성능비교

https://www.grapecity.com/wijmo/demos/Chart/Performance/WebGL/Scatter/purejs

** 그래프 성능 비교 아티클 - Interactive media lab (sigma.js 제작 팀)

SVG vs WebGL.pdf

■ 자체 개발 시 고려요소

WebGL 러닝커브
렌더링 위치 결정, 노드 엣지 렌더링 엔진
애니메이션 엔진 (레이아웃 알고리즘)
렌더링 & UI 요소 간 위치 매칭 알고리즘
→ cluster 끼리 비슷한 위치에 렌더링되어야함
→ 관련도가 적을수록 떨어져 위치해야함
→ edge 의 교차가 적어야 분석이 수월함

& 그래프DB를 써도 결국 노드-엣지 관계 데이터를 받아와야 하고 하나씩 그리긴 해야함 (툴, 자체개발 모두)

■ 툴 후보군 조사

위 조사에서 얻은 내용을 바탕으로 후보군을 선정해 비교함

선정기준 (파랑: 후보군 모두 충족)

WebGL 사용여부 (+성능)
알고리즘 → 빅데이터 네트워크 분석 기업 cylynx 레포트 참조
커스터마이징 유연성
인터랙션
커뮤니티 규모
레이아웃 다양성
Neo4j 연동 플러그인 지원
.gexf (gephi 파일형식) 입출력 지원 여부

웹 환경의 네트워크 그래프 툴이 적어 거의 모든 툴 조사 진행

✅ Keyline

개발 커뮤니티에서 평이 좋지만 데모를 제공하지 않아서 trial 버전을 요청해둠.
사용 전이라 자료 기반으로 작성

pros

타 라이브러리 대비 좋은 성능
다양한 레이아웃 제공(8가지)
노드 내 노드 제공
준수한 인터랙션 탑재

cons

유료
일반적인 네트워크 그래프 라이브러리와 데이터 구조 상이
(Neo4j 와 연결 플러그인은 지원)
gephi 파일 형식 (.gexf) 지원 X

✅ Sigma.js

https://www.sigmajs.org/
https://codesandbox.io/s/github/jacomyal/sigma.js/tree/main/examples/large-graphs (성능테스트)

pros

오픈소스 (MIT License)
준수한 성능
gephi 파일 형식 지원

cons

상대적으로 떨어지는 인터랙션
레이아웃이 2D 레이아웃 하나만 존재

✅ Ogma

https://linkurious.com/
https://doc.linkurious.com/ogma/latest/examples/performance.html (성능테스트)
https://doc.linkurious.com/ogma/latest/examples/demo-performance2.html (성능테스트2)

pros

타 라이브러리 대비 좋은 성능
다양한 스타일 옵션
공식문서 깔끔
gephi 파일 형식 (.gexf) 지원

cons

유료

✅ Vivagraph

http://www.yasiv.com/graphs#Bai/rw496

그래프 렌더링 엔진에 가까움
인사이트 도출을 위한 네트워크 그래프에 적합하지 않음

✅ G6

https://g6.antv.vision/zh
https://g6.antv.vision/zh/examples/performance/perf#moreData/gallery (성능테스트)

pros

오픈소스 (MIT License)
다양한 스타일 옵션
다양한 레이아웃

cons

커뮤니티 & 문서가 중국어
데모 실행 중에도 프레임 저하 발생

✅ ElGrapho

pros

오픈소스 (MIT)
인터랙션을 극한으로 배제하여 매우 빠른 속도

cons

인터랙션이 너무 없어 인사이트 도출에 부적합
커뮤니티가 작음

■ 정리

ㅁ 데이터

네트워크 그래프를 그리려면 클라이언트 측의 데이터 요청/응답은 불가피
다만 모든 노드와 엣지에 대한 정보를 가져오는게 아닌 관계를 알 수 있는 테이블을 가져오고 노드 별 관계는 차트 툴 알고리즘에 맡겨야 함
따라서, 웹단 최적화를 위해선 데이터 후처리 절차를 최대한 배제하고 neo4j 로부터 받아온 데이터 그대로 렌더링하는 구조가 필요

ㅁ 가능성 체크를 위한 유사서비스

CosmoGraph - 네트워크 그래프 웹 렌더링 툴/서비스

Massive 네트워크 그래프 웹 렌더링 가능성 확인용
https://cosmograph.app/run/?data=https://cosmograph.app/data/184R7cFG-4lv.csv
https://cosmograph.app/#examples

Retina

https://ouestware.gitlab.io/retina/beta/
⇒ 테스트용 파일 (우클릭 이용 다운로드)

※ Resources

동국대 통계학과/융합소프트웨어 오성과한음 작성.

[BI] 한스 로슬링의 Gapminder Tools

Data_Manager — Sun, 18 Aug 2024 22:20:58 +0900

■ 한스 로슬링

한스 로슬링(Hans Rosling, 1948년 7월 27일 ~ 2017년 2월 7일)은 스웨덴의 의사이자 통계학자이다. 카롤린스카의과대학 교수로 재직하였고 , 트렌달라이저(Trendalyzer)를 개발한 비영리 벤처 갭마인더 재단의 공동설립자이기도 하다. 빅데이터를 가장 잘 활용하는 보건 통계학자로 알려져 있다.

■ Gapminder Tools

https://www.gapminder.org/tools/#$chart-type=bubbles

Gapminder Tools

Animated global statistics that everyone can understand

www.gapminder.org

[BI] 자율주행 기술의 네트워크 분석 과정

Data_Manager — Sun, 18 Aug 2024 22:19:41 +0900

■ CRISP-DM

■ 분석 절차

■ 분석 목표

■ 활용 데이터

■ DB화 및 기본정비

■ 데이터 탐색

■ AI 학습 모델

■ 매핑 테스트

■ FP-Growth 알고리즘

■ PMI 알고리즘

■ 탐색적 데이터 분석(EDA)

■ 네트워크 툴 선택

■ 데이터 생성

■ Gephi 활용 분석

■ D3.js 활용 분석

■ Python NetworkX 활용 분석

■ Netminer 활용 분석

■ 분석 결론

[BI] 소셜 네트워크 분석 전략

Data_Manager — Sun, 18 Aug 2024 22:18:29 +0900

SNA 분석 목적

소셜 네트워크와 이를 대상으로 한 소셜 네트워크 분석은 사회학, 경제학, 경영학을 비롯한 사회과학 분야에서뿐만 아니라 물리학, 의학, 생물학 등의 자연과학 분야에서도 최근 많은 주목을 받고 있습니다. 정보통신기술 및 인터넷 서비스의 발달로 인한 데이터의 증가 및 축적은 실무적으로도 네트워크 데이터의 활용 기회를 증대시키고 있고 사람들이 사회적 관계를 기반으로 상호작용을 통해 거미줄처럼 서로 엮여 있다는 개념은 개인적인 수준에서뿐만 아니라 조직수준에서 발생하는 다양한 사회적 현상을 설명하는 데 있어서 기존의 관점과는 다른 새로운 시각을 제공합니다.

우리 주변에 존재하는 많은 것들이 네트워크 형태로 이미 구조화되어 있거나 구조화할 수 있기 때문에 사람들은 다양한 분야에서 네트워크 데이터를 분석할 수 있고 네트워크는 우리 주변에 언제나 존재하여 왔었고 오늘날 사회 및 경제시스템을 움직이는 핵심적 환경을 제공하고 있기 때문에 이에 대한 분석은 네트워크 구성요소 간 상호의존성을 이해하고 네트워크 전체의 효율성 및 효과성을 증진하는 중요한 해결책을 제시할 수 있습니다. 네트워크 내에서 어떤 사람이 차지하는 위치는 그 사람이 마주치게 될 기회와 제약을 결정하게 되고, 따라서 그러한 위치를 알아내는 것은 네트워크 구성원의 성과나 행태를 예측하는 데 있어서 중요한 역할을 할 것으로 보입니다.

SNA 수준

분석 목적이나 비즈니스 의사결정을 위한 인사이트 도출 관점에서 SNA 분석 수준을 결정해야 합니다. 네트워크 수준에서 전체를 하나의 분석 대상으로 할 수도 있고 특정 노드 수준의 분석에서 노드간의 관계나 그룹을 분석 수준으로 접근할 수도 있습니다. 또한 노드 자체의 하나 하나가 분석의 대상이 될 수 있습니다. 분석 목표에 따라 SNA 분석 수준을 결정하여 분석 목표를 달성할 수 있는 분석 전략을 수립해야 합니다.

연결 중심성(Degree Centrality) 분석
- 하나의 노드에 직접적으로 연결된 이웃 노드의 개수로 측정함.
- 네트워크 전체 구조의 중심이 아니어도 연결된 노드가 많으면 연결 중심성 지표 값이 높게 산출됨.
- 노드의 색깔이 진해질수록 중심성이 높음.
근접 중심성(Closensess Centrality) 분석
- 네트워크를 구성하는 노드가 전체 노드에 도달하기까지의 단계임.
- 단계수가 작을수록 근접 중심성이 높게 나타남.
- 노드의 크기가 커질수록 중심성이 높음.
매개 중심성(Betweenness Centrality) 분석
- 노드와 노드를 연결하는 최단 경로에 얼마나 자주 등장하는지를 산출함.
- 매개 중심성이 높은 노드는 네트워크 내에서 가장 많이 거치게 되는 노드임.
- 링크의 선 색깔이 진해질수록 중심성이 높음.

SAN 관점

사회과학에서는 일반적으로 사회적 개체는 다른 개체의 행동과는 독립적으로 의사결정하고 행동한다고 가정합니다.

효용극대화이론(utility-maximizing theory)에 따르면 사람들은 이성적 계산을 통해 효용을 극대화하는 행동을 추구한다.
충동감소동기이론(drivereduction motivation theory)에 따르면 사람들의 모든 행동은 욕구나 충동으로 인한 긴장을 감소 시키는 방향으로 움직인다.

이처럼 전통적인 접근법에서는 사람들의 행동을 설명하는 데 있어서 주로 개인의 속성만을 고려하고 각 사회적 개체들이 연결되어 있는 더 넓은 범위의 상호작용 환경에 대해서는 관심을 기울이지 않는 경향이 있습니다.

소셜 네트워크 분석에서는 개별 사회적 개체들은 다른 개체들과 연결된 소셜 시스템을 구성하고 소셜 시스템 내 에서 다른 개체들의 행동에 중요한 영향을 미치는 것으로 가정합니다. 소셜 네트워크 분석의 이론적/방법론적 접근법은 사회적 개체 간 관계의 구조적 형태와 내용을 파악하고 이를 측정하여, 이러한 관계로부터 도출되는 가설을 검증하게 됩니다. 이러한 구조적/관계적(structural, relational) 특성으로 인해 소셜 네트워크 분석은 기존의 개별적/변수중심적 분석방법과 구별됩니다.

소셜 네트워크 분석은 인과관계의 작동 메커니즘을 개별 액터에게서 찾는 것이 아니라 사회적 구조에 의해 설명 하려고 합니다. 유사한 속성을 갖고 있는 사람들은 유사하게 행동할 수 있습니다. 하지만 공통의 속성을 통해 이들 유사성을 설명하는 것은 공통의 속성을 갖는 사람들이 종종 사회적 구조 내에서 유사한 위치를 차지하고 있다는 사실을 간과 하고 있는 것일 수 있습니다. 즉 유사한 속성을 갖는 사람들은 대체로 소셜 네트워크 내에서 유사한 위치를 차지하고 있으며, 따라서 유사한 결과는 유사한 속성에 기인한다기보다는 소셜 네트워크 내의 이러한 유사한 위치에 의해 생성되는 기회와 제약에 의해 야기되는 것으로 이해할 수 있다.

SAN 유형

설명변수로서의 관점은 네트워크 내 연결관계를 유ㆍ무형의 무언가(예: 정보, 아이디어, 견해, 태도, 도움, 돈,자원)가 흘러다니는 통로로서 바라봅니다. 그 무언가가 액터간 연결통로를 통해 흘러다니면서 액터가 만들어 내는 특정 결과(outcome)에 영향을 미치게 됩니다.

결과를 성과로 해석

액터의 사회적 자본: 자원의 유입(inflow)
액터의 중개자 역할: 자원의 유입과 유출(outflow)
액터의 경매자 역할: 자원의 유출

결과를 스타일로 해석

성과의 관점에서는 한 결과가 다른 결과보다 우수하다고 말할 수 있지만, 스타일은 선택과 관련된 문제로서, 예를 들어, 특정 정치적 입장의 선택이나 혁신 수용에 대한 의사 결정 등을 의미합니다. 이러한 관점으로서의 결과는 유사한 스타일을 공유하는 액터들로서 나타납니다.

네트워크를 결과변수로 바라봄으로써 우리는 액터들이 특정 연결관계를 갖게 되는 이유를 이해할 수 있습니다.

기회(opportunity) 메커니즘

한 연결관계가 다른 연결관계를 유도한다는 것을 의미한다. 예를 들어, 비즈니스관계는 친구관계를 이끌 수 있습니다. 이처럼 한 연결관계의 존재는 다른 종류의 연결관계가 형성될 기회를 만들어 줍니다.

선호(preference) 메커니즘

동종친화성(homophily), 동종애(love of the same), 유유상종(類類相從)
인지부조화이론(cognitive dissonance theory)

SAN 관련 이론

사회적 자본이론(social capital theory)
소셜네트워크의 구조적 특성(예: 느슨하게 연결된 개방된 구조, 강하게 연결된 밀도 높은 구조 등)이 성과와 같은 다양한 결과변수에 미치는 영향을 탐색.
사회적 영향 네트워크이론(social influence network theory)
사람들이 어떻게 서로의 생각과 행동에 영향을 미치는지 설명.
사회적 선택 네트워크이론(social selection network theory)
사람들이 그들이 소유한 어떤 특성을 기반으로 어떻게 서로에게 이끌리는지 설명.
혁신확산이론(theory of diffusion of innovation)
새로운 기술이나 아이디어가 커뮤니티에 의해 수용되는 과정을 설명
약한 연결의 힘이론(theory of strength of weak ties)약하게 연결된 관계로부터 새로운 정보를 획득할 가능성이 더 높다는 것을 설명.

[BI] 소셜 네트워크 사례

Data_Manager — Sun, 18 Aug 2024 22:17:41 +0900

네트워크 분석이란?

네트워크 분석(Network analysis)은 사회학, 경제학, 경영학을 비롯한 사회과학 분야에서뿐만 아니라 물리학, 의학, 생물학 등의 자연과학 분야에서도 최근 많은 주목을 받고 있습니다. 정보통신기술 및 인터넷 서비스의 발달로 인한 데이터의 증가 및 축적은 실무적으로도 네트워크 데이터의 활용 기회를 증대시키고 있기 때문입니다.

인터넷 네트워크, 도로 네크워크, 화합물, 인용 네트워크, 유전 정보, 통신망, 전력망과 같이 우리 주변에 존재하는 많은 것들이 네트워크 형태로 구조화되어있습니다. 이와 같이 네트워크는 우리 주변에 언제나 존재하여 왔고 오늘날 사회ㆍ경제시스템을 움직이는 핵심적 환경을 제공하고 있기 때문에 이에 대한 분석은 네트워크 구성요소 간 상호의존성을 이해하고 네트워크 전체의 효율성 및 효과성을 증진하는 중요한 해결책을 제시할 수 있습니다.

네트워크 분석이라 하여 반드시 처음부터 관계를 가진 데이터만 쓸 수 있는 것은 아니고 기존 RDB 데이터에 관계를 정의하여 가공할 수 있다면, 현재 가지고 있는 수많은 데이터를 가지고도 네트워크로 표현하고 구조를 분석할 수 있습니다.

사례1. IP분야에서의 네트워크 분석 구현 현황

IP분야에서는 융합 컨텐츠(기술 정보와 산업정보, 기업정보의 연계)속에서 각 도메인이 가지는 지식 정보 외에 도메인간 상호 융합을 통한 분석과 그를 통한 새로운 인사이트 발굴이 많이 요구되는 추세인데 융합 정보의 표현과 해석에 네트워크 분석을 가장 많이 활용하고 있는 추세입니다.

이를 구현하기 위해 현업에서는 시각화 구현을 위한 다양한 솔루션 및 프로그램 구현을 시도하고, 기존의 RDB에 저장된 구조 외에 그래프DB 등의 네트워크 분석 기반 데이터 형식 저장용 저장 Schema를 도입하고 있습니다.

무엇보다 다양한 융합 컨텐츠 속에서 목표 지향적인 네트워크 분석 환경 제공을 위해서는 데이터 표준화와 정비, 최종 사용을 위한 재가공의 중요성이 더욱 더 부각되고 있으며 이를 자동화하고 품질 향상을 위해 많은 자원을 투입하고 있는 상황입니다.

특정 노드에서의 지식 확산 사례 부석

사례2. 위기 관리 위한 금융 네트워크 분석

금융 및 은행 데이터를 활용하여 전세계적 금융 시스템에 대한 정량적인 감독제공하고 금융 파생 상품 시장의 구조를 파악하기 위해 이자율과 신용, 브로커 딜러 등을 노드와 링크로 구성하여 메이저 은행과 기관에 안정적인 자금 제공을 위한 네트워크 분석 모델입니다.

금융 네트워크 분석을 위해서는 각 국이나 각 금융기관의 중요 정보를 확보해야 하는데 이 컨텐츠들이 어떻게 생성되고 공유되었는지 가장 궁금합니다. 더불어 미래 지향적인 입장에서 데이터 공유 환경이 더 적극적으로 오픈되어야 한다고 사료됩니다.

사례3. 파푸아 자유 운동 분쟁 분석

인도네이사로부터 독립을 추구하는 서 파푸아에서의 지속적인 분쟁이 급증하고 있는데 그 분쟁의 영향도를 분석하기 위해 트위터 사용자 간의 연관성과 활동 유형을 분석하여 영향력 있는 특정 인물을 관리 감독하거나 비정상적인 동작이 작동하는 상황을 탐지하는데 활용할 수 있습니다.

가장 대표적인 소셜 네트워크 활용 사례로 보여지며 단순히 사용자간의 관계분석이 아닌 특정 목적 –마케팅, 이상 탐지, 예측 등– 에 맞는 활용이 가능한 것으로 사료됩니다.

사례4. 키워드 네트워크 분석

기초연금에 대한 정책 평가를 위해 구현된 네트워크 분석으로 SNS 대화에 기초하여 텍스트로부터 핵심 키워드를 추출하고 그 키워드간의 연관성 및 빈도를 계산하여 네트워크로 구성한 분석화면입니다.

네트워크 분석을 통해서 이슈들의 생성 및 전개과정, 성격 및 핵심 쟁점, 주요 행위자, 여론 형성 과정 및 갈등 해소 과정 등을 도출하고 있습니다.

모든 분석의 목표는 그래프가 이쁘게 나오는 것이 아니라 해당 분석이 무엇을 의미하고 어떤 숨겨진 정보나 지식을 나타내는지 확인 할 수 있어야 합니다. 그래서 결국 새로운 인사이트를 통해 목적 분야에 활용이 가능해야 하는데 상기 사례는 정책 검증이라는 유의미한 목적에 부합하는 좋은 사례라고 판단됩니다.

[BI] 차트 선택 (Chart Suggestion)

Data_Manager — Sun, 18 Aug 2024 22:16:38 +0900

차트 선택-1

차트 선택-2

차트 종류

[BI] 막대그래프 vs. 히스토그램

Data_Manager — Sun, 18 Aug 2024 22:14:06 +0900

■ 막대그래프(Bar graph, Bar chart)

자료를 막대모양으로 시각화한 그래프
χ축을 범주형 변수(Category)로 배치하고 범주별 빈도를 표현
범주간 막대그래프가 분리됨(비 이산변수 분포)
막대의 재정렬 가능
막대 폭은 동일하지 않아도 됨

■ 히스토그램(Histogram)

χ축을 연속형 변수(Number Range)로 배치하고 범위에 포함된 변량 표현
막대간에 서로 붙어 있음(이산변수 분포)
막대 폭은 일정해야 함
막대의 재정렬 불가(∵연속형)

[DBR] 사용자 데이터 활용

Data_Manager — Sun, 18 Aug 2024 22:12:35 +0900

■ 업로드된 사용자 데이터 확인

ㅁ 경로 : /FileStroe/tables/

# 사용자데이터 확인
display(dbutils.fs.ls('/FileStore/tables/'))

■ 데이터프레임으로 가져오기

ㅁ spark.read.csv 활용

# 사용자 데이터--> DataFrame으로 읽기
# 한글깨짐 현상 방지를 위해 encoding 설정해서 불러오기
df_usertbl = spark.read.csv("/FileStore/tables/TextDown_pm031323_1000.csv", header = True, encoding = 'euc-kr')

display(df_usertbl)

■ 데이터 타입 보기

# 데이터 타입 보기
df_usertbl.printSchema()

■ 데이터프레임 생성하기

ㅁ spark.read.options 활용

path = '/FileStore/tables/TextDown_pm031323_1000.csv'
df_export = spark.read.options(header=True, inferSchema=True, encoding = 'euc-kr').csv(path)

# 객체 타입 확인
print(type(df_export))

# 데이터 프린트 개수 제한 15
display(df_export.limit(15))

ㅁ Visualization 활용

■ 데이터프레임을 Python Pandas로 전환하기

# 객체 타입 확인
print(type(pdf_export))

# Pyspark DF -> Python Pandas 프레임으로 변환 
pdf_export = df_export.toPandas() 

# 객체 타입 확인
print(type(pdf_export))

# 판다스 데이터프레임 형식으로 간단한 시각화 지원 안됨 
pdf_export.head(10)

References: