Data Lake > Data Warehouse > Data Mart
2023. 3. 29. 16:20ㆍLet's upgrade IT Tech/BigData
데이터 마트, 데이터 레이크, 데이터 웨어하우스는 모두 기업에서 데이터를 수집, 저장, 분석하기 위해 사용되는 데이터 저장소입니다. 그러나 이들은 각각 목적, 구성, 사용하는 기술 등에서 차이가 있습니다.
- 데이터 마트(Data Mart) 데이터 마트는 기업 내에서 특정 부서나 프로젝트를 위해 구축된 비교적 작은 규모의 데이터 저장소입니다. 특정 주제나 분석 요구 사항에 맞게 설계되어 데이터를 수집, 저장, 분석합니다. 예를 들어, 판매 부서에서는 판매 거래 내역 데이터 마트를 구축하여 특정 기간의 판매 데이터, 고객 정보, 재고 정보 등을 수집하고 분석합니다. 데이터 마트는 데이터 웨어하우스와는 달리 특정 비즈니스 요구사항에 맞게 구축되기 때문에 비교적 구축이 쉽고 빠릅니다.
- 데이터 웨어하우스(Data Warehouse) 데이터 웨어하우스는 기업에서 다양한 데이터 소스에서 추출한 데이터를 통합하여 중앙에서 관리하는 데이터 저장소입니다. 데이터 웨어하우스는 다양한 비즈니스 요구 사항에 맞게 구축된 데이터 마트의 집합체로 구성됩니다. 이를 통해 기업 전반의 데이터를 통합하여 분석할 수 있습니다. 데이터 웨어하우스는 데이터 분석에 중점을 둔 구조로 설계되어 있기 때문에 분석에 최적화된 스키마와 인덱스를 사용합니다. 또한 대용량의 데이터를 저장하고 처리할 수 있는 기술과 성능을 갖추고 있습니다.
- 데이터 레이크(Data Lake) 데이터 레이크는 기업 내 모든 데이터를 원시 상태로 저장하는 데이터 저장소입니다. 데이터 레이크는 기업 내부나 외부에서 수집되는 모든 종류의 데이터를 저장합니다. 그리고 저장된 데이터는 필요한 경우에 추후에 처리나 분석을 위해 활용됩니다. 데이터 레이크는 비정형 데이터를 포함하여 모든 데이터를 저장할 수 있기 때문에 기존의 데이터 저장소와는 달리 데이터의 형식이나 스키마를 미리 정의하지 않아도 됩니다.
'Let's upgrade IT Tech > BigData' 카테고리의 다른 글
머신러닝과 딥러닝 (0) | 2023.03.27 |
---|---|
HDFS Swap이란 (0) | 2023.03.17 |