본문 바로가기

Data Engineering2

데이터베이스 생성과 데이터 추가 (MySQL 서버 설치 및 데이터 추가) 들어가며 본 포스팅은 한빛 미디어(O’Reilly Media) 사의 ‘Learning SQL’을 학습하며 정리한 노트입니다 그동안 SQL을 데이터 조작어(DML)로써 사용했다면 이제는 조금 더 깊게 파보려고 합니다. 데이터를 설계하고 직접 생성해보는 과정을 통해 아이디어를 데이터로 표현하고 데이터를 자유자재로 핸들링할 수 있는 기술들을 하나씩 갈고닦고자 합니다. 시작에 앞서 MySQL 서버 설치 (feat. Mac OS) Mac OS에 MySQL Server 설치 본 도서의 실습을 위해 MySQL 서버를 설치합니다 제가 사용하고 있는 Mac은 11 버전입니다. 현재 사용하고 있는 맥의 버전에 맞는 MySQL을 설치해주었습니다. 설치 관련해서는 잘 정리된 포스팅들이 많았고 이곳을 참고했습니다. 한가지 기억.. 2022. 3. 7.
Lakehouse란 무엇인가? 본 글은 databricks 공식 blog의 What is Lakehouse를 번역한 글입니다. 안녕하세요 Steve-Lee입니다. 최근 사내에서 Databricks 교육 기회를 갖게 되어 Databricks의 다양한 서비스들을 학습하고 있습니다. 오늘은 데이터 레이크와 데이터 웨어하우스의 장점을 조합한 Databricks Lakehouse에 대해 알아보는 시간을 가져보도록 하겠습니다. Intro 기업은 10년 전 다양한 형식의 raw 데이터를 저장할 수 있는 데이터 레이크를 구축하기 시작했다. 이는 데이터 저장에 적합하지만 몇 가지 부족한 점이 있었다 트랜잭션을 지원하지 않는다 (do not support transactions) 데이터 품질을 적용하지 않는다 (do not enforce data qu.. 2021. 6. 12.