Data Engineering

Data Engineering 섹션은 데이터가 서비스와 분석 시스템 사이를 어떻게 흐르는지 이해하기 위한 공간입니다. 우선은 파이프라인의 전체 그림을 먼저 잡고, 그 다음 변환, 스케줄링, 실시간 처리, 검색 시스템으로 확장합니다.

데이터 파이프라인 개론

Batch와 Streaming, Lambda/Kappa, Data Mesh/Fabric까지 전체 지도를 잡습니다.

SQL 기반 데이터 변환을 코드처럼 관리하는 ELT workflow를 정리합니다.

Task SDK, Asset 기반 스케줄링, DAG 버전 관리 등 Airflow 3.0 변화를 정리합니다.

Step	Page	Why
1	데이터 파이프라인 개론	batch/streaming과 pipeline architecture의 전체 그림을 먼저 잡습니다.
2	dbt 개요	warehouse 안에서 데이터를 변환하고 품질을 관리하는 방식을 이해합니다.
3	Airflow 3.0	pipeline orchestration과 scheduling이 어떻게 운영되는지 봅니다.