[나는리뷰어다] <데이터 엔지니어링 디자인 패턴>

본글은 한빛미디어 서평단 <나는 리뷰어다> 활동을 위해서 책을 협찬받아 작성된 서평입니다.

 

책 선정

2025년 9월, 한빛미디어 서평단 '나는 리뷰어다'에서 신청한 책은 "데이터 엔지니어링 디자인 패턴"  입니다.

현재 AI 기술이 급속도로 발전하기도 했고, AI 모델의 학습 데이터, 이벤트 로그 , 파이프라인등
수많은 영역에서 데이터가 많이 사용되고 있습니다.

많은 분야에서 사용하고 있기에 자연스럽게 데이터 엔지니어링 분야에 관심이 생겼던 것 같습니다.

 

특히 개인적으로 서비스를 개발해오면서 데이터를 단순히 저장만 하는것이 아니라

수집하고 변형되는것에 따라 서비스 품질이 크게 달라진다는 점을 경험했었습니다.

그래서 반복적으로 나타나는 데이터 문제들을 어떤 방식으로 해결하면 좋을지에 대한

정리된 자료가 있으면 좋겠다고 생각했고,이에  데이터 엔지니어링 디자인 패턴이라는 책을 신청하게 되었습니다.

 

책을 읽으며 느낀 점

책을 읽기 시작하면서 느낀점은

생각보다 다루는 범위가 매우 넓고 기술들을 많이 이용한다는 것이었습니다.

삭제와 백필링 같은 기본 작업부터 CDC 기반의 이벤트 처리, PII제거 , 메타데이터 관리까지

폭 넓은 주제를 다루고 잇었습니다.

 

그래서인지 개발자로서 서비스를 만들며 데이터 흐름을 고려해본 사람이라면

내용 자체는 익숙하겠지만 각 패턴에 접근하는 방법이랑 왜 그런 설계가 필요한지에 대한 부분이 크게 도움이 되었던것 같습니다.

 

사실 책을 아직 완독하지는 못했습니다.

내용부분에 있어서 잘 모르는 기술도 있기도 했고 용어도 아직 익숙치 않아서 좀 천천히 끝까지 읽어볼 계획입니다.

 

지금까지 읽었던 부분을 간단하게 정리하면 아래와 같습니다

 

• 삭제를 물리적으로 제거할지 논리적으로 처리할지에 따라 이후 파이프라인과 정합성 관리 방식이 완전히 달라진다는 점
• 백필링을 할 때 단순 재처리가 아니라 안전한 범위를 지정하지 않으면 데이터가 쉽게 꼬일 수 있다는 점
• CDC에서 JOIN이 어려운 이유와 상태 기반 처리와 이벤트 기반 처리의 설계적 차이
• PII를 제거하는 다양한 방식과 어떤 수준까지 컬럼을 축소해야 안전한지에 대한 판단 기준
• 메타데이터 관리를 자동화하지 않으면 결국 전체 파이프라인이 장기적으로 유지되기 어렵다는 점

책 전반을 읽으며 느낀 점은 데이터 엔지니어링이 단순한 기술들이 모여 있는 것이 아니라

문제를 해결하는 사고 방식이 중요하다는 것을 깨 닫게 된것 같습니다.

 

각 패턴의 목적과 장단점, 적용할때 고려해야할 점이 함께 설명되어 있어

읽으면 읽을수록 감각을 넓히는데 도움이 되었던것 같습니다.

 

 

 

 

총평

데이터 엔지니어링 디자인 패턴은 기술을 하나씩 보는 책이 아니라
현업에서 자주 부딪히는 문제들이나 생길법 한 문제들을 설계 패턴이라는 관점으로 정리해주는 책입니다.

책의 구성은 매우 폭넓고, 다루는 기술도 많기 때문에 처음 접하면 난이도가 있다고 느껴질 수 있습니다.
하지만 데이터 흐름을 안정적으로 만들지 고민하는 사람이라면 사고방식을 정리할 수 있는 책이라고 생각합니다.

AI 시대에 데이터가 모든 기술의 기반이 되고 있는 만큼

데이터 엔지니어링의 구조와 문제 해결 패턴을 배우고 싶은 개발자들에게 이 책은 충분히 가치 있는 선택이라고 생각합니다.

 

서비스 개발을 하며 데이터 구조를 고민해봤거나 로그 수집, 이벤트 처리, 정합성 문제를 해결해본 경험이 있다면
이 책이 훨씬 실용적으로 다가올 것입니다.

그렇기 때문에 데이터를 기반으로 서비스를 운영하거나 AI 시대의 인프라와 파이프라인을 이해하고 싶은 분들께 추천합니다.