مقایسه ETL و ELT
برای انتقال داده‌ها از سامانه‌های مبدا به انبار داده، دو رویکرد اصلی ETL و ELT وجود دارد. تفاوت بنیادین این دو مدل در ترتیب و محل اجرای فرآیند تبدیل (Transform) است.
رویکرد ETL
در مدل سنتی ETL، داده‌ها ابتدا از مبدا استخراج می‌شوند، در یک لایه واسط پردازش و پاک‌سازی می‌گردند و در نهایت در جداول نهایی انبار داده لود می‌شوند.
- Extract: استخراج داده‌ها از پایگاه‌های داده و سامانه‌های مبدا.
- Transform: پاک‌سازی، نرمال‌سازی و اعمال قوانین کسب‌وکار پیش از ورود به انبار داده.
- Load: لود داده‌های پالایش‌شده در جداول نهایی انبار داده.
در این رویکرد داده‌های خام ذخیره نمی‌شوند و هرگونه تغییر در تعاریف تحلیلی، نیازمند اصلاح پایپ‌لاین و استخراج مجدد داده از سامانه‌های عملیاتی است.
رویکرد ELT
در رویکرد مدرن ELT، داده‌ها بلافاصله پس از استخراج و بدون تغییر ساختار، مستقیماً در انبار داده لود می‌شوند و عملیات تبدیل با بهره‌گیری از قدرت پردازشی پایگاه‌های داده تحلیلی در مقصد صورت می‌پذیرد.
- Extract: استخراج داده‌ها از سامانه‌های مبدا.
- Load: لود بی‌درنگ داده‌های خام در جداول استیجینگ انبار داده در قالب ستون‌های نیمه‌ساختاریافته (JSON).
- Transform: اعمال کوئری‌های تبدیل در انبار داده جهت تولید جداول نهایی (Fact و Dimension).
در این روش داده‌های خام همواره در دسترس باقی می‌مانند و می‌توان تعاریف تحلیلی را بدون نیاز به دسترسی مجدد به مبدا بارها تغییر داد.
جدول مقایسه ETL و ELT
| ویژگی | ETL | ELT |
|---|---|---|
| ترتیب عملیات | استخراج > تبدیل > لود | استخراج > لود > تبدیل |
| محل تبدیل | سرور واسط یا مبدا | داخل انبار داده |
| نوع داده‌های لودشده | ساختاریافته نهایی | نیمه‌ساختاریافته خام |
| سرعت لود | پایین‌تر به دلیل پردازش در مسیر | بسیار سریع و به شکل کپی مستقیم |
| انعطاف در تغییرات | پایین به دلیل وابستگی به مبدا | بالا به دلیل دسترسی همیشگی به داده خام |
| هزینه پردازش مبدا | بیشتر به دلیل اجرای محاسبات | حداقل به دلیل استخراج ساده داده |
دلایل برتری رویکرد ELT
داده‌لند رویکرد ELT را به عنوان الگوی استاندارد پیشنهاد می‌کند:
- تسریع بهره‌برداری (Time to Value): داده‌های خام بلافاصله در اختیار تحلیل‌گران قرار می‌گیرند و فرآیند گزارش‌گیری بدون معطلی آغاز می‌شود.
- تغییرپذیری آسان منطق کسب‌وکار: اعمال شاخص‌های جدید تحلیلی صرفاً با اصلاح کوئری‌های تبدیل در انبار داده انجام می‌پذیرد و پایپ‌لاین لود دست‌نخورده می‌ماند.
- حفظ تاریخچه داده‌های خام: ذخیره نسخه خام داده‌ها در لایه استیجینگ، امکان بازسازی مدل‌ها یا حسابرسی تاریخی را فراهم می‌سازد.
- بهره‌گیری از توان پردازشی مقصد: محاسبات سنگین تحلیلی به جای سرورهای عملیاتی، توسط موتور پردازش موازی انبار داده اجرا می‌شوند.
- پایداری بالاتر پایپ‌لاین: حذف تبدیل‌های پیچیده در مسیر انتقال، نرخ خطای خطوط لود داده را به صفر نزدیک می‌کند.
- کاهش وابستگی به تیم‌های فنی: تحلیل‌گران بدون نیاز به تغییر در کد اپلیکیشن یا دیتابیس مبدا، مستقیماً تحولات تحلیلی را پیاده‌سازی می‌نمایند.
پیاده‌سازی ELT و معماری مدالیون (Medallion)
الگوی ELT در داده‌لند منطبق بر معماری مدالیون (Medallion Architecture) سازمان‌دهی می‌شود:
- لایه برنز (Bronze / Staging): داده‌های خام از سامانه‌های مبدا مستقیماً وارد جداول استیجینگ (STG) می‌شوند و در یک ستون با نام
dataبه شکل JSON ذخیره می‌گردند. - لایه نقره (Silver): داده‌های لایه برنز به کمک کوئری‌های تبدیل پالایش می‌شوند و در جداول ساختاریافته وقایع (Fact) و وصف (Dimension) لود می‌گردند.
- لایه طلا (Gold): در نهایت، نماهای تجمیعی (Aggregated) و شاخص‌های کلیدی کسب‌وکار برای استفاده سریع داشبوردها و گزارش‌های مدیریتی از لایه نقره مشتق می‌شوند.
برای ساخت جدول استیجینگ کافی است هنگام ایجاد جدول سفارشی، نوع آن را بر روی جدول استیجینگ (STG) تنظیم نمایید:
برای آشنایی با نحوه تعریف کوئری‌های تبدیل و لود داده‌ها از لایه استیجینگ (برنز) به جداول لایه نقره و طلا، به مستندات لود با تبدیل (Transform) مراجعه نمایید.