ایجاد دیتاست
ایجاد دیتاست نقطه آغاز سازماندهی، ذخیره‌سازی و پردازش داده‌ها در انبار داده به شمار می‌رود. ساخت دیتاست در داده‌لند در قالب چهار رویکرد مستقل دسته‌بندی شده است:
- جدول سفارشی: امکان تعریف ساختار از پایه با فیلدها و تنظیمات دلخواه را در چهار نوع ماهیتی فراهم می‌سازد و فاقد داشبورد پیش‌فرض است.
- جدول آماده: قالب‌های استاندارد موضوعی را برای ساخت فوری دیتاست (با قابلیت ویرایش اسکیما) در اختیار کاربر قرار می‌دهد و فاقد داشبورد پیش‌فرض است.
- تبدیل آماده: جداول تجمیعی لایه طلا (مانند نماهای ۳۶۰ درجه) را بدون نیاز به نگارش کوئری SQL و همراه با داشبوردها و تحلیل‌های آماده تولید و ذخیره می‌کند.
- ماژول: بسته‌های مهندسی‌شده و استانداردی هستند که فرآیند جمع‌آوری، تفکیک داده و ساخت داشبوردهای تحلیلی تخصصی را خودکارسازی می‌نمایند.
پیروی از الگوهای مدرن داده
توسعه پایدار انبار داده نیازمند پیروی از چارچوب‌های استاندارد معماری است. داده‌لند الگوهای مدل‌سازی ابعادی کیمبال (Kimball) و معماری چندلایه‌ای مدالیون (Medallion Architecture) را در هسته ساختار خود نهادینه کرده است:
- مدل‌سازی ابعادی کیمبال: ساختار داده‌ها بر پایه تفکیک بنیادین وقایع (Fact) و وصف‌ها (Dimension) سازماندهی شده است. جهت بررسی تفصیلی این رویکرد، به راهنمای معماری داده‌ها مراجعه فرمایید.
- معماری مدالیون: جریان پالایش و ارتقای داده‌ها در سه لایه برنز، نقره و طلا پیاده‌سازی می‌شود:
لایه مدالیون | نمونه جداول در داده‌لند | کارکرد و عملیات در انبار داده |
|---|---|---|
| برنز (Bronze) | • جداول استیجینگ (STG) | داده‌های خام ورودی را بدون تغییر ساختار در قالب یک ستون JSON دریافت و نگهداری می‌کنند. |
| نقره (Silver) | • جداول آماده • جداول نرمال‌شده سفارشی | عملیات پاک‌سازی، اعتبارسنجی و ساختاردهی اولیه داده‌ها را بر عهده دارند. |
| طلا (Gold) | • تبدیل‌های آماده | وظیفه تجمیع، مدل‌سازی تحلیلی و ایجاد نماهای جامع کسب‌وکار (نظیر نماهای ۳۶۰ درجه) را جهت گزارش‌گیری سریع بر عهده دارند. |
تیم‌های داده می‌توانند این پایپ‌لاین‌های چندلایه را از طریق تفکیک ساختاری پیش‌فرض یا قابلیت تبدیل (Transform) داخلی داده‌لند پیاده‌سازی نمایند.
جدول سفارشی
در جدول سفارشی، اسکیما از صفر توسط کاربر طراحی می‌شود و امکان افزودن ستون‌های دلخواه فراهم است. گزینه‌های ساخت جدول سفارشی در چهار نوع مستقل ارائه می‌شوند:
نوع جدول | کاربرد و ماهیت داده |
|---|---|
| جدول وقایع (Fact) | برای ثبت داده‌های رخدادی، تراکنشی و شاخص‌های عددی قابل اندازه‌گیری کسب‌وکار به کار می‌رود. |
| جدول وصف (Dimension) | برای ذخیره اطلاعات و ویژگی‌های توصیفی ماهیت‌ها (نظیر کاربران و کالاها) کاربرد دارد. |
| جدول آزاد (Plain) | برای ذخیره‌سازی داده‌های ساختاریافته (لایه نقره یا طلا) با حداقل ستون‌های پیش‌فرض به کار می‌رود. |
| جدول استیجینگ (STG) | برای نگهداری داده‌های خام در قالب یک ستون JSON در پایپ‌لاین‌های ELT طراحی شده است. |
هر یک از انواع جداول سفارشی با توجه به نوع درج دارای اسکیمای پیش‌فرض زیر است:
جداول آماده
جداول آماده قالب‌های استانداردی هستند که نیاز به طراحی دستی اسکیما را برطرف ساخته و فرآیند راه‌اندازی انبار داده را تسریع می‌بخشند. ساختار این جداول قابل ویرایش است و بسته به نوع درج (با ورژن یا با آپدیت)، ستون‌های سیستمی متناظر به ابتدای جدول افزوده می‌شوند. این جداول فاقد داشبورد و تحلیل آماده هستند:
تبدیل‌های آماده
تبدیل‌های آماده، جداول پردازش‌شده‌ای هستند که بدون نیاز به نگارش دستی کوئری SQL، شاخص‌های تحلیلی پیشرفته را به صورت خودکار محاسبه کرده و همراه با داشبوردهای آماده ارائه می‌دهند. ساختار اسکیما در این جداول ثابت است و به صورت خودکار در نیمه‌شب پردازش می‌شود:
ماژول‌ها
ماژول‌ها بسته‌های یکپارچه و خودکارسازی‌شده‌ای هستند که ساخت اسکیما، پایپ‌لاین‌های مهندسی داده و داشبوردهای تحلیلی را به صورت یکجا ارائه می‌دهند:
- ماژول کلاینت: به عنوان جایگزین کامل و اختصاصی برای Google Analytics و Google Tag Manager جهت جمع‌آوری، تفکیک و تحلیل رفتاری کاربران در وب و اپلیکیشن عمل می‌کند. جهت بررسی معماری، قابلیت‌ها و اسکیما به راهنمای آشنایی با ماژول کلاینت مراجعه فرمایید.