لوگوی سایت
پشتیبانی
لود داده

لود مستقیم (API)

در این صفحه با روش‌های لود داده‌ها از سامانه‌های خارجی به داده‌لند از طریق API در قالب معماری چندجدولی (Lander Go) و تک‌جدولی (POST، GET و CSV) آشنا می‌شوید.

در داده‌لند، روش‌های لود مستقیم به فرآیند دریافت داده‌ها از سامانه‌های بیرونی، وب‌سرویس‌ها و برنامه‌های کاربردی از طریق API اطلاق می‌گردد. در این رویکرد، داده‌ها در قالب عملیات درج یا آپدیت در جداول ذخیره می‌شوند. دریافت داده‌ها از طریق دو معماری اصلی انجام می‌پذیرد.


ارسال چندجدولی (پیشنهادی)

در این الگو، داده‌های مربوط به تمامی جداول ابتدا به واسط لندر گو (Lander Go) ارسال می‌شوند. لندر گو به عنوان Data Agent سبک و سلف‌هاستد (Self-Hosted)، رکوردها را روی بافر دیسکی ذخیره نموده و به صورت بسته‌های تجمیعی چندجدولی به داده‌لند منتقل می‌سازد:

  • استقرار سلف‌هاستد: مدیریت کامل امنیت و بافرینگ دیسکی روی سرورهای اختصاصی سازمان حفظ می‌شود.
  • کاهش ترافیک شبکه: رکوردهای جداول متعدد در بسته‌های گروهی واحد ارسال می‌گردند.
  • پایداری در قطعی شبکه: داده‌ها در صف دیسکی پایدار ذخیره شده و پس از برقراری ارتباط، به صورت خودکار تخلیه می‌شوند.
  • پاسخ‌دهی آنی: دریافت داده با تاخیر زیر ۵ میلی‌ثانیه انجام می‌پذیرد.
جهت بررسی مراحل نصب، تنظیمات داکر و مستندات کامل، به راهنمای لندر گو (Lander Go) مراجعه نمایید.

ارسال تک‌جدولی

در این شیوه، داده‌های هر جدول به صورت مستقیم به اندپوینت اختصاصی همان جدول با استفاده از شناسه اندپوینت (Endpoint ID) هدایت می‌شوند. شناسه اندپوینت از بخش مشخصات جدول در صفحه مدیریت دیتاست قابل دریافت است. این فرآیند از طریق متدهای POST، GET و آپلود فایل CSV انجام می‌پذیرد.


پیگیری وضعیت درخواست

جهت پایش وضعیت پردازش و بررسی رکوردهای ناموفق، سازوکارهای زیر فراهم است:


نکات تکمیلی

رعایت ضوابط زیر در لود داده از طریق API الزامی است:

  1. ستون‌های اجباری: ارسال مقادیر برای تمام ستون‌های دارای وضعیت اجباری در هر دو عملیات درج و آپدیت الزامی است؛ در غیر این صورت کل درخواست رد می‌شود.
  2. ستون‌های سیستمی خودکار: نیازی به ارسال مقدار برای ستون‌های request_id و record_time وجود ندارد؛ این ستون‌ها به صورت خودکار توسط سیستم مقداردهی می‌شوند و مقادیر ارسالی نادیده گرفته خواهند شد.
  3. تولید مقادیر زمانی و شناسه‌ها: ارسال مقادیر ستون‌های پیش‌فرض مانند create_time، update_time و dl_id بر عهده تولیدکننده داده (سرویس ارسال‌کننده) است و توسط سیستم تولید نمی‌شوند. تنها استثنا در ماژول‌ها است که به دلیل مدیریت مستقل چرخه داده، این مقادیر را به صورت خودکار مقداردهی و ثبت می‌نمایند.
  4. عدم وابستگی به ترتیب ستون‌ها: در هیچ‌یک از روش‌های ارسال (از جمله CSV)، رعایت ترتیب ستون‌ها الزامی نیست و اعتبارسنجی بر اساس نام دقیق ستون انجام می‌پذیرد.
  5. پردازش اتمیک (Atomic Processing): پردازش داده‌ها در ارسال گروهی (Bulk در متد POST و آپلود CSV) اتمیک است؛ بنابراین در صورت نامعتبر بودن حتی یک رکورد، کل درخواست متوقف شده و هیچ رکوردی در جدول ثبت نخواهد شد.