لندر گو (Lander Go)

لندر گو (Lander Go) یک Data Agent سبک، پرسرعت، تاب‌آور و سلف‌هاستد (Self-Hosted) جهت جمع‌آوری و رله داده (Data Ingest Relay) است که با زبان Go توسعه یافته و بر روی سرورهای اختصاصی شما مستقر می‌شود. این سرویس به عنوان دروازه پایدار میان ارسال‌کنندگان داده و انبار داده داده‌لند عمل می‌کند و با بافر دیسکی، خطر مفقودی داده‌ها را در نوسانات ترافیک یا قطعی شبکه برطرف می‌سازد.

ویژگی‌ها و مزیت‌ها

لندر گو با حذف کامل نیاز به راه‌اندازی و نگهداری صف‌های پیام سنگین (مانند Kafka و RabbitMQ)، رویکردی سبک و پایدار را با سازوکارهای زیر ارائه می‌دهد:

1. استقرار سلف‌هاستد (Self-Hosted): لندر گو مستقیماً روی سرورهای شما مستقر می‌شود و کنترل کامل ترافیک، امنیت داده‌ها، بافر دیسکی و سطح دسترسی را تحت حاکمیت سازمان حفظ می‌کند.
2. بافر دیسکی پایدار: داده‌های ورودی بلافاصله با سازوکار ثبت گروهی و اجرای fsync روی دیسک ذخیره می‌شوند و پاسخ 202 Accepted با تاخیر چند میلی‌ثانیه‌ای بازمی‌گردد. این مکانیسم از مفقودی رکوردها در صورت قطعی برق یا ری‌استارت سرور جلوگیری می‌کند.
3. تحمل قطعی شبکه و انبار داده: در صورت قطعی شبکه یا اختلال موقت در انبار داده، لندر گو به دریافت داده‌ها ادامه می‌دهد و آن‌ها را در صف دیسکی نگه می‌دارد. پس از برقراری مجدد ارتباط، داده‌های انباشته به طور خودکار به داده‌لند تخلیه (Drain) می‌شوند.
4. لود چندجدولی: تمام داده‌ها صرفاً با ارسال به مسیر /ingest/<endpoint_id> دریافت می‌شوند و نیازی به تعریف صف یا مسیر مجزا برای هر جدول نیست:
   • ارسال هم‌زمان: رکوردهای مربوط به جداول گوناگون به صورت تجمیعی در قالب بسته‌های مشترک به داده‌لند ارسال می‌شوند.
   • اندپوینت متمرکز: کلیه سرویس‌ها داده‌های جداول مختلف را تنها به یک سرویس داخلی واحد هدایت می‌کنند.
   • امنیت یکپارچه: تنظیمات شبکه و دسترسی به جای تعریف جداگانه برای هر جدول، به صورت متمرکز روی همین Data Agent مدیریت می‌گردد.
5. ارسال سرورساید داده‌های کلاینت: ارسال رویدادهای ماژول کلاینت از سمت سرور (Server-Side) منحصراً از طریق لندر گو انجام می‌شود. لندر گو کانتکست‌ها و متادیتای مورد نیاز ماژول کلاینت را ثبت و همراه با رکوردها به داده‌لند منتقل می‌نماید.
6. ارسال دسته‌ای و تخلیه هوشمند صف: رکوردهای بافر دیسکی در قالب بسته‌های فشرده‌شده Gzip از طریق اندپوینت POST /api/v1/batch ارسال می‌شوند:
   • در ترافیک عادی: داده‌ها حداکثر تا سقف زمانی batch_interval_minutes (پیش‌فرض ۱ دقیقه) تجمیع و سپس ارسال می‌گردند.
   • در پیک ترافیک: با رسیدن صف به سقف ۵۰۰ درخواست یا حجم ۱۰ مگابایت، بسته‌ها بدون معطلی و با وقفه کوتاه (batch_gap_ms) پیاپی تخلیه می‌شوند.
7. بازیابی خودکار خطا: در صورت بروز خطای کلاینتی (4xx) در ارسال گروهی، سیستم به صورت خودکار با سازوکار بازگشتی (Fallback) به ارسال تکی تغییر وضعیت می‌دهد تا رکوردهای سالم ثبت شده و رکورد معیوب تفکیک شود.
8. مدیریت ظرفیت و طول عمر داده: سقف حجم دیسک با متغیر max_disk_bytes جهت کنترل فشار معکوس (Backpressure) تنظیم می‌شود تا در صورت پر شدن بافر، خطای 503 Service Unavailable صادر گردد. همچنین مدت نگهداری رکوردهای ارسال‌نشده با متغیر retention_hours (پیش‌فرض ۲۴ ساعت) تعیین می‌شود و رکوردهای قدیمی‌تر به طور خودکار پاک می‌شوند.

نیازمندی‌های سیستمی

لندر گو با حداقل منابع سخت‌افزاری بر اساس جدول زیر اجرا می‌شود:

نصب و راه‌اندازی با داکر

ایمیج رسمی لندر گو در داکر هاب با نام dadeland/lander-go:latest منتشر شده است و فرآیند راه‌اندازی آن شامل مراحل زیر است:

# Update package list & install prerequisites
sudo apt-get update && sudo apt-get install -y ca-certificates curl

# Add official Docker GPG key
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc

# Add Docker repository
echo \
  "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \
  $(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
  sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

# Install Docker Engine & Docker Compose plugin
sudo apt-get update && sudo apt-get install -y docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

# Create project directory and enter it
mkdir -p ~/lander-go && cd ~/lander-go

# Create config.yaml file
cat << 'EOF' > config.yaml
space: "YOUR_SPACE_ID"
token: "YOUR_SPACE_TOKEN"
EOF

# Create docker-compose.yml file
cat << 'EOF' > docker-compose.yml
services:
  lander-go:
    image: dadeland/lander-go:latest
    container_name: lander-go
    restart: unless-stopped
    ports:
      - "80:8080"
    volumes:
      - ./data:/data
      - ./config.yaml:/data/config.yaml:ro
EOF

# Start service in background
docker compose up -d

# Run container directly
docker run -d \
  --name lander-go \
  --restart unless-stopped \
  -p 80:8080 \
  -v ./data:/data \
  -v ./config.yaml:/data/config.yaml:ro \
  dadeland/lander-go:latest

دستورات کاربردی

برای ویرایش تنظیمات، مشاهده وضعیت لاگ‌ها، راه‌اندازی مجدد و آپدیت کانتینر لندر گو می‌توانید از دستورات زیر استفاده نمایید:

cd ~/lander-go

# Open config file in nano editor
nano config.yaml

# Or edit with vim
vim config.yaml

cd ~/lander-go

# Follow live logs with Docker Compose
docker compose logs -f lander-go

# Follow live logs with Docker CLI
docker logs -f lander-go

cd ~/lander-go

# Restart service after editing config.yaml
docker compose restart

# Or restart directly with Docker CLI
docker restart lander-go

cd ~/lander-go

# Pull latest image and recreate container safely
docker compose pull
docker compose up -d

تنظیمات پیکربندی

پیکربندی لندر گو از طریق یک فایل با ساختار YAML انجام می‌پذیرد:

نمونه‌های فایل تنظیمات

برای راه‌اندازی سریع می‌توانید از حداقل تنظیمات لازم استفاده کنید یا با استفاده از نمونه کامل، تمام رفتارهای لندر گو را سفارشی‌سازی نمایید:

# Minimal configuration for quick start
space: "YOUR_SPACE_ID"
token: "YOUR_SPACE_TOKEN"

# Workspace Ingest Token (Optional - Protects /ingest endpoints)
ingest_token: "secret-ingest-key"

# Space ID for Dadeland (Required)
space: "YOUR_SPACE_ID"

# Space token (Required for forwarding to Dadeland)
token: "YOUR_SPACE_TOKEN"

# Batch drain tuning
batch_interval_minutes: 1
batch_max_bytes: 10485760
batch_max_records: 500
batch_gzip: true
batch_concurrency: 3
batch_gap_ms: 2000

# Disk buffer settings
commit_window_ms: 5
data_dir: "./data"
retention_hours: 24
max_disk_bytes: 0
retry_max_backoff_seconds: 300

# Security and Rate Limiting
allowed_origins: []
rate_limit_rps: 0
max_body_bytes: 10485760

# Server & Logging
listen_addr: ":8080"
log_level: "info"
pprof_addr: ""
otel_enabled: false
otel_endpoint: ""

ارسال داده

آدرس دریافت رویدادها در این Data Agent از الگوی زیر پیروی می‌کند:

http://<lander-host>/ingest/<endpoint_id>

در این رویکرد نیازی به فراخوانی اندپوینت اختصاصی هر جدول در داده‌لند وجود ندارد؛ بلکه تنها کافی است شناسه اندپوینت جدول مقصد را در بخش <endpoint_id> قرار دهید تا لندر گو داده‌ها را به جدول متناظر هدایت نماید. این شناسه از بخش مشخصات جدول در صفحه مدیریت دیتاست قابل دریافت است.

برای ارسال داده‌ها می‌توانید از متد POST (رویکرد پیشنهادی) یا متد GET استفاده کنید؛ همچنین جهت ارسال سرورساید داده‌های ماژول کلاینت و ارتقای امنیت ارتباط، اتصال لندر گو به دامنه و CDN توصیه می‌شود:

curl -X POST http://127.0.0.1/ingest/<endpoint_id> \
  -H "Content-Type: application/json" \
  -d '{
    "order_id": 1001,
    "customer_id": 452,
    "amount": 150000,
    "status": "completed",
    "create_time": "2026-08-22 14:30:00",
    "update_time": "2026-08-22 14:30:00"
  }'

curl -X POST http://127.0.0.1/ingest/<endpoint_id> \
  -H "Content-Type: application/json" \
  -d '[
    {
      "event_name": "page_view",
      "page_url": "/products/laptop",
      "user_id": 123,
      "create_time": "2026-08-22 14:30:00",
      "update_time": "2026-08-22 14:30:00"
    },
    {
      "event_name": "click_button",
      "button_id": "btn_add_to_cart",
      "user_id": 123,
      "create_time": "2026-08-22 14:31:15",
      "update_time": "2026-08-22 14:31:15"
    }
  ]'

await fetch("http://127.0.0.1/ingest/<endpoint_id>", {
  method: "POST",
  headers: {
    "Content-Type": "application/json",
    // If ingest_token is configured:
    // "Authorization": "Bearer secret-ingest-key"
  },
  body: JSON.stringify({
    event_name: "checkout_initiated",
    total_price: 320000,
    user_id: 123,
    create_time: "2026-08-22 14:30:00",
    update_time: "2026-08-22 14:30:00"
  })
});

curl "http://127.0.0.1/ingest/<endpoint_id>?event_name=page_view&user_id=123&create_time=2026-08-22%2014:30:00&update_time=2026-08-22%2014:30:00"

curl -X POST https://data.yourdomain.com/ingest/<endpoint_id> \
  -H "Content-Type: application/json" \
  -d '{
    "order_id": 1001,
    "customer_id": 452,
    "amount": 150000,
    "status": "completed",
    "create_time": "2026-08-22 14:30:00",
    "update_time": "2026-08-22 14:30:00"
  }'

await fetch("https://data.yourdomain.com/ingest/<endpoint_id>", {
  method: "POST",
  headers: {
    "Content-Type": "application/json"
  },
  body: JSON.stringify({
    order_id: 1001,
    customer_id: 452,
    amount: 150000,
    status: "completed",
    create_time: "2026-08-22 14:30:00",
    update_time: "2026-08-22 14:30:00"
  })
});

import requests

payload = {
    "order_id": 1001,
    "customer_id": 452,
    "amount": 150000,
    "status": "completed",
    "create_time": "2026-08-22 14:30:00",
    "update_time": "2026-08-22 14:30:00"
}

response = requests.post(
    "https://data.yourdomain.com/ingest/<endpoint_id>",
    json=payload
)

کدهای وضعیت پاسخ

مانیتورینگ و سلامت

لندر گو اندپوینت‌های متعددی را برای بررسی سلامت سرویس، پایش وضعیت صف‌های دیسکی و دریافت متریک‌های استاندارد پرومتئوس ارائه می‌دهد:

{
  "status": "ok",
  "version": "v1.0.0"
}