ربات کالاگرد
KalagardBot خزندهٔ پروژهٔ کالاگرد است. صفحه‌های عمومی فروشگاه‌های اینترنتی ایرانی را می‌خواند تا مدل‌های فهم و تطبیق کالا روی دادهٔ واقعی آموزش ببینند و سنجیده شوند.
ربات با این شناسه (User-Agent) درخواست می‌فرستد:
KalagardBot/0.1 (+https://dokkan.digital/bot)چه می‌خواند
- robots.txt، صفحهٔ اصلی و نقشه‌های سایت (sitemap).
-
دادهٔ عمومی کالاها: از API عمومی فروشگاه در ووکامرس (
/wp-json/wc/store) و Shopify (/products.json)، یا از صفحهٔ کالا (JSON-LD، microdata، OpenGraph یا قیمت نوشته‌شده در صفحه). - از هر کالا: نام، شناسه و SKU، قیمت، موجودی، دسته و نشانی صفحه. از هر فروشگاه: پلتفرم، عنوان صفحهٔ اصلی و پیوند نماد اعتماد.
- از ایمالز فقط نقشهٔ سایت و صفحهٔ عمومی فروشگاه‌ها، آن هم برای پیدا کردن نشانی سایت هر فروشگاه.
چه نمی‌خواند
- هیچ دادهٔ شخصی: نام، تلفن، ایمیل یا نشانی افراد ذخیره نمی‌شود.
- صفحه‌های پشت ورود، حساب کاربری، سبد خرید و پرداخت.
- تصویر، ویدیو، فونت، CSS و JavaScript. توضیح متنی کالا هم نگه داشته نمی‌شود.
- بازارها و مقایسه‌گرها، مثل دیجی‌کالا، باسلام، ترب، اسنپ‌شاپ و تپسی‌شاپ.
قاعده‌ها
- robots.txt را طبق RFC 9309 می‌خواند و رعایت می‌کند. اگر robots.txt خطای سرور بدهد، آن بار هیچ صفحه‌ای از سایت خوانده نمی‌شود.
Crawl-delayرا رعایت می‌کند (مقدارهای بیش از ۶۰ ثانیه ۶۰ ثانیه حساب می‌شوند).- از هر سایت در هر لحظه فقط یک درخواست می‌فرستد، معمولاً با سه ثانیه فاصله. با پاسخ ۴۲۹ یا ۵۰۳ کندتر می‌شود و
Retry-Afterرا رعایت می‌کند. - کپچا، چالش ضدربات، صفحهٔ ورود یا محدودیت سرعت را دور نمی‌زند. اگر به چالش برسد، دیگر از آن سایت چیزی نمی‌خواند.
- برای پیدا کردن خطا، از هر ۵۰ صفحه یک نسخهٔ HTML تا ۳۰ روز نگه داشته می‌شود.
جلوگیری از خزش
برای اینکه ربات هیچ صفحه‌ای از سایت شما را نخواند، این را به robots.txt اضافه کنید:
User-agent: KalagardBot
Disallow: /یا فقط سرعت را کم کنید و بخشی را ببندید:
User-agent: KalagardBot
Crawl-delay: 10
Disallow: /checkout/ربات robots.txt را حداکثر هر ۲۴ ساعت دوباره می‌خواند؛ تغییر شما در همین مدت اثر می‌کند.
تماس
اگر رفتار ربات روی سایت شما مشکلی ایجاد کرده یا می‌خواهید دادهٔ سایتتان حذف شود، به info@dokkan.digital بنویسید و نشانی سایت را ذکر کنید.