شرکت Cloudflare به‌عنوان یکی از پیشگامان زیرساخت‌های اینترنتی جهان، اخیراً از ابزار نوآورانه‌ای به نام AI Labyrinth رونمایی کرده است؛ راهکاری مبتنی بر هوش مصنوعی برای مقابله با ربات‌های خزنده‌ای که بدون اجازه، محتوای وب‌سایت‌ها را استخراج می‌کنند تا در آموزش مدل‌های هوش مصنوعی استفاده شود.

این ابزار در پاسخ به رشد فزاینده‌ی رفتارهای مخرب خزنده‌های وب توسعه داده شده است؛ ربات‌هایی که معمولاً با نادیده گرفتن سیاست‌های تعیین‌شده توسط فایل robots.txt، اقدام به جمع‌آوری داده از وب‌سایت‌ها می‌کنند. فایل robots.txt از دیرباز به‌عنوان روشی استاندارد برای اعلام مجوز یا عدم مجوز خزیدن محتوای سایت توسط ربات‌ها استفاده می‌شود. با این حال، برخی شرکت‌های فعال در حوزه هوش مصنوعی، از جمله نام‌هایی مانند Anthropic و Perplexity AI، متهم به بی‌توجهی به این قوانین شده‌اند و همین موضوع به نگرانی جدی میان مدیران وب‌سایت‌ها تبدیل شده است.

AI Labyrinth؛ هزارتویی برای گمراه کردن خزنده‌ها

Cloudflare در پست وبلاگی خود توضیح می‌دهد که ابزار AI Labyrinth نه‌تنها خزنده‌های متخلف را شناسایی می‌کند، بلکه آن‌ها را وارد مسیری پر از صفحات جعلی تولید شده توسط هوش مصنوعی می‌کند؛ صفحاتی که محتوای واقعی ندارند اما از نظر ساختاری برای یک ربات بسیار مشابه محتوای اصلی به نظر می‌رسند. در واقع، این صفحات مانند یک هزارتوی دیجیتال طراحی شده‌اند تا خزنده‌های وب در آن سردرگم شوند، منابع محاسباتی خود را هدر دهند و بدون دستیابی به اطلاعات واقعی سایت، از چرخه خارج شوند.

برخلاف روش‌های سنتی که تنها به شناسایی و مسدودسازی مستقیم ربات‌ها متکی بودند – روشی که منجر به یک مسابقه تسلیحاتی بی‌پایان میان شرکت‌ها و خزنده‌های متقلب شده – ابزار جدید Cloudflare با رویکردی هوشمندانه‌تر عمل می‌کند: فریب‌دادن خزنده‌ها به جای مبارزه مستقیم با آن‌ها.

نسل جدید Honeypot با هوش مصنوعی

کلودفلر AI Labyrinth را به‌عنوان نسل جدیدی از honeypotها یا تله‌های دیجیتال معرفی می‌کند؛ صفحاتی که برای کاربران انسانی قابل مشاهده نیستند، اما خزنده‌ها را به خود جذب می‌کنند. این کار نه‌تنها باعث اتلاف وقت و انرژی خزنده‌های متقلب می‌شود، بلکه به Cloudflare کمک می‌کند تا اثر انگشت دیجیتال ربات‌ها را جمع‌آوری کرده و الگوهای رفتاری آن‌ها را برای مسدودسازی بهتر شناسایی کند.

بیش از ۵۰ میلیارد درخواست خزنده در روز

Cloudflare اعلام کرده که شبکه آن روزانه بیش از ۵۰ میلیارد درخواست از سوی خزنده‌های هوش مصنوعی دریافت می‌کند. این حجم عظیم از ترافیک – هرچند کمتر از یک درصد کل درخواست‌های وب را شامل می‌شود – اما چالشی جدی برای محافظت از محتوای وب‌سایت‌ها ایجاد کرده است. استفاده از AI Labyrinth می‌تواند بدون درگیری مستقیم، خزنده‌ها را به سمت صفحات فریب‌دهنده غیرواقعی هدایت کرده و از سرقت محتوای واقعی جلوگیری کند.

فعال‌سازی آسان از طریق داشبورد Cloudflare

وب‌سایت‌ها می‌توانند از طریق بخش مدیریت ربات‌ها در تنظیمات داشبورد Cloudflare، ابزار AI Labyrinth را فعال کنند. این شرکت همچنین تأکید کرده که این فقط نخستین گام در مسیر توسعه ابزارهای دفاعی مبتنی بر هوش مصنوعی است و در آینده، نسخه‌های پیشرفته‌تری با شبکه‌های پیچیده‌تر از URLهای فریب‌دهنده عرضه خواهد شد.
منابع:
cloudflare

theverge