مولّد robots.txt
أنشئ ملف robots.txt مع عدة كتل وكيل المستخدم (user-agent)، وقواعد Allow/Disallow، وخيار Crawl-delay، وHost، وSitemap. تتحدّث المعاينة مباشرة أثناء الكتابة.
كتل وكيل المستخدم
عام
ملاحظات: يحترم بعض الزواحف
Host (مثل Yandex). لا تستخدم Google قيمة Crawl-delay لكنها قد تُستخدم لدى مزودين آخرين. أحرف البدل * و$ مدعومة على نطاق واسع (ليست ضمن RFC الأساسي).
المعاينة (robots.txt)
مختبر عناوين URL
تذكير: ملف
robots.txt متاح للعامة ويُعد إرشادًا لبرامج الزحف المنضبطة؛ وليس آلية للتحكم في الوصول.
آستد كلاود
التعليقات (0)
شارك أفكارك — يرجى الالتزام بالأدب والبقاء ضمن الموضوع.
سجّل الدخول للتعليق