يعتبر انشاء ملف robots.txt من أهم الخطوات التي يجب على صاحب الموقع التعامل معها بحذر. فقد لا تتوافق توجيهات ملف robots.txt مع بعض محرّكات البحث اذا كان هاذا الملف قد تم إنشاءه بطريقة غير صحيحة.
في درس اليوم سوف أقدم لكم إنشاء ملف robots txt بالتفصيل للمبتدئين جاهز خالي من جميع المشاكل التي قد تتسبب في أخطاء في الأرشفة ، كما يمكنك تعديل ملف robots.txt حسب المتطلبات التي تحتاجها أنت بطريقة أمنة.
ماهو ملف robots.txt
ملف Robots.txt هو وسيلة تمكنك من التحكم في طريقة أرشفة موقعك في محركات البحث. وبالتالي ملف الروبوت يحدد عناوين URL التي يمكن لبرامج الزحف التابعة لمحركات البحث مثلا Google في الوصول إليها على موقعك الإلكتروني.
كما شددت جوجل بأن هاذا الملف ليس أداة من أجل إخفاء صفحات الويب من نتائج البحث.
حيث صرحت بشديد العبارة مايلي:
لا تستخدم ملف robots.txt كوسيلة لإخفاء صفحاتك على الويب من نتائج "بحث Google".إذا كانت صفحات أخرى توجّه المستخدمين إلى صفحتك باستخدام نص وصفي، قد يظل بإمكان محرّك البحث Google فهرسة عنوان URL بدون زيارة الصفحة. لحظر صفحتك من الظهور في نتائج البحث، استخدِم طريقة أخرى، مثل الحماية بكلمة مرور أو إضافة العلامة noindex.
مثلا: لنقل أن لديك رابط لصفحة البحث في موقعك مثلا هاذا الرابط https://www.wlmok-web.com/search. وأنت لا تريد أن تقوم برامج الزحف بأرشفة هاذا الرابط فتقوم بكتابة الأمر الاتي في ملف robots
Disallow: /search
بنية ملف robots.txt
يتألف ملف الروبوت من العديد من الأوامر و السطور التي يجب عليك معرفتها لتجنب حدوث أخطاء في أرشفة المقالات ، وعدم الوقوع في خطأ عدم ظهور موقعك في محركات البحث.
- user-agent: يحدّد الزاحف الذي تنطبق عليه قواعد ملف robots
- allow: يعني عنوان URL يمكن الزحف إليه
- disallow: عنوان url لا يسمح بالزحف إليه
- sitemap: عنوان URL الكامل لملف Sitemap ، يسمح هاذا بتعزيز محركات البحث بدراسة ملف خريطة الموقع
إنشاء ملف robots.txt وإرساله
توجد العديد من طرق إنشاء robots.txt لموقعك الإلكتروني، منها إستخدام الإضافة المميزة Yoast SEO التي من خلالها تستطيع إنشاء وتحرير ملف الروبوت لأصحاب مواقع الووردبريس.
أما أصحاب مواقع Blogger فالأمر سهل يمكنهم اضافة ملف robots.txt بلوجر عن طريق التعديل على ملف robots.txt مخصّص داخل بلوجر برامج الزحف والفهرسة في منصة بلوجر.
User-agent: *
Disallow: /search
Allow: /
Sitemap: urlwebsite/sitemap.xmlمن الضروري إستبدال عبارة Sitemap: urlwebsite/sitemap.xml ، برابط الموقع الخاص بك. وبالتالي كمثال لموقعي يصبح ملف robots بهاذا الشكل:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://www.wlmok-web.com/sitemap.xmlفي هاذا النموذج لقد قمت بحظر عناكب البحث لفهرسة روابط البحث الخاصة بموقعي عن طريق الأمر Disallow: /search ، وسمحت بأرشفة جميع الروابط الأخرى عن طريق الأمر Allow: / .
طريقة منع صفحات معينة عبر ملف robots.txt
من المهم جدا معرفة الآلية التي يعمل عليها ملف الروبوت لكي تقوم بحظر بعض الصفحات التي لا تريد أن تتأرشف في محركات البحث. تابع معي...
- لحظر رابط صفحة معينة كم بكتابة الأمر التالي
Disallow: /p/*******.html
إستبدل العلامة ******* بمعرف الصفحة الخاص بك. مثلا انا اقوم بحظر صفحة من نحن
Disallow: /p/blog-page_87.html.html
- منع الزحف إلى جميع أقسام الموقع الإلكتروني
User-agent: *
Disallow: /
- السماح بوصول زاحف واحد على سبيل المثال زاحف Googlebot-Image
User-agent: Googlebot-Image
Allow: /
User-agent: *
Disallow: /
- منع الزحف إلى ملفات من نوع معين من الملفات
User-agent: Googlebot
Disallow: /*.gif$
بحيث يتم إستخدام علامة $ لمطابقة عناوين URL التي تنتهي بسلسلة معيّنة وهي gif في هاته الحالة
كيفية اختبار ملف robots txt
.robots-testing-tool الذي قمت بإرساله لمحركات البحث يتوجب عليك التوجه لموقع robots.txt من أجل اختبار ملف
ثم تقوم بعمل إختبار لروابط موقعك.
تبين الصورة التي في الأعلى بأن هناك مشكل في ملف robots.txt ، وهي حظري لروابط البحث في الموقع الإلكتروني الخاص بي.
وهاذا الأمر يعود عليك بالإيجاب في محركات البحث. أما الروابط الأخرى فكلها سليمة.
كما يمكن التأكد من أن ملف robots txt شغال عبر كتابة كلمة robots.txt بعد عنوان URL موقعك الإلكتروني. أي بهاذا المثال
استبدل رابط موقعي برابط موقعك واذا اشتغل الملف فهو سليم ، أما اذا فتحت صفحة الخطأ 404 فيجب عليك مراجعة إضافة ملف Robots txt.
