كيفية انشاء ملف robots.txt و sitemap وتصدر نتائج البحث

يعتبر انشاء ملف robots.txt من أهم الخطوات التي يجب على صاحب الموقع التعامل معها بحذر. فقد لا تتوافق توجيهات ملف robots.txt مع بعض محرّكات البحث اذا كان هاذا الملف قد تم إنشاءه بطريقة غير صحيحة.

في درس اليوم سوف أقدم لكم إنشاء ملف robots txt بالتفصيل للمبتدئين جاهز خالي من جميع المشاكل التي قد تتسبب في أخطاء في الأرشفة ، كما يمكنك تعديل ملف robots.txt حسب المتطلبات التي تحتاجها أنت بطريقة أمنة.

كيفية انشاء ملف robots.txt و sitemap وتصدر نتائج البحث

ماهو ملف robots.txt

ملف Robots.txt هو وسيلة تمكنك من التحكم في طريقة أرشفة موقعك في محركات البحث. وبالتالي ملف الروبوت يحدد عناوين URL التي يمكن لبرامج الزحف التابعة لمحركات البحث مثلا Google في الوصول إليها على موقعك الإلكتروني.

كما شددت جوجل بأن هاذا الملف ليس أداة من أجل إخفاء صفحات الويب من نتائج البحث.

حيث صرحت بشديد العبارة مايلي:

لا تستخدم ملف robots.txt كوسيلة لإخفاء صفحاتك على الويب من نتائج "بحث Google".

إذا كانت صفحات أخرى توجّه المستخدمين إلى صفحتك باستخدام نص وصفي، قد يظل بإمكان محرّك البحث Google فهرسة عنوان URL بدون زيارة الصفحة. لحظر صفحتك من الظهور في نتائج البحث، استخدِم طريقة أخرى، مثل الحماية بكلمة مرور أو إضافة العلامة noindex.

مثلا: لنقل أن لديك رابط لصفحة البحث في موقعك مثلا هاذا الرابط https://www.wlmok-web.com/search. وأنت لا تريد أن تقوم برامج الزحف بأرشفة هاذا الرابط فتقوم بكتابة الأمر الاتي في ملف robots

Disallow: /search

بنية ملف robots.txt

يتألف ملف الروبوت من العديد من الأوامر و السطور التي يجب عليك معرفتها لتجنب حدوث أخطاء في أرشفة المقالات ، وعدم الوقوع في خطأ عدم ظهور موقعك في محركات البحث.

  • user-agent: يحدّد الزاحف الذي تنطبق عليه قواعد ملف robots
  • allow: يعني عنوان URL يمكن الزحف إليه
  • disallow: عنوان url لا يسمح بالزحف إليه
  • sitemap: عنوان URL الكامل لملف Sitemap ، يسمح هاذا بتعزيز محركات البحث بدراسة ملف خريطة الموقع

إنشاء ملف robots.txt وإرساله

توجد العديد من طرق إنشاء robots.txt لموقعك الإلكتروني، منها إستخدام الإضافة المميزة Yoast SEO التي من خلالها تستطيع إنشاء وتحرير ملف الروبوت لأصحاب مواقع الووردبريس.

أما أصحاب مواقع Blogger فالأمر سهل يمكنهم اضافة ملف robots.txt بلوجر عن طريق التعديل على ملف robots.txt مخصّص داخل بلوجر برامج الزحف والفهرسة في منصة بلوجر.




User-agent: *
Disallow: /search
Allow: /
Sitemap: urlwebsite/sitemap.xml


من الضروري إستبدال عبارة Sitemap: urlwebsite/sitemap.xml ، برابط الموقع الخاص بك. وبالتالي كمثال لموقعي يصبح ملف robots بهاذا الشكل:

User-agent: *
Disallow: /search
Allow: /
Sitemap: https://www.wlmok-web.com/sitemap.xml


في هاذا النموذج لقد قمت بحظر عناكب البحث لفهرسة روابط البحث الخاصة بموقعي عن طريق الأمر Disallow: /search ، وسمحت بأرشفة جميع الروابط الأخرى عن طريق الأمر Allow: / .

طريقة منع صفحات معينة عبر ملف robots.txt

من المهم جدا معرفة الآلية التي يعمل عليها ملف الروبوت لكي تقوم بحظر بعض الصفحات التي لا تريد أن تتأرشف في محركات البحث. تابع معي...

  • لحظر رابط صفحة معينة كم بكتابة الأمر التالي
Disallow: /p/*******.html
إستبدل العلامة ******* بمعرف الصفحة الخاص بك. مثلا انا اقوم بحظر صفحة من نحن

Disallow: /p/blog-page_87.html.html
  • منع الزحف إلى جميع أقسام الموقع الإلكتروني
User-agent: *
Disallow: /
  • السماح بوصول زاحف واحد على سبيل المثال زاحف Googlebot-Image
User-agent: Googlebot-Image 
Allow: / 

User-agent: * 
Disallow: /
  • منع الزحف إلى ملفات من نوع معين من الملفات
User-agent: Googlebot 
Disallow: /*.gif$

بحيث يتم إستخدام علامة $ لمطابقة عناوين URL التي تنتهي بسلسلة معيّنة وهي gif في هاته الحالة 

كيفية اختبار ملف robots txt

 .robots-testing-tool الذي قمت بإرساله لمحركات البحث يتوجب عليك التوجه لموقع robots.txt من أجل اختبار ملف
ثم تقوم بعمل إختبار لروابط موقعك.
ملف robots.txt,كيفية إنشاء ملف robots.txt,ملف robot txt,robots.txt,ملف robots.txt مخصص,طريقة إنشاء خريطة sitemap و ملف robot txt,ما هو ملف robots.txt,اضافة ملف sitemap وملف robots.txt,ملف robots.txt بلوجر 2020,انشاء ملف sitemap,أين يجب وضع ملف robots.txt,robots.txt file,how to create robots.txt file,انشاء مدونة بلوجر,انشاء ملف robots.txt,how to write a robots.txt file,ملف robots.txt بلوجر,اضافة ملف robots.txt في مدونة بلوجر,إنشاء robots.txt

تبين الصورة التي في الأعلى بأن هناك مشكل في ملف robots.txt ، وهي حظري لروابط البحث في الموقع الإلكتروني الخاص بي.
وهاذا الأمر يعود عليك بالإيجاب في محركات البحث. أما الروابط الأخرى فكلها سليمة.

كما يمكن التأكد من أن ملف  robots txt شغال عبر كتابة كلمة robots.txt بعد عنوان URL موقعك الإلكتروني. أي بهاذا المثال


استبدل رابط موقعي برابط موقعك واذا اشتغل الملف فهو سليم ، أما اذا فتحت صفحة الخطأ 404 فيجب عليك مراجعة إضافة ملف Robots txt.

تعليقات