تهيئة محركات البحث

ملف robots.txt في بلوجر: الإعدادات الصحيحة وأخطاء قد تخفي مدونتك من جوجل

ASK2EARN

في إعدادات بلوجر خيارين يبدوان تقنيين ومخيفين: ملف robots.txt المخصص وعلامات رأس robots المخصصة. كثير من أصحاب المدونات يلمسونهما بعد نصيحة سريعة من فيديو أو منتدى، ثم يتفاجأون بعد أسابيع بأن مقالاتهم لا تُفهرس أو اختفت من النتائج.

الحقيقة أن الإعدادات الافتراضية في بلوجر مناسبة لأغلب المدونات، وأن تعديلها بلا فهم قد يضر أكثر مما ينفع. في هذا المقال ستفهم ما يفعله كل خيار، ومتى تعدّله، وكيف تتأكد أنك لم تمنع جوجل من مدونتك بالخطأ.

الخلاصة المبكرة: إن لم تكن متأكدًا مما يفعله سطر في هذه الإعدادات، فلا تضفه. الأخطاء هنا تؤثر على المدونة كلها، لا على مقال واحد.

ملف robots.txt في بلوجر: الإعدادات الصحيحة وأخطاء قد تخفي مدونتك من جوجل


الفرق بين robots.txt وعلامات رأس robots

هما أداتان مختلفتان، وخلطهما سبب شائع للأخطاء:

وجه المقارنة ملف robots.txt علامات رأس robots
ماذا يتحكم فيه؟ الزحف: هل يدخل الروبوت إلى الرابط أو لا الفهرسة: هل تظهر الصفحة في النتائج بعد زحفها
مستوى التطبيق على أنماط روابط في الموقع كله على نوع صفحات: الرئيسية، الأرشيف، المقالات
أخطر خطأ منع الزحف عن مجلدات مهمة وضع noindex على المقالات

نقطة مهمة: منع الزحف ليس هو نفسه منع الفهرسة. إذا منعت رابطًا في robots.txt، فجوجل لن يدخل ليقرأه، لكنه قد يُبقي الرابط في النتائج بدون وصف إذا وجد روابط أخرى تشير إليه. وإذا أردت إخراج صفحة من النتائج بوسم noindex، فيجب أن يستطيع جوجل زحفها أولًا ليرى الوسم. لذلك لا تجمع الاثنين على نفس الصفحة.

ملف robots.txt الافتراضي في بلوجر

يوفّر بلوجر ملفًا افتراضيًا لكل مدونة، ويمكنك رؤيته بكتابة /robots.txt بعد عنوان مدونتك. يبدو غالبًا هكذا:

User-agent: Mediapartners-Google
Disallow:

User-agent: * Disallow: /search Allow: /
Sitemap: https://YOUR-BLOG.blogspot.com/sitemap.xml

وهذا معناه سطرًا بسطر:

  • User-agent: Mediapartners-Google مع Disallow: فارغة: يُسمح لروبوت إعلانات جوجل بدخول كل شيء.
  • User-agent: *: القواعد التالية تخص كل الروبوتات الأخرى.
  • Disallow: /search: امنع الزحف إلى الروابط التي تبدأ بـ /search، وهي صفحات نتائج البحث الداخلي وصفحات التصنيفات (Labels) في بلوجر.
  • Allow: /: ما عدا ذلك مسموح.
  • Sitemap:: عنوان خريطة الموقع.
معلومة تهمك: لأن روابط التصنيفات في بلوجر تبدأ بـ /search/label/، فهي ممنوعة الزحف افتراضيًا. هذا مقصود لتقليل المحتوى المكرر، لكنه يعني أن صفحة قسم كاملة لن تكون عادةً هدفًا للظهور في جوجل، وأن مقالاتك هي التي يجب أن تتنافس. اجعل الربط الداخلي بين المقالات قويًا ولا تعتمد على صفحات التصنيفات وحدها.

أين تجد هذه الإعدادات؟

  1. من لوحة بلوجر افتح الإعدادات.
  2. انزل إلى قسم الزحف والفهرسة.
  3. ستجد خيار تفعيل ملف robots.txt المخصص، وخيار تفعيل علامات رأس robots المخصصة.

إن كان الخياران غير مفعّلين، فمدونتك تعمل بالإعدادات الافتراضية، وهذا وضع جيد لأغلب الناس. تأكد من أسماء الخيارات على شاشتك، فقد تختلف الصياغة قليلًا بين الإصدارات.

علامات رأس robots: ماذا تعني؟

هذه العلامات تخبر جوجل كيف يتعامل مع الصفحة بعد زحفها. أشهرها:

  • all: لا قيود. تُفهرس الصفحة وتُتابع روابطها.
  • noindex: لا تُظهر هذه الصفحة في نتائج البحث.
  • nofollow: لا تتبع الروابط الموجودة في الصفحة.
  • none: تعني noindex مع nofollow معًا.
  • noarchive: لا تعرض نسخة مخزنة من الصفحة.
  • nosnippet: لا تعرض مقتطفًا من النص في النتائج.
  • noimageindex: لا تفهرس صور الصفحة.
  • notranslate: لا تعرض خيار ترجمة الصفحة.

والإعداد الشائع في بلوجر، وهو غالبًا ما تجده كإعداد افتراضي، يكون كالتالي (قارنه بما عندك):

نوع الصفحة الإعداد المناسب عادةً
الصفحة الرئيسية all
صفحات الأرشيف والبحث noindex
المقالات والصفحات الثابتة all

قد ترى مع هذه القيم علامة noodp في الإعداد الافتراضي. هي علامة قديمة متعلقة بدليل مواقع انتهى، ولا تؤثر على مدونتك، فلا داعي لتغييرها.

5 أخطاء قد تخفي مدونتك

1. وضع noindex على المقالات

أخطر خطأ على الإطلاق. إن ضبطت "المقالات والصفحات" على noindex أو none، فكل مقال جديد سيُستبعد من الفهرس. راجع هذا الإعداد أولًا إن كانت مقالاتك لا تُفهرس إطلاقًا.

2. كتابة Disallow: / في robots.txt

هذا السطر بمفرده يمنع الروبوتات من زحف المدونة كلها. شاهده كثيرون منسوخًا من قوالب أو مواقع قيد التطوير. لا تضعه في مدونة تريد ظهورها.

3. نسخ ملف robots.txt من موقع آخر

قد يحتوي ملف موقع آخر قواعد تخصه وحده، أو عنوان خريطة موقع غير عنوانك. استخدم الافتراضي كأساس وعدّل عليه فقط ما تفهمه.

4. منع ملفات يحتاجها جوجل لعرض الصفحة

لا تمنع ملفات CSS أو JavaScript أو الصور التي تُستخدم في تصميم صفحاتك. جوجل يحتاجها ليفهم كيف تبدو الصفحة فعلًا.

5. استخدام robots.txt لإخفاء صفحة تريد إزالتها

من يريد إزالة صفحة من نتائج جوجل يجب أن يسمح بزحفها ويضع عليها noindex، أو يحذفها فعليًا، أو يستخدم أداة الإزالة المؤقتة في Search Console. منعها بـ robots.txt وحده لا يضمن اختفاءها.

كيف تتأكد أن الإعدادات سليمة؟

  1. اقرأ الملف بنفسك: افتح عنوان-مدونتك/robots.txt في المتصفح وتأكد أن فيه ما تتوقعه ولا فيه Disallow: / وحدها.
  2. افحص مقالاً مهمًا: في Search Console ضع رابطه في أداة فحص عنوان URL، وانظر هل الزحف مسموح، وهل الفهرسة مسموحة أو هناك وسم noindex.
  3. راجع كود الصفحة: افتح المقال، واضغط بزر الفأرة الأيمن على "عرض مصدر الصفحة"، وابحث عن كلمة noindex. إن وجدتها في مقال تريده أن يظهر، فهناك خطأ في الإعدادات أو القالب.
  4. راجع تقرير الصفحات: ابحث عن أسباب مثل "مستبعدة بواسطة علامة noindex" أو "محظورة بواسطة robots.txt" وانظر أي الروابط تخصهما.
  5. اختبر بعد كل تعديل: لا تغيّر عدة إعدادات معًا. عدّل شيئًا واحدًا، وافحص، وانتظر قبل التعديل التالي.

أسئلة شائعة

هل أحتاج فعلًا لتفعيل robots.txt المخصص؟

غالبًا لا. الملف الافتراضي كافٍ لمعظم المدونات. فعّله فقط إذا كان عندك سبب واضح وتفهم أثر كل سطر تضيفه.

مدونتي تستخدم نطاقًا خاصًا، هل يتغير شيء؟

نعم، يجب أن يكون عنوان خريطة الموقع في الملف هو عنوان نطاقك الخاص، لا عنوان blogspot القديم. راجع الملف الذي يظهر عندك فعليًا.

عندي مقالات كثيرة جدًا، هل تكفي خريطة الموقع الافتراضية؟

خريطة بلوجر الافتراضية قد لا تعرض كل المقالات دفعة واحدة إذا كان عددها كبيرًا، وفي هذه الحالة يوجد أسلوب لتقسيمها إلى صفحات. افتح /sitemap.xml في مدونتك وتأكد مما يظهر لك، وأضف في Search Console ما يلزم من خرائط.

هل تعديل هذه الإعدادات يحل مشكلة اختفاء المقالات من جوجل؟

فقط إذا كان السبب فعلًا هو وسم noindex أو حظر في robots.txt. أما إن كان السبب ضعف المحتوى أو تكراره، فلن تحلها هذه الإعدادات، وستحتاج لتحسين المقال نفسه.

الخلاصة

ملف robots.txt وعلامات رأس robots أدوات للتحكم في الزحف والفهرسة، وليست وسيلة لتحسين الترتيب. اترك الإعدادات الافتراضية إن لم تكن بحاجة لغيرها، وإن عدّلت فافحص النتيجة في Search Console فورًا. وقبل أن تتهم جوجل بأنه لا يفهرس مقالاتك، تأكد أنك لم تمنعه أنت بنفسك.

افتح الآن إعدادات الزحف والفهرسة في مدونتك وقارنها بما في هذا المقال، وإن وجدت شيئًا غريبًا اكتبه لنا في التعليقات.

مقالات قد تهمك

التعليقات

تعليقات

جاري تجهيز رابطك

شكراً لزيارتك مدونة ثابت درويد. بنتأكد إن الرابط شغال وآمن، وبعد ثواني هيظهر لك زرار الفتح.

انتظر 10 ثانية

قبل ما تكمل

أسئلة شائعة

ليه في وقت انتظار؟ علشان نحمي الروابط من الاستخدام الآلي ونتأكد إنها شغالة.

الرابط مفتحش، أعمل إيه؟ اكتب لنا في التعليقات تحت المقال وهنصلحه في أقرب وقت.