ملف robots.txt في بلوجر: الإعدادات الصحيحة وأخطاء قد تخفي مدونتك من جوجل
في إعدادات بلوجر خيارين يبدوان تقنيين ومخيفين: ملف robots.txt المخصص وعلامات رأس robots المخصصة. كثير من أصحاب المدونات يلمسونهما بعد نصيحة سريعة من فيديو أو منتدى، ثم يتفاجأون بعد أسابيع بأن مقالاتهم لا تُفهرس أو اختفت من النتائج.
الحقيقة أن الإعدادات الافتراضية في بلوجر مناسبة لأغلب المدونات، وأن تعديلها بلا فهم قد يضر أكثر مما ينفع. في هذا المقال ستفهم ما يفعله كل خيار، ومتى تعدّله، وكيف تتأكد أنك لم تمنع جوجل من مدونتك بالخطأ.
الفرق بين robots.txt وعلامات رأس robots
هما أداتان مختلفتان، وخلطهما سبب شائع للأخطاء:
| وجه المقارنة | ملف robots.txt | علامات رأس robots |
|---|---|---|
| ماذا يتحكم فيه؟ | الزحف: هل يدخل الروبوت إلى الرابط أو لا | الفهرسة: هل تظهر الصفحة في النتائج بعد زحفها |
| مستوى التطبيق | على أنماط روابط في الموقع كله | على نوع صفحات: الرئيسية، الأرشيف، المقالات |
| أخطر خطأ | منع الزحف عن مجلدات مهمة | وضع noindex على المقالات |
نقطة مهمة: منع الزحف ليس هو نفسه منع الفهرسة. إذا منعت رابطًا في robots.txt، فجوجل لن يدخل ليقرأه، لكنه قد يُبقي الرابط في النتائج بدون وصف إذا وجد روابط أخرى تشير إليه. وإذا أردت إخراج صفحة من النتائج بوسم noindex، فيجب أن يستطيع جوجل زحفها أولًا ليرى الوسم. لذلك لا تجمع الاثنين على نفس الصفحة.
ملف robots.txt الافتراضي في بلوجر
يوفّر بلوجر ملفًا افتراضيًا لكل مدونة، ويمكنك رؤيته بكتابة /robots.txt بعد عنوان مدونتك. يبدو غالبًا هكذا:
User-agent: Mediapartners-GoogleDisallow:User-agent: * Disallow: /search Allow: /Sitemap: https://YOUR-BLOG.blogspot.com/sitemap.xml
وهذا معناه سطرًا بسطر:
User-agent: Mediapartners-GoogleمعDisallow:فارغة: يُسمح لروبوت إعلانات جوجل بدخول كل شيء.User-agent: *: القواعد التالية تخص كل الروبوتات الأخرى.Disallow: /search: امنع الزحف إلى الروابط التي تبدأ بـ/search، وهي صفحات نتائج البحث الداخلي وصفحات التصنيفات (Labels) في بلوجر.Allow: /: ما عدا ذلك مسموح.Sitemap:: عنوان خريطة الموقع.
/search/label/، فهي ممنوعة الزحف افتراضيًا. هذا مقصود لتقليل المحتوى المكرر، لكنه يعني أن صفحة قسم كاملة لن تكون عادةً هدفًا للظهور في جوجل، وأن مقالاتك هي التي يجب أن تتنافس. اجعل الربط الداخلي بين المقالات قويًا ولا تعتمد على صفحات التصنيفات وحدها.
أين تجد هذه الإعدادات؟
- من لوحة بلوجر افتح الإعدادات.
- انزل إلى قسم الزحف والفهرسة.
- ستجد خيار تفعيل ملف robots.txt المخصص، وخيار تفعيل علامات رأس robots المخصصة.
إن كان الخياران غير مفعّلين، فمدونتك تعمل بالإعدادات الافتراضية، وهذا وضع جيد لأغلب الناس. تأكد من أسماء الخيارات على شاشتك، فقد تختلف الصياغة قليلًا بين الإصدارات.
علامات رأس robots: ماذا تعني؟
هذه العلامات تخبر جوجل كيف يتعامل مع الصفحة بعد زحفها. أشهرها:
- all: لا قيود. تُفهرس الصفحة وتُتابع روابطها.
- noindex: لا تُظهر هذه الصفحة في نتائج البحث.
- nofollow: لا تتبع الروابط الموجودة في الصفحة.
- none: تعني noindex مع nofollow معًا.
- noarchive: لا تعرض نسخة مخزنة من الصفحة.
- nosnippet: لا تعرض مقتطفًا من النص في النتائج.
- noimageindex: لا تفهرس صور الصفحة.
- notranslate: لا تعرض خيار ترجمة الصفحة.
والإعداد الشائع في بلوجر، وهو غالبًا ما تجده كإعداد افتراضي، يكون كالتالي (قارنه بما عندك):
| نوع الصفحة | الإعداد المناسب عادةً |
|---|---|
| الصفحة الرئيسية | all |
| صفحات الأرشيف والبحث | noindex |
| المقالات والصفحات الثابتة | all |
قد ترى مع هذه القيم علامة noodp في الإعداد الافتراضي. هي علامة قديمة متعلقة بدليل مواقع انتهى، ولا تؤثر على مدونتك، فلا داعي لتغييرها.
5 أخطاء قد تخفي مدونتك
1. وضع noindex على المقالات
أخطر خطأ على الإطلاق. إن ضبطت "المقالات والصفحات" على noindex أو none، فكل مقال جديد سيُستبعد من الفهرس. راجع هذا الإعداد أولًا إن كانت مقالاتك لا تُفهرس إطلاقًا.
2. كتابة Disallow: / في robots.txt
هذا السطر بمفرده يمنع الروبوتات من زحف المدونة كلها. شاهده كثيرون منسوخًا من قوالب أو مواقع قيد التطوير. لا تضعه في مدونة تريد ظهورها.
3. نسخ ملف robots.txt من موقع آخر
قد يحتوي ملف موقع آخر قواعد تخصه وحده، أو عنوان خريطة موقع غير عنوانك. استخدم الافتراضي كأساس وعدّل عليه فقط ما تفهمه.
4. منع ملفات يحتاجها جوجل لعرض الصفحة
لا تمنع ملفات CSS أو JavaScript أو الصور التي تُستخدم في تصميم صفحاتك. جوجل يحتاجها ليفهم كيف تبدو الصفحة فعلًا.
5. استخدام robots.txt لإخفاء صفحة تريد إزالتها
من يريد إزالة صفحة من نتائج جوجل يجب أن يسمح بزحفها ويضع عليها noindex، أو يحذفها فعليًا، أو يستخدم أداة الإزالة المؤقتة في Search Console. منعها بـ robots.txt وحده لا يضمن اختفاءها.
كيف تتأكد أن الإعدادات سليمة؟
- اقرأ الملف بنفسك: افتح
عنوان-مدونتك/robots.txtفي المتصفح وتأكد أن فيه ما تتوقعه ولا فيهDisallow: /وحدها. - افحص مقالاً مهمًا: في Search Console ضع رابطه في أداة فحص عنوان URL، وانظر هل الزحف مسموح، وهل الفهرسة مسموحة أو هناك وسم noindex.
- راجع كود الصفحة: افتح المقال، واضغط بزر الفأرة الأيمن على "عرض مصدر الصفحة"، وابحث عن كلمة
noindex. إن وجدتها في مقال تريده أن يظهر، فهناك خطأ في الإعدادات أو القالب. - راجع تقرير الصفحات: ابحث عن أسباب مثل "مستبعدة بواسطة علامة noindex" أو "محظورة بواسطة robots.txt" وانظر أي الروابط تخصهما.
- اختبر بعد كل تعديل: لا تغيّر عدة إعدادات معًا. عدّل شيئًا واحدًا، وافحص، وانتظر قبل التعديل التالي.
أسئلة شائعة
هل أحتاج فعلًا لتفعيل robots.txt المخصص؟
غالبًا لا. الملف الافتراضي كافٍ لمعظم المدونات. فعّله فقط إذا كان عندك سبب واضح وتفهم أثر كل سطر تضيفه.
مدونتي تستخدم نطاقًا خاصًا، هل يتغير شيء؟
نعم، يجب أن يكون عنوان خريطة الموقع في الملف هو عنوان نطاقك الخاص، لا عنوان blogspot القديم. راجع الملف الذي يظهر عندك فعليًا.
عندي مقالات كثيرة جدًا، هل تكفي خريطة الموقع الافتراضية؟
خريطة بلوجر الافتراضية قد لا تعرض كل المقالات دفعة واحدة إذا كان عددها كبيرًا، وفي هذه الحالة يوجد أسلوب لتقسيمها إلى صفحات. افتح /sitemap.xml في مدونتك وتأكد مما يظهر لك، وأضف في Search Console ما يلزم من خرائط.
هل تعديل هذه الإعدادات يحل مشكلة اختفاء المقالات من جوجل؟
فقط إذا كان السبب فعلًا هو وسم noindex أو حظر في robots.txt. أما إن كان السبب ضعف المحتوى أو تكراره، فلن تحلها هذه الإعدادات، وستحتاج لتحسين المقال نفسه.
الخلاصة
ملف robots.txt وعلامات رأس robots أدوات للتحكم في الزحف والفهرسة، وليست وسيلة لتحسين الترتيب. اترك الإعدادات الافتراضية إن لم تكن بحاجة لغيرها، وإن عدّلت فافحص النتيجة في Search Console فورًا. وقبل أن تتهم جوجل بأنه لا يفهرس مقالاتك، تأكد أنك لم تمنعه أنت بنفسك.
افتح الآن إعدادات الزحف والفهرسة في مدونتك وقارنها بما في هذا المقال، وإن وجدت شيئًا غريبًا اكتبه لنا في التعليقات.

تعليقات
إرسال تعليق
يمكنك وضع تعليقك وسوف يتم الرد عليك في أقرب وقت