مدونة نبض للمعلومات

أفضل ملف robots txt جاهز وشرح شامل بهذا المقال فتأكد من قرائته إلى الأخير لأنه يتفاعل كل

تهيئة ملف Robots.txt في Blogger لتعزيز تحسين محركات البحث في عام 2025

روبوت زاحف لمحرك البحث أولاً مع ملف robots.txt الخاص بالموقع، مما يشكل أهمية لهذا الملف، وهذا يعني

أن ملف robots.txt يلعب دورًا محوريًا في تحسين محركات البحث (SEO) لمدونة Blogger. سيرشدك هذا

المقال حول كيفية إنشاء ملف robots.txt مخصص ومحسّن بشكل جيد لـ Blogger وكيفية فهم تبعات

الصفحات المحظورة التي يتم الإبلاغ عنها بواسطة Google Search Console.

ما هي وظائف ملف robots.txt؟

يخبر ملف robots.txt محركات البحث بالصفحات التي يجب فهرستها والتي لا يجب فهرستها. يتيح لنا ذلك

التحكم في عملية الزحف لجميع عناكب الويب. في ملف robots.txt، يمكننا التحكم في نشاط الزحف لكل وكيل

مستخدم عن طريق السماح لهم أو منعهم. يمكننا أيضًا إعلان خرائط الموقع الخاصة بنا لمحركات البحث مثل

جوجل، بينغ، ياندكس، إلخ، حتى تتمكن هذه المحركات من العثور بسهولة على محتوانا وفهرسته.

وظيفة العلامات الوصفية (meta tags) للروبوتات هي التحكم في فهرسة الصفحات على مستوى الصفحة، أي

يجب أن تكون الصفحة مرئية في نتائج البحث أم لا.

عادةً ما نستخدم العلامات الوصفية للروبوتات لفهرسة أو عدم فهرسة منشورات المدونة والصفحات وأنواع أخرى

من محتوى الويب عبر الإنترنت. ونستخدم ملف robots.txt للتحكم في الروبوتات الخاصة بمحركات البحث.

يمكنك السماح بفهرسة الموقع بالكامل، لكن ذلك سيستهلك ميزانية الزحف للموقع. للحفاظ على ميزانية الزحف

للموقع، عليك حظر أقسام البحث والأرشيف والتصنيفات في الموقع.

تُستخدم العلامة الوصفية للروبوتات على مستوى الصفحة لتحديد ما إذا كان يجب أن تكون صفحة الويب مرئية في

نتائج محركات البحث (SERP). بالإضافة إلى ذلك، يساعد ملف يسمى robots.txt في التحكم في كيفية تصرف

روبوتات محركات البحث على الموقع. إذا سمحنا للروبوتات بالزحف بحرية عبر موقعنا بالكامل، فقد يستهلك ذلك

الكثير من الموارد. لإدارة هذا الأمر، يمكننا استخدام ملف robots.txt لإخبار الروبوتات بعدم الزحف إلى أجزاء

معينة، مثل أقسام البحث والأرشيف والتصنيفات. بهذه الطريقة، نحافظ على الموارد ونتأكد من تركيز الروبوتات

على الأجزاء المهمة من موقعنا.

الملف الافتراضي robots.txt لمدونة Blogger.

لتحسين ملف robots.txt لمدونة Blogger، نحتاج أولاً إلى فهم هيكل نظام إدارة المحتوى (CMS) وتحليل

الملف الافتراضي robots.txt. الملف الافتراضي robots.txt لمدونة Blogger-

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://www.example.com/sitemap.xml

السطر الأول (User-Agent) من هذا الملف يحدد نوع الروبوت. هنا هو Google AdSense، والذي لا يتم

منعه على أي صفحة (يتم التصريح عنه في السطر الثاني). هذا يعني أن إعلانات AdSense يمكن أن تظهر في

جميع أنحاء الموقع.

وكيل المستخدم التالي هو *، مما يعني أن جميع روبوتات محركات البحث ممنوعة من الوصول إلى صفحات

/search. هذا يعني منع جميع صفحات البحث والملصقات (نفس هيكلية الروابط).

ويسمح بوسم tag لتعريف أن جميع الصفحات الأخرى غير القسم الممنوع يمكن زحفها.

السطر التالي يحتوي على خريطة موقع post لمدونة Blogger.

هذا ملف شبه مثالي للتحكم في روبوتات محركات البحث وتقديم تعليمات حول الصفحات التي يمكن زحفها أو عدم

زحفها. لكن هذا الملف يسمح بفهرسة صفحات الأرشيف، مما يمكن أن يسبب مشكلة المحتوى المكرر. هذا يعني أنه

سيخلق محتوى غير مفيد لمدونة Blogger، لذلك سوف أقدم لك من خلال الفقرة التالية أفضل ملف Robots

Txt جاهز يمكنك نسخه ولصقه في مدونتك مع تعديل رابط المدونة فقط.

تحسين ملف Robots.txt لمدونة بلوجر

فهمنا كيف يقوم ملف robots.txt الافتراضي بأداء وظيفته لمدونة بلوجر. دعونا نحسنه للحصول على أفضل نتائج في تحسين محركات البحث (SEO).

يسمح ملف robots.txt الافتراضي بفهرسة الأرشيف، مما يسبب مشكلة المحتوى المكرر. يمكننا منع هذه

المشكلة عن طريق منع الروبوتات من الزحف إلى قسم الأرشيف. لهذا الغرض، سيؤدي /search* إلى تعطيل

الزحف إلى جميع صفحات البحث والتصنيفات.

تطبيق قاعدة Disallow /20* في ملف robots.txt سيوقف الزحف إلى أقسام الأرشيف. قاعدة /20* ستمنع

الزحف إلى جميع المنشورات، لذلك لتجنب ذلك، علينا تطبيق قاعدة Allow جديدة للقسم /*.html التي تسمح

للروبوتات بالزحف إلى المنشورات والصفحات.

تشمل خريطة الموقع الافتراضية المنشورات، وليس الصفحات. لذا يجب عليك إضافة خريطة موقع للصفحات

الموجودة تحت الرابط

https://example.blogspot.com/sitemap-pages.xml أو

https://www.example.com/sitemap-pages.xm

أو https://www

للنطاق المخصص. يمكنك تقديم خرائط مواقع بلوجر إلى Google Search Console للحصول على نتائج جيدة.

إذن، سيكون أفضل ملف Robots Txt جاهز جديد ومخصص ومثالي لمدونة بلوجر كالتالي:

User-agent: Mediapartners-Google
Disallow:
User-agent: * # to select all crawling bots and search engines
Disallow: /search* # to block all user generated query item within the website.
Disallow: /20* # this line will disallow archieve section of Blogger.
Disallow: /feeds* # this line will disallow feeds. Read instruction below
Allow: /*.html # allow all post and pages of the blog
#sitemap of the blog
Sitemap: https://www.example.com/sitemap.xml
Sitemap: https://www.example.com/sitemap-pages.xml