شرح ملف الربوتس robots.txt لمن لا يعرفه شرح كامل

[قوس قزح]

السلام عليكم ورحمة الله وبركاتة


شرح ملف الربوتس robots.txt لمن لا يعرفه شرح كامل

هذا الملف ممكن نشبه بحرس الحدود لموقعك وهو مهم وعناكب محركات البحث تبحث عنه اول ما تدخل للموقع عشان تعرف صلاحياتها

يكمن به السماح لمحرك بحث معين او كل محركات البحث بدخول موقعك

يعمل هذا الملف بامرين
Disallow حجب
Allow سماح

عناكب محركات البحث المشهورة هي

عناكب Google AdSense

User-agent: Mediapartners-Google*

Google
User-agent: googlebot

MSN
User-agent: MSNBOT

MSN2
User-agent: msnbot-media/1.0


ALEXA
User-agent: alexa_site_report

YAHOO
User-agent: slurp


امثلة لهذا الملف

1 كل الموقع متاح لجميع العناكب

User-Agent: *
Allow: /

2 كل الموقع محجوب عن جميع العناكب

User-agent: *
Disallow: /

3 حجب جزء من الموقع عن حميع العناكب مثل صفحة الادمن والصور والملجدات الخاصة والسماح لهم بباقي الموقع

User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /vb/admincp/index.php
Disallow: /vb/includes/

4 حجب عناكب محرك معين عن دخول موقعك والسماح للاخرى اولا عليك ان تعرف نوع العناكب

User-agent: googlebot
Disallow: /

User-agent: *
Allow: /

5 حجب حميع محركات البحث ماعادا محرمات معينة

User-agent: googlebot
Allow: /

User-agent: MSNBOT
Allow: /

User-agent: *
Disallow: /

6 منع محرك بحث معين من الدخو لمنطقة معينة مع السماح لباقي المحركات بدخول جميع الاماكن

User-agent: googlebot
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /vb/admincp/index.php
Disallow: /vb/includes/

User-agent: *
Allow: /

عليك ان تحفظ الكود في ملف تسميه robots.txt وتضعه في مجلد موقعك الرئيسي www

او قم بتحميل الملف المرفق الذي ينصح به قوقل Webmaster Tools والذي يفتح موقعك على لكل عناكب البحث

حقوق الموضوع لمنتديات تيبستي

في امان الله

[Arabiasweb]

جزاك الله كل خير لهذا الشرح الرائع

نعم انه ملف مهم للجميع وله فائدة قوية

لاكن الكثير منا يجهله

مرة اخرى اشكرك

وتقبل مروري

[imed28]

بارك الله فيك اخي