بسم الله الرحمن الرحيم

وظيفة ملف الروبتس :
يستخدم هذا الملف لمنع محركات البحث من ارشفة شئ معين علي موقعك سواء ملف او فولدر


اولا شرح تحديد اسم العنكبوت المراد منعه من ارشفة شئ معين

User-agent هذا الكود هو عبارة عن كلمة اسم وليكن مثالا ... ويأتي بعدها اسم العنكوب مسبوقا ب :
نبدأ بإذن الله بـ امر المنع وهو امر
Disallowالامر هذا يستخدم لمنع محركات البحث من ارشفة اما
1/ ملف 2/ فولدر اوي أي شئ تريده
كيفية استخدامه وهي كالاتي يكتب الامر
Disallowكما هو مع وضع علامة
: بيكون هيك
Disallow : رابط الملف المراد منعه علي موقعكجاء وقت المثال ووقت التطبيق
نأخذ مثال لريبوتس تكست مكتوب جاهز ونبدأ نحلله مع بعض

User-agent: Googlebot
Disallow: /cgi-bin/الان وضعت لكم الملف بالاعلي
نأتي للتحليل

User-agentوهذه كما قلنا هو ما يأتي بعدها اسم العنكوب
ومن ثم اتي بعدها
:وبعدها اتي
Googlebotطبعا هذا البوت تبع جوجل اقصد العنكوب الخاص بجوجل
طبعا فهمنا هذي
اذا كنا فهمناها ندخل علي السطر الثاني من الكود

Disallow: /cgi-binلاحظوا كيف كتبت واعتقد انها اتشرحت قبل هيك

ندخل في جانب اخر من جوانب الريبوتس
سؤوال يطرح نفسه هنا !
هل علشان اعمل ريبوتس هكتب كل انواع العناكب ؟؟؟
الاجابة بالطبع لا
فالحاجة ام الاختراع وعلشان هيك عملوا علامة تخص كل العناكب
ومعناها ان الاسطر التي تاني بعد كلمة User-agent: في السطر الثاني يتم تطبيقة علي جميع العناكب التي تدخل موقعك
هذه العلامة هي
*يعني لو عايزين ملف ريبوتس جديد يا بإستخدام هذه العلامة هيكون هيك


User-agent: *
Disallow: /cgi-bin/واعتقد وضحناها وحللنا الكود بالكامل في الاعلي

وطبعا ملف الروبتس بيكون علي الامتداد
www.yorsitename.com/robots.txt

منقول

مشكور اخى الكريم على الشرح

مشكوووووووووووووور يالغالي على هالشرح الطيب

شرح مميز جداااااا
تسلم ايدك

شكرا اخي علي الشرح