السلام عليكم ورحمة الله وبركاته
ملف الروبوتس هو ملف بيقوم بطلبه جوجل للاستفسار عن اي المساحات والمسارات في الموقع التي ترغب منه في زيارتها
وبناءا عليه يقوم هو بزياراته لموقعك
يقوم هذا الملف بمنع لواحق wp بالاضافة الى منع ارشفة التعقيبات القادمة والتغذية والتعليقات
كل ما عليك تغير مسار الخارطة للموقع بمسارك الخاص
الملف :
http://www.anasblog.me/robots.txt
ملاحظة : قمت بمنع ارشفة مجلد باسم demo في هذا الروبوتس تستطيع تغير هذا المجلد او ازالته او وضع مسار اخر مكانه
ملف الروبوتس هو ملف بيقوم بطلبه جوجل للاستفسار عن اي المساحات والمسارات في الموقع التي ترغب منه في زيارتها
وبناءا عليه يقوم هو بزياراته لموقعك
يقوم هذا الملف بمنع لواحق wp بالاضافة الى منع ارشفة التعقيبات القادمة والتغذية والتعليقات
كل ما عليك تغير مسار الخارطة للموقع بمسارك الخاص
الملف :
كود:
User-agent: googlebot-mobile
Disallow:
User-agent: MSNBot
Disallow:
User-agent: Slurp
Disallow:
User-agent: Teoma
Disallow:
User-agent: twiceler
Disallow:
User-agent: Gigabot
Disallow:
User-agent: Scrubby
Disallow:
User-agent: Robozilla
Disallow:
User-agent: Nutch
Disallow:
User-agent: ia_archiver
Disallow:
User-agent: baiduspider
Disallow:
User-agent: naverbot
Disallow:
User-agent: yeti
Disallow:
User-agent: yahoo-mmcrawler
Disallow:
User-agent: psbot
Disallow:
User-agent: asterias
Disallow:
User-agent: yahoo-blogs/v3.9
Disallow:
User-agent: *
Disallow: /wp-content/
Disallow: /demo/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-
Disallow: /feed/
Disallow: /trackback/
# BEGIN XML-SITEMAP-PLUGIN
Sitemap: http://www.anasblog.me/sitemap.xml.gz
# END XML-SITEMAP-PLUGIN
http://www.anasblog.me/robots.txt
ملاحظة : قمت بمنع ارشفة مجلد باسم demo في هذا الروبوتس تستطيع تغير هذا المجلد او ازالته او وضع مسار اخر مكانه