افزونه W3 Total Cache و فایل robots

[aleas]

دوستان بنظرتون این افزونه W3 Total Cache کاربردی در سئو سرعت لود سایت و همینطور کمتر شدن مصرف پهنای باند میکنه بطور کلی این افزونه از نظر برنامه نویسی مشکلی نداره به سایت کمک میکنه؟


و اینکه محتویات فایل robots.txt هم به اینصورت نوتم خوبه؟

کد:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-content/themes
Disallow: /wp-content/plugins
Disallow: /wp-includes
Disallow: /feed/
Sitemap: http://www.news110.ir/sitemap.xml

چون گوگل تو قسمت معرفی نقشه سایت این پیغام داده

Google detected a significant increase in the number of URLs we were blocked from crawling due to authorization permission errors.

Recommended action

Check the Crawl Errors page in Webmaster Tools.
Check if your server or host is blocking Googlebot.
If you don't want Google to crawl these pages, consider adding them to your robots.txt.

Learn more in our Help Center.