TheREDHaired.Ru

Robots.txt для Wordpress

Автор: admin | Рубрика: Полезное

Чем плох дублированный контент? Тем, что попадает в индекс мешая основному.
Пример, актуальный для Wordpress:

Допустим у Вас есть страница:
http://домен.ру/категория/страница.html, она может быть выкинута Яшей и проиндексированна так:
http://домен.ру/категория/страница.html/comment-page-1

Чтобы этого не произошло используйте записи robots.txt
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: */comment-page-*

Такой robots сократит до минимума дубли (за исключением тегов). Тем кому лень ковырять robots.txt, есть маленький плагин который всё сделает за Вас.

Для тех кто не знает, что есть Robots.txt и с чем его едят.  Гугл в помощь.