Первым делом, на новых сайтах, это правильный файл robots.txt. При чем тут этот файл? Это как директива для роботов поисковых систем, что посмотреть и что проигнорировать.Обратите внимание, что этот файл не является 100% гарантией, поскольку пауки поисковых систем могут игнорировать некоторые правила, но обычно это помогает.

Код должен быть вставлен в файл robots.txt в формате utf-8.

Вы должны вставить этот файл в корневую папку вашего сайта. Кроме того, многие SEO плагины для WordPress позволяют создавать этот файл со страницы администратора (например, Seo By Yoast может сделать это).


User-agent: *
Disallow: /cgi-bin/
Disallow: */trackback
Disallow: */comment-
Disallow: *?replytocom=
Disallow: */feed
Disallow: /?s=
Disallow: /xmlrpc.php
Disallow: /archives/date/
Disallow: /archives/tag/
Disallow: /archives/author/
Disallow: /page/
Disallow: /tag/
Allow: /wp-content/uploads/
Host: yoursite.com
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
User-agent: ia_archiver
Disallow: /

В этом коде вы должны изменить yoursite.com на свой домен. Этот файл запрещает комментирование страниц, фидов, тегов страниц, архивов, трекбэков и системных страниц от пауков. Страницы категорий все разрешены. Но я рекомендую добавить описание к каждой категории.