В WordPress есть несколько способов запретить роботам посещение всех страниц. Один из наиболее распространенных способов - использование файла robots.txt и мета-тега "noindex".
Файл robots.txt является текстовым файлом, который размещается на корневом каталоге вашего веб-сайта. Он используется для указания поисковым роботам, какие страницы они должны или не должны индексировать. Чтобы запретить роботам посещать все страницы вашего сайта, вам нужно открыть файл robots.txt в текстовом редакторе и добавить следующую строку:
User-agent: *
Disallow: /
Здесь "User-agent: *" означает, что эти инструкции будут применяться ко всем роботам, а "Disallow: /" запрещает доступ ко всем страницам.
Также можно использовать мета-тег "noindex" в коде каждой страницы вашего сайта. Этот мета-тег сообщает поисковым роботам, что страница не должна индексироваться. Чтобы добавить мета-тег "noindex" на каждую страницу, откройте файл шаблона своей темы WordPress (например, single.php или page.php) и добавьте следующий код внутри секции <head>:
<meta name="robots" content="noindex">
Это запретит индексацию всем страницам вашего сайта для поисковых роботов.
Если у вас есть плагин SEO, такой как Yoast SEO или All in One SEO Pack, у них часто есть опции для управления индексацией страниц. Вы можете найти соответствующие настройки в админ-панели WordPress в разделе SEO или настройках плагина.
Независимо от того, какой способ вы выберете, убедитесь, что роботы настроены правильно или в соответствии с вашими требованиями, и что нужные страницы (например, контакты или страница о нас) не добавлены в запрещенные соответствующие файлы или мета-теги.
И наконец, помните, что запрет обходят только те роботы, которые соблюдают рекомендации robots.txt или мета-теги noindex. Они не влияют на роботов, которые не будут следовать этим инструкциям.