Файл robots txt

Здравствуйте, уважаемые читатели, в данной статье поговорим о дополнительных настройках вашего бизнес-блога. После того, как мы создали свой бизнес-блог, изучив 5 уроков по созданию сайта. Остается сделать его дополнительные настройки.

И сегодня мы узнаем, что из себя представляет файл robots txt, какую полезную функцию он играет в продвижении вашего ресурса.  

Пример создания

Текстовый файл robots txt, который предназначен для роботов поисковых систем и который вы должны загрузить себе на сайт самостоятельно. В нем вы  можите указать параметры индексирования своего сайта как для всех роботов сразу, так и для каждой поисковой системы по отдельности.

Когда поисковый робот будет заходить на ваш сайт, то он будет искать первым делом этот файл, потому как он указывает на то, что можно индексировать на сайте, а что индексировать не нужно. Сайт состоит из множество различных папок, которые при отсутствии робота могут индексироваться поисковиками, что вам совсем не нужно. Нам нужна хорошая индексация наших статей, а при индексации многих потусторонних вещей он может упустить главные вещи на вашем сайте.

Поэтому настоятельно рекомендуется загружать его  в корневой каталог вашего блога. Где он это находится покажу на примере моего сайта. Захожу на sprinthost.ru

Рисунок 1 — Вход в панель управления

Далее после того как ввели имя пользователя и пароль нажимаем кнопку войти и оказываемся в панели управления хостингом.рис.3.

Рисунок 2 — Блок дополнительно/файловый менеджер

Заходим в Файловый менеджер, ищем папку public_html/ http://ВАШ ДОМЕН.ru/ После чего спускаемся в самый низ и видим кнопку загрузить файлы в текущую директорию, далее выбираем файл и нажимаем кнопку загрузить файл.

Рисунок 3 — Загрузка файлов

Нажимаем на кнопку и попадаем на следующую страницу загрузки, далее выбираем путь где находится у вас файл робот txt и нажимаем кнопку загрузить.

Для начала, конечно не мешало бы создать сам файл. Приведу пример создания.

1. Шаг — Создаете текстовый документ называете его robots.txt

2. Шаг открываете его и прописываете следующий текст:

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /?s=

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /?s=

Host: gid-informportal.ru
Sitemap: http://gid-informportal.ru/sitemap.xml.gz
Sitemap: http://gid-informportal.ru/sitemap.xml

Вместо моего доменного имени, прописываете  ваше. Будьте внимательны проверьте курсором чтоб не было после каждой строки пробелов. После того, как скопировали текст, нажимаете сохранить и можно данный файл уже загружать в корневой каталог вашего WordPress сайта.

После загрузки, можно проверить свой файл robots txt по адресу http://ВАШ ДОМЕН.RU /robots.txt

Если отображается значит вы все сделали правильно. На этом урок закончен, желаю удачи!

 P.S. Видео-урок по установке находится в разработке