Интернет реклама. Обзоры эффективных способов продвижения



Robots.txt – оптимизируем запись для поисковиков. Запрещаем не нужные для индексации страницы

Поисковые системы (SEO) - Комментариев нет » - Опубликовано 26.03.2009 в 19:17

Создавая сайт любого типа мы обычно задумываемся (по крайней мере – обязаны задумываться!) как отнесутся к нему боты поисковых систем. Насыщенность контентом, тематичность, небольшая, но все-таки имеющаяся плотность ключевых слов и фраз, а также правильно и разнообразно прописанные важные для SEO теги – H1-H6, strong, title, keyword и descriptions (последние в меньшей мере), все это по разному способно повлиять на дальнейшие позиции сайта в выдаче.

Но так как любой сайт начинается с корневой директории (хоть часто и виртуальной) на web сервере (привычней говорить конечно же хостинге) первое, что видят боты поисковых систем на вашем сайте является файлик под скромным именем – robots.txt

Обычный текстовый файл из нескольких строчек способен изменить ход мысли поискового робота в любом нужном нам направлении. Формат файла прост. Возможных команд не так много.

Типичный пример файла robots.txt лежащий в корневой директории этого блога:

Создавая сайт любого типа мы обычно задумываемся (по крайней мере – обязаны задумываться!) как отнесутся к нему боты поисковых систем. Насыщенность контентом, тематичность, небольшая, но все-таки имеющаяся плотность ключевых слов и фраз, а также правильно и разнообразно прописанные важные для SEO теги – H1-H6, strong, title, keyword и descriptions (последние в меньшей мере), все это по разному способно повлиять на дальнейшие позиции сайта в выдаче.

Но так как любой сайт начинается с корневой директории (хоть часто и виртуальной) на web сервере (привычней говорить конечно же хостинге) первое, что видят боты поисковых систем на вашем сайте является файлик под скромным именем – robot.txt

Обычный текстовый файл из нескольких строчек способен изменить ход мысли поискового робота в любом нужном нам направлении. Формат файла прост. Возможных команд не так много.

Создавая сайт любого типа мы обычно задумываемся (по крайней мере – обязаны задумываться!) как отнесутся к нему боты поисковых систем. Насыщенность контентом, тематичность, небольшая, но все-таки имеющаяся плотность ключевых слов и фраз, а также правильно и разнообразно прописанные важные для SEO теги – H1-H6, strong, title, keyword и descriptions (последние в меньшей мере), все это по разному способно повлиять на дальнейшие позиции сайта в выдаче.

Но так как любой сайт начинается с корневой директории (хоть часто и виртуальной) на web сервере (привычней говорить конечно же хостинге) первое, что видят боты поисковых систем на вашем сайте является файлик под скромным именем – robots.txt

Обычный текстовый файл из нескольких строчек способен изменить ход мысли поискового робота в любом нужном нам направлении. Формат файла прост. Возможных команд не так много.

Типичный пример файла robots.txt лежащий в корневой директории этого блога:

User-Agent: *
Disallow: /wp-includes
Disallow: /wp-admin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: xmlrpc.php

Host: moretrafa.ru/blog

Здесь мы запрещаем ВСЕМ (звездочка в User-Agent, возможные варианты – Yandex, Google и имена других поисковых систем) без исключения ботам (хотя есть и не послушные нарушители протокола, но таких гораздо не много) администраторские папки в директории блога и формы для входа и регистрации новых пользователей. Также до кучи и файл с описанием функций xml, который цитировать поисковикам совершенно необязательно. Директивой Allow наоборот, при необходимости можно разрешить что-то.

Командой Host: moretrafa.ru/blog указываем текущее имя домена, что может быть полезно если не хотите, чтобы у вас было две версии сайта (с www и без него), также существуют команды, к примеру Sitemap: http://moretrafa.ru/blog.xml покажет поисковику ссылку на вашу карту в формате XML, хотя при прямом добавлении ссылки на карту через сервисы веб-мастеров в Яндекс И Google использовать эту возможность не обязательно.

Подробное описание каждой директивы в файле robots.txt и вариантов их использования на сайте RobotsTxt.org

Проверить файл robots любого сайта на возможные ошибки можно в webmaster консоли Яндекса

Будьте осторожны так как любая ошибка в директивах может запретить сайт для роботов, после чего кроме мыслей: ‘а где же мой траф..’ в голову не придет ничего больше.. Из практики – ошибка в директиве – Host в одной букве обошлась сайту три месяца безтрафия во всех популярных поисковиках, так как те уходили на ошибочный несуществющий домен оставляя на этом только след в логах… на сервере моего хостинг провайдера..