Интернет реклама. Обзоры эффективных способов продвижения
Robots.txt — оптимизируем запись для поисковиков. Запрещаем не нужные для индексации страницы

Интернет реклама. Обзоры эффективных способов продвижения

Продвижение сайтов в Интернет. Повышение видимости сайта или компании в сети. Обзоры и инструментарий

Поиск на MoreTrafa:



Рубрики:

Свежие комментарии:

RSS:

    






Robots.txt — оптимизируем запись для поисковиков. Запрещаем не нужные для индексации страницы

Поисковые системы (SEO) - Комментариев нет » - Опубликовано 26.03.2009 в 19:17

Создавая сайт любого типа мы обычно задумываемся (по крайней мере — обязаны задумываться!) как отнесутся к нему боты поисковых систем. Насыщенность контентом, тематичность, небольшая, но все-таки имеющаяся плотность ключевых слов и фраз, а также правильно и разнообразно прописанные важные для SEO теги — H1-H6, strong, title, keyword и descriptions (последние в меньшей мере), все это по разному способно повлиять на дальнейшие позиции сайта в выдаче.

Но так как любой сайт начинается с корневой директории (хоть часто и виртуальной) на web сервере (привычней говорить конечно же хостинге) первое, что видят боты поисковых систем на вашем сайте является файлик под скромным именем — robots.txt

Обычный текстовый файл из нескольких строчек способен изменить ход мысли поискового робота в любом нужном нам направлении. Формат файла прост. Возможных команд не так много.

Типичный пример файла robots.txt лежащий в корневой директории этого блога:

Создавая сайт любого типа мы обычно задумываемся (по крайней мере — обязаны задумываться!) как отнесутся к нему боты поисковых систем. Насыщенность контентом, тематичность, небольшая, но все-таки имеющаяся плотность ключевых слов и фраз, а также правильно и разнообразно прописанные важные для SEO теги — H1-H6, strong, title, keyword и descriptions (последние в меньшей мере), все это по разному способно повлиять на дальнейшие позиции сайта в выдаче.

Но так как любой сайт начинается с корневой директории (хоть часто и виртуальной) на web сервере (привычней говорить конечно же хостинге) первое, что видят боты поисковых систем на вашем сайте является файлик под скромным именем — robot.txt

Обычный текстовый файл из нескольких строчек способен изменить ход мысли поискового робота в любом нужном нам направлении. Формат файла прост. Возможных команд не так много.

Создавая сайт любого типа мы обычно задумываемся (по крайней мере — обязаны задумываться!) как отнесутся к нему боты поисковых систем. Насыщенность контентом, тематичность, небольшая, но все-таки имеющаяся плотность ключевых слов и фраз, а также правильно и разнообразно прописанные важные для SEO теги — H1-H6, strong, title, keyword и descriptions (последние в меньшей мере), все это по разному способно повлиять на дальнейшие позиции сайта в выдаче.

Но так как любой сайт начинается с корневой директории (хоть часто и виртуальной) на web сервере (привычней говорить конечно же хостинге) первое, что видят боты поисковых систем на вашем сайте является файлик под скромным именем — robots.txt

Обычный текстовый файл из нескольких строчек способен изменить ход мысли поискового робота в любом нужном нам направлении. Формат файла прост. Возможных команд не так много.

Типичный пример файла robots.txt лежащий в корневой директории этого блога:

User-Agent: *
Disallow: /wp-includes
Disallow: /wp-admin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: xmlrpc.php

Host: moretrafa.ru/blog

Здесь мы запрещаем ВСЕМ (звездочка в User-Agent, возможные варианты — Yandex, Google и имена других поисковых систем) без исключения ботам (хотя есть и не послушные нарушители протокола, но таких гораздо не много) администраторские папки в директории блога и формы для входа и регистрации новых пользователей. Также до кучи и файл с описанием функций xml, который цитировать поисковикам совершенно необязательно. Директивой Allow наоборот, при необходимости можно разрешить что-то.

Командой Host: moretrafa.ru/blog указываем текущее имя домена, что может быть полезно если не хотите, чтобы у вас было две версии сайта (с www и без него), также существуют команды, к примеру Sitemap: http://moretrafa.ru/blog.xml покажет поисковику ссылку на вашу карту в формате XML, хотя при прямом добавлении ссылки на карту через сервисы веб-мастеров в Яндекс И Google использовать эту возможность не обязательно.

Подробное описание каждой директивы в файле robots.txt и вариантов их использования на сайте RobotsTxt.org

Проверить файл robots любого сайта на возможные ошибки можно в webmaster консоли Яндекса

Будьте осторожны так как любая ошибка в директивах может запретить сайт для роботов, после чего кроме мыслей: ‘а где же мой траф..’ в голову не придет ничего больше.. Из практики — ошибка в директиве — Host в одной букве обошлась сайту три месяца безтрафия во всех популярных поисковиках, так как те уходили на ошибочный несуществющий домен оставляя на этом только след в логах… на сервере моего хостинг провайдера..

Добавить комментарий




CopyRight © 2008-2011 Интернет реклама. Обзоры эффективных способов продвижения.
Наши предложения: Эффективное продвижение в Интернет!   |   Выгодные инвестиции: Свой Онлайн Бизнес!.