Пишем правильный robots.txt

Тема в разделе 'Поисковая оптимизация', создана пользователем RooTM, 24 май 2011.

  1. RooTM Administrator

    И так, после создания вашего сайта и конечного добавление его в поисковые машины, нужно “помочь” ботам. Для этого есть файл robots. txt.

    У всякой поисковой машины имеется очень много роботов: один приходит на сайт и подтверждает его существование, 2-ой - приходит и включает в индекс страницы сайта, 3-ий - смотря на перечень страниц, заходит на их и считывает содержание, и т. д. Это, естественно, суженный перечень, роботов на самом деле немало, и у всякого бота ПМ уникальное имя. Однако нас это в данный момент не интересует. Вернемся к robots.txt

    Файл robots. txt нужен для условно обозначенного “второго” бота из предыдущего абзаца. Когда этот бот прибывает, он считывает с сервера присутствие файла robots. txt. И ежели таковой имеется и прописан “правильно”, то Ваши дела меж сайтом и ПМ наладятся отлично и отменно. Отчего?Поэтому что бот проиндексирует лишь нужные странички и разделы интернет-сайта!Идем дальше и обучаемся писать файл robots. txt.

    Какие строки может содержать файл robots.txt:
    # User-Agent: * (* говорит, что далее прописаны правила для всех роботов ПМ);
    # Disallow: /adminka (Disallow - строка, говорящая о запрете директории/файла к индексации - добавлении в ПМ, а далее /дирректория, запрещенная к индексации; одна строка - один файл/дирректория);
    # Allow: / (Allow - строка, говорящая о разрешении на индексацию директории/файла, в данном случае разрешен весь сайт, кроме запрещенных дирректорий/файлов строками Disallow:);
    # Host: (Host говорит ПМ, как ему инициировать основной домен сайта: если с - то инициирует, как с субдомена www, если просто прописать site.ru - то с основного домена без www, Данная строка обычно прописывается для ПМ Yandex, приведу пример ниже)
    # Sitemap: (Sitemap говорит о местонахождении еще одного важного сео-файла sitemap.xml, о нем я рассказывал в ранних постах).

    Это все основные строки для файла robots.txt, Их достаточно для хорошей индексации сайта. Сделаем в качестве примера файл robots.txt для сайта, у которого не стоит вносить в индекс папки users, admin и tags. Получится так:
  2. SlimYalta New Member

    Спасибо!
  3. ..::NiK::.. New Member

    Строка
    запретит к индексации не только папку users, но и все файлы типа users.html, users.php, users.gif . . . , а также папки и файлы типа users1, users2 . . . , т.е. будет запрещено всё, что начинается на users.

    Вот правильная конструкция, которая запрещает только папку users:
    Рекомендую почитать:


  4. Axel New Member

    Для каждой CMS нужно уметь правильно составить robots. txt. Рекомендую Вам открыть остельные темы с robots. txt для DLE, ВордПрес, джумла и т.д.

Поделиться этой страницей