Советы блогерам

Как создать правильный robots.txt для WordPress

Comments (22)
  1. Я честно говоря, при создании блога где-то его скачала и поставила, но потом мне посоветовали убрать Disallow: /tag и Disallow: /category, а в Ворд Пресс поставить галочки Ноиндекс. Чтобы лишнего не грузил робот. Но он пока грузит всё подряд, но не индексирует лишнего — спасибо на этом.

    1. Я понял, речь идет о галочки ставятся не в вордпресс а в плагине) Тоже вариант, у меня используются и то и другое)

  2. Галина Нагорная:

    Привет! Я когда вижу эти слова с роботс — у меня ступор…
    А давай договоримся? Я тебе напишу любую развлекательную статью, а ты посмотришь и откоррегируешь мой роботс?
    Мне его Анжелика Александрова в очередной раз делала — может там и всё правильно, но есть — форум… Как ты на это смотришь?

    1. Галина, тебе по старой дружбе сделаю просто так) Вышлю на почту

  3. Это основа основ. Убедилась на собственном опыте. Спасибо!

  4. Здравствуйте, такая проблема: «Обнаружена неизвестная директива» Как исправить?

    1. Подскажите где посмотреть

  5. Приветствую! Вопрос такого плана. Прошерстил весь рунет, везде одно и то же и никто мне не может ответить. Вот вы закрываете доступ гуглу к внутренним папкам Disallow: /wp- А что тогда делать для прохождения проверки на мобильность? Гугл сразу выдает ошибку

    1. Да действительно если закрыть Google путь к папкам темы плагинов и скриптам будет выдавать ошибку В этом случае следует открыть директивой Allow путь к следующим файлам

      Allow: /wp-content/uploads/
      Allow: /wp-content/themes/название вашей темы/
      Allow: /wp-content/plugins
      Allow: /wp-includes/

      И все будет в порядке

      1. Логично. В итоге получается, что все составляют роботс без оглядки на поисковики?

        1. Не совсем так, требование на мобильность от гугла появилось не так давно, многие просто забывают о том, что на сайте есть robots.txt

          1. Полгода уже прошло, а все не помнят)))

          2. Скажу больше, многие и не подозревают что есть такой файл))

          3. Ну может быть и правильно. Ну нет его и ладно)))) Зато никаких заморочек: правильно-неправильно

          4. В случае отсутствия файла robots.txt ПС воспринимают как действие а полному сканированию сайта, и как следствие в выдачу попадает много не нужного хлама

  6. Ева:

    Добрый день Платон! Скажите пожалуйста что делать если ни в корне сайта, ни в теме вордпресса не нахожу robots.txt? через браузер смотрю, он есть с таким содержанием
    User-agent: *

    Disallow: /wp-admin/

    Disallow: /wp-includes/

    если не нахожу можно я создам и добавлю в корень его сама? Будет его робот видеть?

    1. Такого не может быть, если через браузер его видно значит он есть в корневой папке сайта. В папке с темой его не должно быть

      1. Dmitriy Travkin:

        анологичная ситуация, в браузере есть, на хостинге, нет, создал новый, никакой замены не было.

      2. Михаил:

        Такая же фигня. Браузер показывает, а в папке нет.

  7. Ева:

    мой ком удалили что ли??(

  8. Helen Lisitsina:

    А можно ли добавить в роботс страницы, которые проиндексировал Гугл, но они все удаленные, я просто сначала писала название в тайтле, потом добавила вывод : категория — название. Страницы удалились, там у меня настроенная 404 со ссылками на последние статьи. И вот я решила выбрать все страницы в Гугле, их порядка 20 получилось и запретить их индексацию через роботс, так можно или есть более простые способы удалить из индекса несуществующий хлам?

    1. Можно удалить в ГуглВебмастере, там есть инструмент удаления страниц. Только условие, либо страницы нет, либо она закрыта к индексации. Если страниц нет, то закрывать их смысла нет. Если правильно настроена ошибка 404, и несуществующие страницы отдают 404 то волноваться вовсе не о чем, это не скажется негативно на ранжирование сайта

Leave a Reply

Your email address will not be published. Required fields are marked *

Log In

Forgot password?

Forgot password?

Enter your account data and we will send you a link to reset your password.

Your password reset link appears to be invalid or expired.

Log in

Privacy Policy

Add to Collection

No Collections

Here you'll find all collections you've created before.

ru_RURussian
ru_RURussian