Команда Яндекс.Поиска сообщила об изменениях в обработке директивы Allow в файле robots.txt. Теперь поисковые роботы Яндекса перестанут учитывать пустую директиву Allow как запрещающий сигнал в robots.txt.

Ранее робот интерпретировал это правило как полностью запрещающее, что делало сайт недоступным для посещения роботов, и такие сайты не могли показываться в результатах поиска. Сейчас оно игнорируется при обнаружении в robots.txt.
Если вебмастер намеренно использует пустое правило Allow в robots.txt, то для того, чтобы робот корректно учитывал запрет, правило нужно изменить на директиву Disallow:

Проверить, что разрешено, а что запрещено в robots.txt можно в Яндекс.Вебмастере. Команда поиска Яндекса рекомендует обратить особое внимание на пустые значения для Allow — если нужно запретить индексирование, то их быть не должно.

Важность корректного заполнения файла robots.txt трудно переоценить. Из-за несоблюдения определенных условий вебмастер может, как собственноручно ошибочно запретить доступ к своему сайту, так и рискует попаданием в результаты поиска тех файлов и документов, которые желал бы закрыть от индексации. Для того, чтобы все установленные директивы корректно использовались роботом при посещении сайта, необходимо соблюдать ряд условий, перечисленных ранее Платоном Щукиным.

• Google обновил документацию и руководство для вебмастеров по перемещению сайта
• Линии электропередач будут проверять дроны
• Разновидности браузерных игр
• Размещение бесплатных объявлений в интернете
• Насколько важна каждая мелочь в торговом бизнесе

Хостинг и домены для бизнеса - ваш бизнес в сети без затрат В современном мире онлайн-присутствие компании становится неотъемлемой частью её успешного функционирования. Особенно это касается малого бизнеса, который стрем [ ... ]

Покупка бу сервера через интернет Если вы хотите получить производительное серверное оборудование и при этом сократить расходы, то советуем купить сервер б/у. Благодаря тому, что вторичный рынок в � [ ... ]

Что такое ТЭС Электростанция представляет собой комплексное оборудование, способное преобразовывать разнообразные источники энергии в электрическую и, иногда, тепловую энер [ ... ]