Яндекс начал индексировать файлы CSS и JS. Часть 2 «Настройка robots.txt для различных CMS»

В предыдущей статье мы коснулись темы о том, что «Яндекс начал индексировать файлы JS и CSS», в которой рассказали о том, что с 15 ноября компанией Яндекс была начата кампания индексации сайтов «по-новому». Теперь каждый интернет ресурс будет одинаково виден как для обычного пользователя в браузере, так и для поискового бота Яндекса. Также мы привели самый простой способ решения данной проблемы, которая заключалась в том, что в файл Robots.txt необходимо внести строки разрешающие индексацию файлов с расширением .css и .js:

User-agent: Yandex
Allow: .js
Allow: .css

В связи с тем, что популярные CMS содержат файлы .css и .js в разных папках сайта, нет смысла открывать общий доступ ко всем подобным файлам, а постараться открыть только те, которые использует поисковый бот.

Решение для популярных CMS

Чтобы упростить работу над настройкой Вашего сайта под новые требования Яндекса, нашими специалистами было разработано несколько шаблонов для популярных CMS.

Получить консультацию

после отправки заявки с Вами свяжется наш специалист

менеджер по продажам
Алена Медведева

Имя *

Телефон *

Шаблон для WordPress

Allow: /wp-content/themes/*.js
Allow: /wp-content/themes/*.css
Allow: /wp-includes/js/*.css
Allow: /wp-includes/js/*.js
Allow: /wp-content/plugins/*.js
Allow: /wp-content/plugins/*.css

Шаблон для Joomla

Allow: /templates/*.css
Allow: /templates/*.js
Allow: /templates/*.png
Allow: /templates/*.gif
Allow: /templates/*.ttf
Allow: /templates/*.svg
Allow: /templates/*.woff
Allow: /components/*.css
Allow: /components/*.js
Allow: /media/*.js
Allow: /media/*.css
Allow: /plugins/*.css
Allow: /plugins/*.js

Шаблон для Bitrix

Allow: /bitrix/templates/*.js
Allow: /bitrix/templates/*.png
Allow: /bitrix/templates/*.jpg
Allow: /bitrix/templates/*.gif
Allow: /bitrix/cache/css/*.css
Allow: /bitrix/cache/js/s1/*.js
Allow: /upload/iblock/*.jpg
Allow: /upload/iblock/*.png
Allow: /upload/iblock/*.gif

Шаблон для DLE

Allow: /engine/classes/*.css
Allow: /engine/classes/*.js
Allow: /templates/ Ваш шаблон /style/*.css
Allow: /templates/Ваш шаблон/js/*.js

Вставив подходящий шаблон в файл Robots.txt, мы откроем файлы для чтения поисковым ботом Яндекса.

Самописный движок

Теперь давайте разберемся с CMS, которые не вошли в список. Для таких CMS настроить Robots.txt будет немного сложнее. Стоит заметить, что если Вы уже настроили свой Robots.txt ранее для Google, то Вам останется только скопировать строчки разрешающие индексацию функциональных файлов.

Для того, чтобы узнать какие именно файлы нужно открыть для индексации, нам понадобится консоли Google Webmaster Console. Войдя в неё вы увидите такую строчку что Googlebot не смог найти пути к файлам, Вам будет необходимо сделать несколько действий, показанных ниже на скриншотах:

В боковой панели консоли открываем вкладку «Сканирование», и нажимаем на «Посмотреть как Googlebot»

Далее переходим во вкладку «Частично выполнено»

В этой вкладке отображены все ресурсы, которые не нашел GoogleBot

Далее необходимо скопировать строки  в табличку Excel и отсортировать

После чего остается убрать дубли, вписать их в robots.txt и проверить в Яндекс Вебмастере (webmaster.yandex.ua)

В верхней строке прописываем составленный Robots.txt, в нижней путь к нему. При нажатии на кнопку «Проверить», при правильно настроенном Robots.txt мы увидим такой результат:

Данные инструкции нужно повторять до того момента, пока в Вебмастере перестанут показываться файлы, к которым доступ запрещен. Как показали результаты настройки robots.txt консоль Google не всегда сразу показывает все файлы, к которым не удалось найти путь, и в некоторых случаях указанные действия приходится повторять несколько раз. В итоге при правильной конечной настройке robots.txt в консоли должен отобразиться сайт так, как он отображается при просмотре в браузере.

Заключение

В данной статье мы как можно подробнее описали, как самостоятельно исправить проблему, когда в сообщениях консолей Google и Яндекс появилось сообщение «Не удалось найти путь к файлам .js и .css».

Если вы все-таки не смогли настроить robots.txt, обращайтесь к нам в комментарии или по приведенным контактам на сайте, и мы в кратчайшие сроки поможем решить вашу проблему.