Изучение сканирования AJAX от Google

Некоторое время назад я поставил эксперимент, чтобы проверить поддержку Google для сканирования страниц, использующих AJAX, и, поскольку Google потребовалось слишком много времени для индексации страницы, я совсем забыл об этом. Затем, сегодня я нашел код PHP, который использовал для теста, поэтому проверил Google и обнаружил, что страница проиндексирована. Думал поделиться тестом всем, кому интересно.

Если вы еще не знаете, сканирование AJAX — это попытка показать содержимое поисковых систем на страницах, которые загружаются асинхронно после первоначального запроса страницы. Примером может служить страница, на которой есть виджет, показывающий текущую доступность для отеля, который добавляется после загрузки главной страницы, чтобы дать пользователям более быстрое время начальной загрузки страницы. Поскольку этот контент динамически добавляется с помощью JavaScript (в частности, AJAX), сканер поисковой системы никогда его не видит. Предложение, изложенное Google, описывает способ показать страницу поисковым роботам с включенным динамическим содержанием AJAX.

Для теста я создал простую страницу с парой слов, которая не дала результатов в Google. Вот версия кода (я меняю слова из своего фактического теста):

Чтобы быстро пройтись по коду — у нас есть заголовок страницы, содержащий слово «tttadffgdhffghmgfdsg«, который также является H1 тег для страницы. У него есть базовое мета-описание, а затем новое фрагмент метатег, для которого установлен восклицательный знак (как описано в документации). Это сигнализирует Google, что эта страница использует AJAX, поэтому сканер может сделать дополнительный запрос для просмотра страницы с загруженным контентом AJAX.

Строка, выделенная бледно-желтым цветом, является условным выражением, которое приведет к появлению слова «kerpwefhjuergsdfgk«(плюс немного больше текста), чтобы отображаться в теле страницы, если страница запрашивается с параметром _escaped_fragment_ (например, mypage.php? _escaped_fragment_ = true). Это параметр, который Google передает странице при повторном сканировании для получения содержимого AJAX.

Моя страница вообще не содержит кода AJAX, а это означает, что ни один пользователь никогда не увидит контент в PHP. если блокировать (если только они не склонны добавлять случайные параметры в свой URL-запрос). Я хотел узнать, смогу ли я повысить рейтинг моей страницы по этому слову kerpwefhjuergsdfgk, который был только в теле страницы при запросе с помощью _escaped_fragment_ параметр.

Я разместил страницу в своем домене и отправил URL-адрес в Google для сканирования (без внутренних или внешних ссылок на страницу). Потом я забыл об этом. Сегодня я попробовал выполнить поиск по каждому из слов (tttadffgdhffghmgfdsg и kerpwefhjuergsdfgk) и обнаружил, что страница ранжируется по обоим.

Помните, я изменил эти слова для этого сообщения в блоге, чтобы не испортить исходный тест (этот пост начнет ранжироваться), и поэтому я изменил поисковую выдачу, чтобы заменить фактические слова, которые я использовал.

Так что все это значит? Что ж, это означает, что я могу легко создать страницу с контентом, который виден только поисковым роботам (т.е. маскировка), используя метод, предложенный Google. Я уверен, вы понимаете, как этим можно злоупотреблять. Это также будет труднее обнаружить, чем некоторые формы маскировки (например, различный контент на основе пользовательского агента), потому что для этого потребуется сканерам загрузить страницу и выполнить JavaScript, чтобы сравнить ее с тем, что на самом деле видят пользователи. Если сканер собирался это сделать, он мог бы также выполнить JavaScript на всех страницах.

Проблема здесь в том, что метод, предложенный Google ( фрагмент метатег и _escaped_fragment_ параметр) на самом деле не имеет отношения к тому, как AJAX реализован в реальном мире. Что вам действительно нужно, так это стандарт, понятный как сканерам, так и браузерам, так что и боты, и люди будут видеть одно и то же. До тех пор я вижу потенциал для комбинации путаницы, индивидуального кода только для ботов и людей, которые пытаются обмануть поисковые системы с его помощью (не я возражаю, моя белая шляпа надежно закреплена).

Хорошо — так что в этом посте немного не хватало юмора, и поэтому я подумал, чтобы закончить его, я поделюсь с вами настоящей CAPTCHA, которую я увидел, редактируя это:

Способ побудить меня внести свой вклад в ВАМоз 😉

Дайте мне знать, что вы думаете обо всем этом, в комментариях ниже. Мне было бы интересно узнать, знает ли кто-нибудь о том, что кто-то на самом деле использует поддержку сканирования AJAX от Google, и какие успехи они достигли.