Семантический поиск: работаем «в контексте»

Array
(
    [ID] => 2145
    [~ID] => 2145
    [NAME] => Cемантический поиск в Яндекс и Google
    [~NAME] => Cемантический поиск в Яндекс и Google
    [IBLOCK_ID] => 25
    [~IBLOCK_ID] => 25
    [IBLOCK_SECTION_ID] => 
    [~IBLOCK_SECTION_ID] => 
    [DETAIL_TEXT] => 

Мы часто видим, как контекст определяет или меняет значение слова. Поисковые системы используют алгоритмы семантического поиска, которые повышают релевантность выдачи, даже если формулировка запроса не совсем соответствует запрашиваемому контенту. Сегодня мы рассмотрим и сравним эти алгоритмы у Google и Яндекс.

Conversation.jpg

Что нужно знать о семантическом поиске, чтобы работать с ним?

Семантический поиск — это технология, при которой учитывается не каждое слово в запросе, а значение составленной из них фразы. Например, если бы вы лет десять назад ввели в поисковую строку «фильм где сестры участвуют в программе по защите свидетелей», вы в лучшем случае увидели бы ссылки на форумы, где другие люди задавались тем же вопросом. Сегодня результат будет таким:

642df152d1999bc66954ada5a54be37a.png

В запросе нет ни слов из названия фильма, ни фамилии актрис, но при этом в двух поисковых системах нужная ссылка находится на первом месте в выдаче.

Именно так работает семантический поиск, использующий для формирования выдачи несколько факторов:

  • информационный контекст;
  • местонахождение пользователя;
  • его персональные данные;
  • поисковую историю;
  • синонимы и словесные вариации;
  • обобщенные и специализированные запросы;
  • язык, которым был записан вопрос;
  • предполагаемую цель поиска.

Все это позволяет уточнить информацию и искать ссылки, максимально соответствующие запросу пользователя вне зависимости от формулировки.

c1af4e966a5d7e52c2459c127deb6483.png

Для решения этой задачи Google использует собственную Сеть знаний, а также алгоритмы Колибри, RankBrain и BERT. Яндекс — алгоритмы Королёв, Спектр, YATI и Y1.

Семантический поиск в Google

Рассмотрим по порядку каждый инструмент, необходимый для работы со сложными запросами.

Сеть знаний (Граф знаний, Knowledge Graph)

Это обширная база данных, включающая в себя основную информацию о предметах, людях и явлениях, а также о существующих между ними связях. Используется с 2012 года. Основное назначение Сети знаний — ответить на запрос пользователя, не требуя от него перехода на сторонний сайт. Но, помимо этого, Граф знаний используется для улучшения качества поиска.

a725fa34c1a5d0ea13bc33e9d849cb02.png

При обработке запроса система обращается к Knowledge Graph с двумя задачами: получить структурированные и упорядоченные данные; извлечь сущность из текста.

Алгоритм Колибри

hummingbird.jpg

Был запущен в 2013 году, чтобы повысить релевантность выдачи. Он анализирует содержимое страницы в целом, не останавливаясь на отдельных ключевых словах, встречающихся в тексте. Для создателей контента алгоритм стал первым шагом к созданию качественных материалов на заданную тематику вместо устаревшего и неинформативного SEO-копирайтинга.

В результате выдача Google стала более актуальной и уместной. Кроме того, алгоритм лучше подходил для голосового поиска.

Алгоритм RankBrain

algoritm-Google-RANKBRAIN.jpg

Позволяет подбирать схожие понятия (или отсеивать неактуальные), опираясь на все поисковые запросы, обрабатываемые Google. Алгоритм представляет собой математическую модель со множеством векторов. Поисковой робот взаимодействует с этой моделью, когда встречает слово или фразу, с которыми не знаком. Rank Brain формирует гипотезы о том, какие известные роботу фразы могут иметь схожее значение. Другими словами, он ищет синонимы и связанные понятия.

После этого отслеживается поведенческий сценарий — таким образом алгоритм постоянно обучается, выявляя закономерности, которые чаще приводят к нужному результату. Благодаря этому поиск Google становится все более точным с каждым годом.

Алгоритм BERT

Google-Bert.png

Это относительно новая разработка, впервые опробованная в 2019 году на английском языке, и постепенно внедряемая в другие языки. BERT — это аббревиатура от Bidirectional Encoder Representations from Transformers (двунаправленная нейронная сеть-кодировщик).

Алгоритм анализирует запрос целиком, не разделяя его на ключевые слова, и понимает естественную речь человека. Для этого система использует технологию обработки естественного языка (NLP) на основе нейронной сети. Это особенно важно для длинных и сложных по структуре запросов, где есть части предложения с разной иерархией и уровнями подчинения.

BERT обрабатывает слова в поисковой фразе на основе их отношения друг к другу, а не по отдельности, от первого до последнего. При этом контекст фразы анализируется двунаправленно, за счет чего и достигается высокая точность понимания речи человека.

Семантический поиск в Яндекс

У Яндекса есть свои способы повышения релевантности поиска, о них — ниже.

Технология Спектр

yandex-spectr.jpg

В случае с короткими запросами не всегда понятна цель, которую подразумевает пользователь. Например, вводя в поисковую строку слово «пицца», вы подразумеваете ее рецепт — или хотите заказать ее с доставкой на дом?

Именно для таких ситуаций Яндекс использует Спектр — систему, работающую со статистикой поисковых запросов. Анализируя эти данные, алгоритм выделяет отдельные термины, имена или названия продуктов, а затем распределяет их по категориям. Причем одно и то же слово может относиться сразу к нескольким категориям. Например, «Ява» - это остров в Индонезии, марка чая, язык программирования или даже мотоцикл.

Каждой категории присваивается свой список потребностей, с которыми люди обычно ищут то или иное слово, а также анализируется вероятность того, что они в своем запросе обращаются к той или иной категории. На основе этих данных и происходит ранжирование.

Иными словами, задача Спектра — определить пропорции, в которых ссылки, соответствующие запросу, но представляющие разные категории, должны присутствовать в итоговой выдаче.

1673ab2003a2489e5dfc1cbbcea3bea9.png

На скриншоте выше хорошо видно, как формируется такая выдача. Красным отмечены ссылки на язык программирования, зеленым — на остров, синим — на мотоциклы.

В результате пользователь так или иначе найдет нужную ему информацию, даже если ввел многозначный запрос без определяющего его контекста.

Алгоритм Королев

DMQnn_ZX0AAWAeq.jpg

Официально запущен в августе 2017 года. Алгоритм создан специально для работы с низкочастотными и многословными запросами (в том числе голосовыми, которые чаще представляют собой естественную речь).

Королев анализирует запрос (и контент на странице) целиком, извлекая общий смысл предложений, абзацев и текстов, чтобы затем сопоставить эти смыслы и найти наиболее схожие. Кроме того, в число факторов ранжирования входит реакция других пользователей со схожими по смыслу запросами.

Яндекс ввел также дополнительный индекс, расширяющий возможности поиска через добавление новых факторов оценки на этапе индексирования. При этом ранжирование проходит в несколько этапов — от простого к сложному, что позволяет сократить время обработки информации и «облегчает» техническую сторону процесса.

Как и Rank Brain, алгоритм является обучаемым — на выдачу влияет как поведение пользователей, так и многочисленные асессорские оценки.

Алгоритм YATI

scale_1200-1024x592.png

Запущенный в 2020 году, алгоритм YATI (Yet Another Transformer with Improvements) помогает оценивать смысловую близость запроса пользователя и страницы сайта.

  • Обновление существенно переработало сам принцип «понимания» смысла текста за счет принципиально новой архитектуры нейросетей-трансформеров.
  • Теперь анализ производится для расширенной области данных — до десяти предложений в составе единого элемента.
  • Добавлено несколько новых стримов, в том числе анкор-лист и запросный индекс для URL по кликам.
  • Обучение нейросети ведется в том числе на основе оценок асессоров и толокеров.
  • Система учится предсказывать вероятность клика, основываясь на базе Яндекса, включающей 1 млрд переформулировок.

Сразу после запуска YATI смог обеспечить более 50% вклада в ранжирование, тем самым перевесив вклад классической оптимизации текстов в продвижении сайтов.

Алгоритм Y1

9a18817826ebe2783a3c6744e841b5a0.png

И совсем свежее на момент публикации обновление было представлено Яндексом 10 июня 2021 года. Новая версия поиска экономит время пользователя, упрощая и ускоряя обработку информации. Среди ключевых особенностей Y1:

  • Быстрые ответы даже для широких информационных запросов. Если на вопрос пользователя существует точный ответ, поисковик отразит его в блоке, помещенном прямо под поисковой строкой. При этом контент для быстрого ответа Яндекс берет на одном из релевантных для запроса сайтов. Вероятность попадания сайта в быстрые ответы выше, если вы предоставляете качественный контент, отвечая на вопрос точно, правдиво и без воды.

  • Поиск внутри видеоинструкций. Теперь ответом на запрос пользователя может быть и видеофайл, причем запускаться он будет с момента, где речь идет именно о предмете запроса. А значит, сайтам стоит чаще работать с авторскими видеоматериалами. Если вы снимаете собственные ролики, старайтесь, чтобы они содержали четкие и понятные инструкции и не забывайте про соответствующую разметку.

  • Оценка по отзывам. Теперь поисковая система предоставляет собственную сводную оценку заведений и организаций, опираясь на размещенные в сети отзывы. Причем ключевые параметры качества обслуживания оцениваются отдельно.

  • Умная камера. Опция, определяющая предмет на фото, также может быть полезной в продвижении бизнеса: умная камера Яндекс может указывать на товары, если находит их в продаже, сразу предоставляя ссылку на интернет-магазин. Поэтому качественные фото товара становятся обязательным атрибутом онлайн-торговли.

Кто справился лучше?

Если сравнивать схожие между собой алгоритмы «Королев» и Rank Brain, можно заметить несколько общих черт:

  • обучаемость;

  • эффективность при работе с голосовым поиском;

  • поиск значения фразы через синонимизацию;

osobennosti_2020.jpg

Кроме того, исследование, проведенное «Пиксель Плюс» вскоре после запуска алгоритма от Яндекс, показало, что качество обработки информации в обеих поисковых системах сопоставимо, а ТОП выдачи по одинаковым запросам выглядит аналогично.

Поэтому мы можем предположить, что механизмы работы этих алгоритмов также похожи, а работа с многословными запросами в обеих поисковых системах будет одинаково комфортна и эффективна. Впрочем, не стоит забывать о том, что Google выпускает обновления чаще, чем Яндекс — а значит, у них больше шансов оперативно устранить ошибки обработки запроса.

Похожие сведения можно найти о другой паре алгоритмов: YATI и BERT. У первого, по наблюдениям экспертов, выше эффективность, зато второй способен решать более широкий круг задач, распознавание смысла текста — лишь одна из его возможностей.

Как быть с SEO в условиях семантического поиска?

Мы уже не в первый раз даем этот совет, но повторим его снова: работайте над качеством контента вместо того, чтобы пытаться «обойти» алгоритмы. Потому что любой алгоритм может меняться, но его итоговая цель всегда одна — предоставить пользователю то, что он ищет, в наиболее удобной и понятной форме.

Важное отличие продвижения в условиях семантического поиска — это то, что синонимичные поисковые запросы воспринимаются алгоритмами как одинаковые. Добавляя в свой текст, например, ключи «няня в Москве» и «бебиситтер в Москве», вы не сможете поднять рейтинг для текстов, объединенных общей тематикой. Поисковые алгоритмы поймут, что вы пишете об одном и том же.

Но в то же время уместное и корректное использование синонимов повышает качество вашего текста и снижает уровень заспамленности. А значит, их все равно стоит использовать, только теперь с другой целью.

1_Ff4nZoFCRhaSSI8AC9ZFNw.png


Современные поисковые системы оценивают не слова и словосочетания, встречающиеся на страницах сайта, а глубину охвата темы и уровень представления материала. Большая, подробная и экспертная статья позволит вам продвигаться по самым разным ключевым запросам из затронутой тематики — даже в том случае, если напрямую они не упомянуты.

5 советов для работы с семантическим поиском

  1. Старайтесь подробнее раскрыть заданную тему, но избегать переспама и воды.

  2. Не забывайте про желания и намерения пользователя, который будет искать информацию по тому или иному запросу.

  3. Работайте с семантической разметкой HTML — она легко считывается поисковыми роботами, помогая им находить отдельные элементы (например, шапку и подвал сайта, блоки навигации, текст, видео).

  4. Не забывайте про микроразметку — она задает тип контента, содержащегося на странице, и упорядочивает ее структуру.

  5. Связь между несколькими документами можно установить при помощи ссылок — это увеличит релевантность каждого из них.

multitasking.png

Итак, в условиях постоянно меняющихся алгоритмов Google и Яндекс главное для владельцев сайта — сохранять спокойствие и продолжать делать полезный контент для своей аудитории. По мере совершенствования семантического поиска находить полезные и релевантные статьи будет только проще.

[~DETAIL_TEXT] =>

Мы часто видим, как контекст определяет или меняет значение слова. Поисковые системы используют алгоритмы семантического поиска, которые повышают релевантность выдачи, даже если формулировка запроса не совсем соответствует запрашиваемому контенту. Сегодня мы рассмотрим и сравним эти алгоритмы у Google и Яндекс.

Conversation.jpg

Что нужно знать о семантическом поиске, чтобы работать с ним?

Семантический поиск — это технология, при которой учитывается не каждое слово в запросе, а значение составленной из них фразы. Например, если бы вы лет десять назад ввели в поисковую строку «фильм где сестры участвуют в программе по защите свидетелей», вы в лучшем случае увидели бы ссылки на форумы, где другие люди задавались тем же вопросом. Сегодня результат будет таким:

642df152d1999bc66954ada5a54be37a.png

В запросе нет ни слов из названия фильма, ни фамилии актрис, но при этом в двух поисковых системах нужная ссылка находится на первом месте в выдаче.

Именно так работает семантический поиск, использующий для формирования выдачи несколько факторов:

  • информационный контекст;
  • местонахождение пользователя;
  • его персональные данные;
  • поисковую историю;
  • синонимы и словесные вариации;
  • обобщенные и специализированные запросы;
  • язык, которым был записан вопрос;
  • предполагаемую цель поиска.

Все это позволяет уточнить информацию и искать ссылки, максимально соответствующие запросу пользователя вне зависимости от формулировки.

c1af4e966a5d7e52c2459c127deb6483.png

Для решения этой задачи Google использует собственную Сеть знаний, а также алгоритмы Колибри, RankBrain и BERT. Яндекс — алгоритмы Королёв, Спектр, YATI и Y1.

Семантический поиск в Google

Рассмотрим по порядку каждый инструмент, необходимый для работы со сложными запросами.

Сеть знаний (Граф знаний, Knowledge Graph)

Это обширная база данных, включающая в себя основную информацию о предметах, людях и явлениях, а также о существующих между ними связях. Используется с 2012 года. Основное назначение Сети знаний — ответить на запрос пользователя, не требуя от него перехода на сторонний сайт. Но, помимо этого, Граф знаний используется для улучшения качества поиска.

a725fa34c1a5d0ea13bc33e9d849cb02.png

При обработке запроса система обращается к Knowledge Graph с двумя задачами: получить структурированные и упорядоченные данные; извлечь сущность из текста.

Алгоритм Колибри

hummingbird.jpg

Был запущен в 2013 году, чтобы повысить релевантность выдачи. Он анализирует содержимое страницы в целом, не останавливаясь на отдельных ключевых словах, встречающихся в тексте. Для создателей контента алгоритм стал первым шагом к созданию качественных материалов на заданную тематику вместо устаревшего и неинформативного SEO-копирайтинга.

В результате выдача Google стала более актуальной и уместной. Кроме того, алгоритм лучше подходил для голосового поиска.

Алгоритм RankBrain

algoritm-Google-RANKBRAIN.jpg

Позволяет подбирать схожие понятия (или отсеивать неактуальные), опираясь на все поисковые запросы, обрабатываемые Google. Алгоритм представляет собой математическую модель со множеством векторов. Поисковой робот взаимодействует с этой моделью, когда встречает слово или фразу, с которыми не знаком. Rank Brain формирует гипотезы о том, какие известные роботу фразы могут иметь схожее значение. Другими словами, он ищет синонимы и связанные понятия.

После этого отслеживается поведенческий сценарий — таким образом алгоритм постоянно обучается, выявляя закономерности, которые чаще приводят к нужному результату. Благодаря этому поиск Google становится все более точным с каждым годом.

Алгоритм BERT

Google-Bert.png

Это относительно новая разработка, впервые опробованная в 2019 году на английском языке, и постепенно внедряемая в другие языки. BERT — это аббревиатура от Bidirectional Encoder Representations from Transformers (двунаправленная нейронная сеть-кодировщик).

Алгоритм анализирует запрос целиком, не разделяя его на ключевые слова, и понимает естественную речь человека. Для этого система использует технологию обработки естественного языка (NLP) на основе нейронной сети. Это особенно важно для длинных и сложных по структуре запросов, где есть части предложения с разной иерархией и уровнями подчинения.

BERT обрабатывает слова в поисковой фразе на основе их отношения друг к другу, а не по отдельности, от первого до последнего. При этом контекст фразы анализируется двунаправленно, за счет чего и достигается высокая точность понимания речи человека.

Семантический поиск в Яндекс

У Яндекса есть свои способы повышения релевантности поиска, о них — ниже.

Технология Спектр

yandex-spectr.jpg

В случае с короткими запросами не всегда понятна цель, которую подразумевает пользователь. Например, вводя в поисковую строку слово «пицца», вы подразумеваете ее рецепт — или хотите заказать ее с доставкой на дом?

Именно для таких ситуаций Яндекс использует Спектр — систему, работающую со статистикой поисковых запросов. Анализируя эти данные, алгоритм выделяет отдельные термины, имена или названия продуктов, а затем распределяет их по категориям. Причем одно и то же слово может относиться сразу к нескольким категориям. Например, «Ява» - это остров в Индонезии, марка чая, язык программирования или даже мотоцикл.

Каждой категории присваивается свой список потребностей, с которыми люди обычно ищут то или иное слово, а также анализируется вероятность того, что они в своем запросе обращаются к той или иной категории. На основе этих данных и происходит ранжирование.

Иными словами, задача Спектра — определить пропорции, в которых ссылки, соответствующие запросу, но представляющие разные категории, должны присутствовать в итоговой выдаче.

1673ab2003a2489e5dfc1cbbcea3bea9.png

На скриншоте выше хорошо видно, как формируется такая выдача. Красным отмечены ссылки на язык программирования, зеленым — на остров, синим — на мотоциклы.

В результате пользователь так или иначе найдет нужную ему информацию, даже если ввел многозначный запрос без определяющего его контекста.

Алгоритм Королев

DMQnn_ZX0AAWAeq.jpg

Официально запущен в августе 2017 года. Алгоритм создан специально для работы с низкочастотными и многословными запросами (в том числе голосовыми, которые чаще представляют собой естественную речь).

Королев анализирует запрос (и контент на странице) целиком, извлекая общий смысл предложений, абзацев и текстов, чтобы затем сопоставить эти смыслы и найти наиболее схожие. Кроме того, в число факторов ранжирования входит реакция других пользователей со схожими по смыслу запросами.

Яндекс ввел также дополнительный индекс, расширяющий возможности поиска через добавление новых факторов оценки на этапе индексирования. При этом ранжирование проходит в несколько этапов — от простого к сложному, что позволяет сократить время обработки информации и «облегчает» техническую сторону процесса.

Как и Rank Brain, алгоритм является обучаемым — на выдачу влияет как поведение пользователей, так и многочисленные асессорские оценки.

Алгоритм YATI

scale_1200-1024x592.png

Запущенный в 2020 году, алгоритм YATI (Yet Another Transformer with Improvements) помогает оценивать смысловую близость запроса пользователя и страницы сайта.

  • Обновление существенно переработало сам принцип «понимания» смысла текста за счет принципиально новой архитектуры нейросетей-трансформеров.
  • Теперь анализ производится для расширенной области данных — до десяти предложений в составе единого элемента.
  • Добавлено несколько новых стримов, в том числе анкор-лист и запросный индекс для URL по кликам.
  • Обучение нейросети ведется в том числе на основе оценок асессоров и толокеров.
  • Система учится предсказывать вероятность клика, основываясь на базе Яндекса, включающей 1 млрд переформулировок.

Сразу после запуска YATI смог обеспечить более 50% вклада в ранжирование, тем самым перевесив вклад классической оптимизации текстов в продвижении сайтов.

Алгоритм Y1

9a18817826ebe2783a3c6744e841b5a0.png

И совсем свежее на момент публикации обновление было представлено Яндексом 10 июня 2021 года. Новая версия поиска экономит время пользователя, упрощая и ускоряя обработку информации. Среди ключевых особенностей Y1:

  • Быстрые ответы даже для широких информационных запросов. Если на вопрос пользователя существует точный ответ, поисковик отразит его в блоке, помещенном прямо под поисковой строкой. При этом контент для быстрого ответа Яндекс берет на одном из релевантных для запроса сайтов. Вероятность попадания сайта в быстрые ответы выше, если вы предоставляете качественный контент, отвечая на вопрос точно, правдиво и без воды.

  • Поиск внутри видеоинструкций. Теперь ответом на запрос пользователя может быть и видеофайл, причем запускаться он будет с момента, где речь идет именно о предмете запроса. А значит, сайтам стоит чаще работать с авторскими видеоматериалами. Если вы снимаете собственные ролики, старайтесь, чтобы они содержали четкие и понятные инструкции и не забывайте про соответствующую разметку.

  • Оценка по отзывам. Теперь поисковая система предоставляет собственную сводную оценку заведений и организаций, опираясь на размещенные в сети отзывы. Причем ключевые параметры качества обслуживания оцениваются отдельно.

  • Умная камера. Опция, определяющая предмет на фото, также может быть полезной в продвижении бизнеса: умная камера Яндекс может указывать на товары, если находит их в продаже, сразу предоставляя ссылку на интернет-магазин. Поэтому качественные фото товара становятся обязательным атрибутом онлайн-торговли.

Кто справился лучше?

Если сравнивать схожие между собой алгоритмы «Королев» и Rank Brain, можно заметить несколько общих черт:

  • обучаемость;

  • эффективность при работе с голосовым поиском;

  • поиск значения фразы через синонимизацию;

osobennosti_2020.jpg

Кроме того, исследование, проведенное «Пиксель Плюс» вскоре после запуска алгоритма от Яндекс, показало, что качество обработки информации в обеих поисковых системах сопоставимо, а ТОП выдачи по одинаковым запросам выглядит аналогично.

Поэтому мы можем предположить, что механизмы работы этих алгоритмов также похожи, а работа с многословными запросами в обеих поисковых системах будет одинаково комфортна и эффективна. Впрочем, не стоит забывать о том, что Google выпускает обновления чаще, чем Яндекс — а значит, у них больше шансов оперативно устранить ошибки обработки запроса.

Похожие сведения можно найти о другой паре алгоритмов: YATI и BERT. У первого, по наблюдениям экспертов, выше эффективность, зато второй способен решать более широкий круг задач, распознавание смысла текста — лишь одна из его возможностей.

Как быть с SEO в условиях семантического поиска?

Мы уже не в первый раз даем этот совет, но повторим его снова: работайте над качеством контента вместо того, чтобы пытаться «обойти» алгоритмы. Потому что любой алгоритм может меняться, но его итоговая цель всегда одна — предоставить пользователю то, что он ищет, в наиболее удобной и понятной форме.

Важное отличие продвижения в условиях семантического поиска — это то, что синонимичные поисковые запросы воспринимаются алгоритмами как одинаковые. Добавляя в свой текст, например, ключи «няня в Москве» и «бебиситтер в Москве», вы не сможете поднять рейтинг для текстов, объединенных общей тематикой. Поисковые алгоритмы поймут, что вы пишете об одном и том же.

Но в то же время уместное и корректное использование синонимов повышает качество вашего текста и снижает уровень заспамленности. А значит, их все равно стоит использовать, только теперь с другой целью.

1_Ff4nZoFCRhaSSI8AC9ZFNw.png


Современные поисковые системы оценивают не слова и словосочетания, встречающиеся на страницах сайта, а глубину охвата темы и уровень представления материала. Большая, подробная и экспертная статья позволит вам продвигаться по самым разным ключевым запросам из затронутой тематики — даже в том случае, если напрямую они не упомянуты.

5 советов для работы с семантическим поиском

  1. Старайтесь подробнее раскрыть заданную тему, но избегать переспама и воды.

  2. Не забывайте про желания и намерения пользователя, который будет искать информацию по тому или иному запросу.

  3. Работайте с семантической разметкой HTML — она легко считывается поисковыми роботами, помогая им находить отдельные элементы (например, шапку и подвал сайта, блоки навигации, текст, видео).

  4. Не забывайте про микроразметку — она задает тип контента, содержащегося на странице, и упорядочивает ее структуру.

  5. Связь между несколькими документами можно установить при помощи ссылок — это увеличит релевантность каждого из них.

multitasking.png

Итак, в условиях постоянно меняющихся алгоритмов Google и Яндекс главное для владельцев сайта — сохранять спокойствие и продолжать делать полезный контент для своей аудитории. По мере совершенствования семантического поиска находить полезные и релевантные статьи будет только проще.

[DETAIL_TEXT_TYPE] => html [~DETAIL_TEXT_TYPE] => html [PREVIEW_TEXT] => [~PREVIEW_TEXT] => [PREVIEW_TEXT_TYPE] => text [~PREVIEW_TEXT_TYPE] => text [DETAIL_PICTURE] => [~DETAIL_PICTURE] => [TIMESTAMP_X] => 16.06.2021 18:33:12 [~TIMESTAMP_X] => 16.06.2021 18:33:12 [ACTIVE_FROM] => 16.06.2021 [~ACTIVE_FROM] => 16.06.2021 [LIST_PAGE_URL] => /o-kompanii/blog/ [~LIST_PAGE_URL] => /o-kompanii/blog/ [DETAIL_PAGE_URL] => /o-kompanii/blog/cemanticheskiy-poisk-v-yandeks-i-google/ [~DETAIL_PAGE_URL] => /o-kompanii/blog/cemanticheskiy-poisk-v-yandeks-i-google/ [LANG_DIR] => / [~LANG_DIR] => / [CODE] => cemanticheskiy-poisk-v-yandeks-i-google [~CODE] => cemanticheskiy-poisk-v-yandeks-i-google [EXTERNAL_ID] => 2145 [~EXTERNAL_ID] => 2145 [IBLOCK_TYPE_ID] => content [~IBLOCK_TYPE_ID] => content [IBLOCK_CODE] => blog [~IBLOCK_CODE] => blog [IBLOCK_EXTERNAL_ID] => [~IBLOCK_EXTERNAL_ID] => [LID] => s2 [~LID] => s2 [NAV_RESULT] => [DISPLAY_ACTIVE_FROM] => 16.06.2021 [IPROPERTY_VALUES] => Array ( [ELEMENT_META_TITLE] => Cемантический поиск в Яндекс и Google [ELEMENT_PAGE_TITLE] => Семантический поиск: работаем «в контексте» ) [FIELDS] => Array ( ) [DISPLAY_PROPERTIES] => Array ( ) [IBLOCK] => Array ( [ID] => 25 [~ID] => 25 [TIMESTAMP_X] => 12.08.2019 11:03:42 [~TIMESTAMP_X] => 12.08.2019 11:03:42 [IBLOCK_TYPE_ID] => content [~IBLOCK_TYPE_ID] => content [LID] => s2 [~LID] => s2 [CODE] => blog [~CODE] => blog [NAME] => Блог [~NAME] => Блог [ACTIVE] => Y [~ACTIVE] => Y [SORT] => 500 [~SORT] => 500 [LIST_PAGE_URL] => /o-kompanii/blog/ [~LIST_PAGE_URL] => /o-kompanii/blog/ [DETAIL_PAGE_URL] => #SITE_DIR#/o-kompanii/blog/#ELEMENT_CODE#/ [~DETAIL_PAGE_URL] => #SITE_DIR#/o-kompanii/blog/#ELEMENT_CODE#/ [SECTION_PAGE_URL] => [~SECTION_PAGE_URL] => [PICTURE] => [~PICTURE] => [DESCRIPTION] => [~DESCRIPTION] => [DESCRIPTION_TYPE] => text [~DESCRIPTION_TYPE] => text [RSS_TTL] => 24 [~RSS_TTL] => 24 [RSS_ACTIVE] => Y [~RSS_ACTIVE] => Y [RSS_FILE_ACTIVE] => N [~RSS_FILE_ACTIVE] => N [RSS_FILE_LIMIT] => [~RSS_FILE_LIMIT] => [RSS_FILE_DAYS] => [~RSS_FILE_DAYS] => [RSS_YANDEX_ACTIVE] => N [~RSS_YANDEX_ACTIVE] => N [XML_ID] => [~XML_ID] => [TMP_ID] => [~TMP_ID] => [INDEX_ELEMENT] => Y [~INDEX_ELEMENT] => Y [INDEX_SECTION] => N [~INDEX_SECTION] => N [WORKFLOW] => N [~WORKFLOW] => N [BIZPROC] => N [~BIZPROC] => N [SECTION_CHOOSER] => L [~SECTION_CHOOSER] => L [LIST_MODE] => [~LIST_MODE] => [RIGHTS_MODE] => S [~RIGHTS_MODE] => S [SECTION_PROPERTY] => N [~SECTION_PROPERTY] => N [VERSION] => 1 [~VERSION] => 1 [LAST_CONV_ELEMENT] => 0 [~LAST_CONV_ELEMENT] => 0 [SOCNET_GROUP_ID] => [~SOCNET_GROUP_ID] => [EDIT_FILE_BEFORE] => [~EDIT_FILE_BEFORE] => [EDIT_FILE_AFTER] => [~EDIT_FILE_AFTER] => [SECTIONS_NAME] => [~SECTIONS_NAME] => [SECTION_NAME] => [~SECTION_NAME] => [ELEMENTS_NAME] => Посты [~ELEMENTS_NAME] => Посты [ELEMENT_NAME] => Пост [~ELEMENT_NAME] => Пост [PROPERTY_INDEX] => N [~PROPERTY_INDEX] => N [CANONICAL_PAGE_URL] => [~CANONICAL_PAGE_URL] => [EXTERNAL_ID] => [~EXTERNAL_ID] => [LANG_DIR] => / [~LANG_DIR] => / [SERVER_NAME] => idea-promotion.ru [~SERVER_NAME] => idea-promotion.ru ) [SECTION] => Array ( [PATH] => Array ( ) ) [SECTION_URL] => [META_TAGS] => Array ( [TITLE] => Семантический поиск: работаем «в контексте» [ELEMENT_CHAIN] => Семантический поиск: работаем «в контексте» [BROWSER_TITLE] => Cемантический поиск в Яндекс и Google [KEYWORDS] => [DESCRIPTION] => ) )

Мы часто видим, как контекст определяет или меняет значение слова. Поисковые системы используют алгоритмы семантического поиска, которые повышают релевантность выдачи, даже если формулировка запроса не совсем соответствует запрашиваемому контенту. Сегодня мы рассмотрим и сравним эти алгоритмы у Google и Яндекс.

Conversation.jpg

Что нужно знать о семантическом поиске, чтобы работать с ним?

Семантический поиск — это технология, при которой учитывается не каждое слово в запросе, а значение составленной из них фразы. Например, если бы вы лет десять назад ввели в поисковую строку «фильм где сестры участвуют в программе по защите свидетелей», вы в лучшем случае увидели бы ссылки на форумы, где другие люди задавались тем же вопросом. Сегодня результат будет таким:

642df152d1999bc66954ada5a54be37a.png

В запросе нет ни слов из названия фильма, ни фамилии актрис, но при этом в двух поисковых системах нужная ссылка находится на первом месте в выдаче.

Именно так работает семантический поиск, использующий для формирования выдачи несколько факторов:

  • информационный контекст;
  • местонахождение пользователя;
  • его персональные данные;
  • поисковую историю;
  • синонимы и словесные вариации;
  • обобщенные и специализированные запросы;
  • язык, которым был записан вопрос;
  • предполагаемую цель поиска.

Все это позволяет уточнить информацию и искать ссылки, максимально соответствующие запросу пользователя вне зависимости от формулировки.

c1af4e966a5d7e52c2459c127deb6483.png

Для решения этой задачи Google использует собственную Сеть знаний, а также алгоритмы Колибри, RankBrain и BERT. Яндекс — алгоритмы Королёв, Спектр, YATI и Y1.

Семантический поиск в Google

Рассмотрим по порядку каждый инструмент, необходимый для работы со сложными запросами.

Сеть знаний (Граф знаний, Knowledge Graph)

Это обширная база данных, включающая в себя основную информацию о предметах, людях и явлениях, а также о существующих между ними связях. Используется с 2012 года. Основное назначение Сети знаний — ответить на запрос пользователя, не требуя от него перехода на сторонний сайт. Но, помимо этого, Граф знаний используется для улучшения качества поиска.

a725fa34c1a5d0ea13bc33e9d849cb02.png

При обработке запроса система обращается к Knowledge Graph с двумя задачами: получить структурированные и упорядоченные данные; извлечь сущность из текста.

Алгоритм Колибри

hummingbird.jpg

Был запущен в 2013 году, чтобы повысить релевантность выдачи. Он анализирует содержимое страницы в целом, не останавливаясь на отдельных ключевых словах, встречающихся в тексте. Для создателей контента алгоритм стал первым шагом к созданию качественных материалов на заданную тематику вместо устаревшего и неинформативного SEO-копирайтинга.

В результате выдача Google стала более актуальной и уместной. Кроме того, алгоритм лучше подходил для голосового поиска.

Алгоритм RankBrain

algoritm-Google-RANKBRAIN.jpg

Позволяет подбирать схожие понятия (или отсеивать неактуальные), опираясь на все поисковые запросы, обрабатываемые Google. Алгоритм представляет собой математическую модель со множеством векторов. Поисковой робот взаимодействует с этой моделью, когда встречает слово или фразу, с которыми не знаком. Rank Brain формирует гипотезы о том, какие известные роботу фразы могут иметь схожее значение. Другими словами, он ищет синонимы и связанные понятия.

После этого отслеживается поведенческий сценарий — таким образом алгоритм постоянно обучается, выявляя закономерности, которые чаще приводят к нужному результату. Благодаря этому поиск Google становится все более точным с каждым годом.

Алгоритм BERT

Google-Bert.png

Это относительно новая разработка, впервые опробованная в 2019 году на английском языке, и постепенно внедряемая в другие языки. BERT — это аббревиатура от Bidirectional Encoder Representations from Transformers (двунаправленная нейронная сеть-кодировщик).

Алгоритм анализирует запрос целиком, не разделяя его на ключевые слова, и понимает естественную речь человека. Для этого система использует технологию обработки естественного языка (NLP) на основе нейронной сети. Это особенно важно для длинных и сложных по структуре запросов, где есть части предложения с разной иерархией и уровнями подчинения.

BERT обрабатывает слова в поисковой фразе на основе их отношения друг к другу, а не по отдельности, от первого до последнего. При этом контекст фразы анализируется двунаправленно, за счет чего и достигается высокая точность понимания речи человека.

Семантический поиск в Яндекс

У Яндекса есть свои способы повышения релевантности поиска, о них — ниже.

Технология Спектр

yandex-spectr.jpg

В случае с короткими запросами не всегда понятна цель, которую подразумевает пользователь. Например, вводя в поисковую строку слово «пицца», вы подразумеваете ее рецепт — или хотите заказать ее с доставкой на дом?

Именно для таких ситуаций Яндекс использует Спектр — систему, работающую со статистикой поисковых запросов. Анализируя эти данные, алгоритм выделяет отдельные термины, имена или названия продуктов, а затем распределяет их по категориям. Причем одно и то же слово может относиться сразу к нескольким категориям. Например, «Ява» - это остров в Индонезии, марка чая, язык программирования или даже мотоцикл.

Каждой категории присваивается свой список потребностей, с которыми люди обычно ищут то или иное слово, а также анализируется вероятность того, что они в своем запросе обращаются к той или иной категории. На основе этих данных и происходит ранжирование.

Иными словами, задача Спектра — определить пропорции, в которых ссылки, соответствующие запросу, но представляющие разные категории, должны присутствовать в итоговой выдаче.

1673ab2003a2489e5dfc1cbbcea3bea9.png

На скриншоте выше хорошо видно, как формируется такая выдача. Красным отмечены ссылки на язык программирования, зеленым — на остров, синим — на мотоциклы.

В результате пользователь так или иначе найдет нужную ему информацию, даже если ввел многозначный запрос без определяющего его контекста.

Алгоритм Королев

DMQnn_ZX0AAWAeq.jpg

Официально запущен в августе 2017 года. Алгоритм создан специально для работы с низкочастотными и многословными запросами (в том числе голосовыми, которые чаще представляют собой естественную речь).

Королев анализирует запрос (и контент на странице) целиком, извлекая общий смысл предложений, абзацев и текстов, чтобы затем сопоставить эти смыслы и найти наиболее схожие. Кроме того, в число факторов ранжирования входит реакция других пользователей со схожими по смыслу запросами.

Яндекс ввел также дополнительный индекс, расширяющий возможности поиска через добавление новых факторов оценки на этапе индексирования. При этом ранжирование проходит в несколько этапов — от простого к сложному, что позволяет сократить время обработки информации и «облегчает» техническую сторону процесса.

Как и Rank Brain, алгоритм является обучаемым — на выдачу влияет как поведение пользователей, так и многочисленные асессорские оценки.

Алгоритм YATI

scale_1200-1024x592.png

Запущенный в 2020 году, алгоритм YATI (Yet Another Transformer with Improvements) помогает оценивать смысловую близость запроса пользователя и страницы сайта.

  • Обновление существенно переработало сам принцип «понимания» смысла текста за счет принципиально новой архитектуры нейросетей-трансформеров.
  • Теперь анализ производится для расширенной области данных — до десяти предложений в составе единого элемента.
  • Добавлено несколько новых стримов, в том числе анкор-лист и запросный индекс для URL по кликам.
  • Обучение нейросети ведется в том числе на основе оценок асессоров и толокеров.
  • Система учится предсказывать вероятность клика, основываясь на базе Яндекса, включающей 1 млрд переформулировок.

Сразу после запуска YATI смог обеспечить более 50% вклада в ранжирование, тем самым перевесив вклад классической оптимизации текстов в продвижении сайтов.

Алгоритм Y1

9a18817826ebe2783a3c6744e841b5a0.png

И совсем свежее на момент публикации обновление было представлено Яндексом 10 июня 2021 года. Новая версия поиска экономит время пользователя, упрощая и ускоряя обработку информации. Среди ключевых особенностей Y1:

  • Быстрые ответы даже для широких информационных запросов. Если на вопрос пользователя существует точный ответ, поисковик отразит его в блоке, помещенном прямо под поисковой строкой. При этом контент для быстрого ответа Яндекс берет на одном из релевантных для запроса сайтов. Вероятность попадания сайта в быстрые ответы выше, если вы предоставляете качественный контент, отвечая на вопрос точно, правдиво и без воды.

  • Поиск внутри видеоинструкций. Теперь ответом на запрос пользователя может быть и видеофайл, причем запускаться он будет с момента, где речь идет именно о предмете запроса. А значит, сайтам стоит чаще работать с авторскими видеоматериалами. Если вы снимаете собственные ролики, старайтесь, чтобы они содержали четкие и понятные инструкции и не забывайте про соответствующую разметку.

  • Оценка по отзывам. Теперь поисковая система предоставляет собственную сводную оценку заведений и организаций, опираясь на размещенные в сети отзывы. Причем ключевые параметры качества обслуживания оцениваются отдельно.

  • Умная камера. Опция, определяющая предмет на фото, также может быть полезной в продвижении бизнеса: умная камера Яндекс может указывать на товары, если находит их в продаже, сразу предоставляя ссылку на интернет-магазин. Поэтому качественные фото товара становятся обязательным атрибутом онлайн-торговли.

Кто справился лучше?

Если сравнивать схожие между собой алгоритмы «Королев» и Rank Brain, можно заметить несколько общих черт:

  • обучаемость;

  • эффективность при работе с голосовым поиском;

  • поиск значения фразы через синонимизацию;

osobennosti_2020.jpg

Кроме того, исследование, проведенное «Пиксель Плюс» вскоре после запуска алгоритма от Яндекс, показало, что качество обработки информации в обеих поисковых системах сопоставимо, а ТОП выдачи по одинаковым запросам выглядит аналогично.

Поэтому мы можем предположить, что механизмы работы этих алгоритмов также похожи, а работа с многословными запросами в обеих поисковых системах будет одинаково комфортна и эффективна. Впрочем, не стоит забывать о том, что Google выпускает обновления чаще, чем Яндекс — а значит, у них больше шансов оперативно устранить ошибки обработки запроса.

Похожие сведения можно найти о другой паре алгоритмов: YATI и BERT. У первого, по наблюдениям экспертов, выше эффективность, зато второй способен решать более широкий круг задач, распознавание смысла текста — лишь одна из его возможностей.

Как быть с SEO в условиях семантического поиска?

Мы уже не в первый раз даем этот совет, но повторим его снова: работайте над качеством контента вместо того, чтобы пытаться «обойти» алгоритмы. Потому что любой алгоритм может меняться, но его итоговая цель всегда одна — предоставить пользователю то, что он ищет, в наиболее удобной и понятной форме.

Важное отличие продвижения в условиях семантического поиска — это то, что синонимичные поисковые запросы воспринимаются алгоритмами как одинаковые. Добавляя в свой текст, например, ключи «няня в Москве» и «бебиситтер в Москве», вы не сможете поднять рейтинг для текстов, объединенных общей тематикой. Поисковые алгоритмы поймут, что вы пишете об одном и том же.

Но в то же время уместное и корректное использование синонимов повышает качество вашего текста и снижает уровень заспамленности. А значит, их все равно стоит использовать, только теперь с другой целью.

1_Ff4nZoFCRhaSSI8AC9ZFNw.png


Современные поисковые системы оценивают не слова и словосочетания, встречающиеся на страницах сайта, а глубину охвата темы и уровень представления материала. Большая, подробная и экспертная статья позволит вам продвигаться по самым разным ключевым запросам из затронутой тематики — даже в том случае, если напрямую они не упомянуты.

5 советов для работы с семантическим поиском

  1. Старайтесь подробнее раскрыть заданную тему, но избегать переспама и воды.

  2. Не забывайте про желания и намерения пользователя, который будет искать информацию по тому или иному запросу.

  3. Работайте с семантической разметкой HTML — она легко считывается поисковыми роботами, помогая им находить отдельные элементы (например, шапку и подвал сайта, блоки навигации, текст, видео).

  4. Не забывайте про микроразметку — она задает тип контента, содержащегося на странице, и упорядочивает ее структуру.

  5. Связь между несколькими документами можно установить при помощи ссылок — это увеличит релевантность каждого из них.

multitasking.png

Итак, в условиях постоянно меняющихся алгоритмов Google и Яндекс главное для владельцев сайта — сохранять спокойствие и продолжать делать полезный контент для своей аудитории. По мере совершенствования семантического поиска находить полезные и релевантные статьи будет только проще.




Вверх