Как оценивается качество поиска? — отвечает Роман Поборчий
1. У Вас есть единая метрика качества, по которой Вы можете оценить выдачу по любому запросу?
Частично. У нас есть метрика pfound, являющаяся близким родственником классической метрики DCG, и в основном мы оцениваем выдачу по ней. Некоторые аспекты качества поиска такими метриками не ловятся. Например, не ловится разнообразие выдачи, так как каждый документ мы оцениваем независимо от остальных. Для этих аспектов приходится придумывать отдельные способы оценки.
2. Состав запросов, интересы пользователей ведь непрерывно меняются. Как Вы это учитываете?
Сейчас мы смотрим на две выборки общим количеством несколько тысяч запросов в каждой. В одной выборке запросы зафиксированы, в другой постепенно меняются (полностью обновляясь примерно два раза в год). По одной группе мы можем отслеживать «рафинированное» качество ранжирования без учета влияния интересов пользователей, а в другой группе видим влияние реального мира. Новая версия алгоритма, чтобы быть принятой, должна улучшать показатели по обеим группам.
3. Сколько всего запросов оценено асессорами Яндекса?
В общей сложности, считая запросы для поисков разных стран, запросы для картинок и для видеопоиска, получается чуть более ста тысяч запросов.
4. Как Вы оцениваете выдачу по узкопрофессиональным запросам, например, медицинским? Нужно же быть специалистом?
Когда нам попадается узкопрофессиональный запрос (что, отметим, случается ОЧЕНЬ редко — кроме программистов, мало кто ищет в поисковике ответ на по-настоящему сложный вопрос, связанный со своей работой), мы проводим исследование и пытаемся сами установить правильный ответ. Формализованной процедуры нет, обычно все сводится к тому, чтобы найти специалиста в данной области и спросить его. До того, как запрос и документы попадают на оценку асессорам, наши аналитики проводят предварительное исследование запроса, вот именно на этом этапе мы и устанавливаем ответ.
5. Чей поиск лучше — Яндекса или Гугла?
Я могу несколько часов перечислять запросы, на которые Яндекс отвечает лучше, чем Гугл, а могу также несколько часов перечислять запросы, на которые Гугл отвечает лучше, чем Яндекс. Оба уже довольно хороши с практической точки зрения, и у обоих еще есть много областей для совершенствования.
Источник:
Ещё рекомендуем прочитать:
«Яндекс» и Google назвали самые популярные запросы года
Пользовательские страницы "Одноклассников" будут индексироваться поисковиками
Google запустила сервис поиска авиабилетов
Цены и стоимость доставки в сниппете поисковой выдачи
Регион сайта — весомый фактор ранжирования
| К списку статей |
