Показатели правильности работы системы поиска видеоконтента Лицензеро

Большинство систем поиска — включая даже такие большие поисковики, как Google и Яндекс — не возвращают 100% правильный список результатов. В результатах поиска непременно будут пропущены некоторые документы, имеющие отношение к запросу пользователя. И наоборот — в списке результатов всегда будет присутствовать некоторое количество документов, не относящихся к тематике запроса.

Общепринятой в промышленности и науке методикой оценки качества поиска являются графики точности и находимости (от англ. precision-recall). Находимость — процент найденного системой релевантного контента. Точность — процент результатов, относящихся к теме, в возвращенном по запросу списке.

Точность тесно связана с находимостью. Увеличивая количество найденых из всех существующих роликов, мы обязательно увеличим количество неправильных роликов в результатах поиска. Например, по простому запросу Жанна Фриске, мы можем найти 95% всех роликов Жанны, имея в результатах поиска 1% роликов гр. Блестящие, или найти 99% роликов Жанны, найдя при этом 5% не относящихся к теме Блестящих.

К сожалению, данные показатели качества составляют коммерческую тайну, и не публикуются вне закрытых научно-исследовательских конференций. Однако, сравнив наши показатели с новейшими разработками конкурентов на конференции CVPR 2010 (Конференция по Компьютерному Зрению и Распознаванию Объектов, Июнь 2010, Сан Франциско), мы пришли к выводу, что Лицензеро является одной из лучших существующих систем.