О, рейтинги!

В современном интернете одним из лучших фильтров контента является рейтинг. И зачастую его работа эффективнее при однобитных оценках.

Рассмотрим, к примеру, сайт demotivation.ru. Этот проект стартовал сравнительно недавно и уже обрёл популярность благодаря новизне и качеству заложенной в нём идеи. Посетители загружают "демотиваторы" - фотографии, снабжённые позитивными заголовками и контр-позитивными подзаголовками, а затем оценивают творчество друг друга. Наиболее высоко оцененные демотиваторы вывешиваются на главной странице и со временем списываются в архив.

Отмечу, что новой здесь является только идея самого демотиватора, как творческой формы народного протеста против социальной рекламы вообще и её производственной разновидности, мотиваторов, в частности. Идея же "общественной фильтрации" отнюдь не нова и достаточно хорошо обкатана Интернетом. Она позволяет не только экономить время владельцев и модераторов веб-ресурса, но и напрямую, чисто технически, держать ресурс в русле коньюнктуры потребительского спроса.

Однако, как мне кажется, эта идея работает не на полную мощность в случае, когда оценка допускает несколько градаций. Казалось бы, возможность оценить произведение по шкале "плохо - так себе - хорошо - отлично" позволяет более точно выяснить мнение оценщиков, чем более простая в технической реализации оценка "понравилось - не понравилось". Однако, при этом не следует забывать про два эффекта, свойственных Интернет-аудитории:

1. Обычно соотношение "вменяемых" оценщиков, к оценкам которых стоит прислушаться, к "невменяемым", которые склонны давать оценки в соответствии со своим сиюминутным настроением и (эффект сериала!) тематической привязкой данного произведения к ранее просмотренным, намного меньше единицы.

2. Посредственные работы чаще всего не оцениваются вообще никак. То есть, ни за них, ни против них чаще всего вообще не голосуют.

Я опущу здесь некоторое количество математики, приведённой в исходной статье на www.wgent.com, поскольку, как мне кажется, особого интереса для читателей не представляет. Отмечу однако, что все эти расчёты проведены исходя из следующего тезиса:

• Thesis: "Вменяемое меньшинство" оценщиков более склонно давать градуированную оценку, чем "Невменяемое большинство", тяготеющее к однобитности.

То есть, "вменяемые" оценщики дадут оценки, более адекватно отражающие ценность фотографии, но варьирующиеся вокруг оценки "средне" со сдвигом в сторону реальной ценности фото, а большинство "невменяемых оценщиков" (не говоря уже о целенаправленных флудерах, которых тоже "вменяемыми" назвать сложно) даст оценку менее адекватную, зато безаппеляционную: либо "отвратительно", либо "отлично". И при итоговом подсчёте те работы, которые сумели потрафить именно "невменяемым", получат оценку "отлично" несмотря на вялые "средне" и "так  себе" со стороны "вменяемых" оценщиков.

При этом, если учесть "эффект игнорирования", смещающий оценку в плюс, то мы увидим, что разница между  "многобалльной" и "однобитной" оценками будет максимальна даже не для "так себе", а именно для "хороших" произведений. И эта разница, разумеется, будет отрицательной.

Результаты замечательно видны на той же "Демотивации". Просто откройте страницу новых поступлений, а через некоторое время посмотрите, каким из них удалось оказаться на главной странице, а каким - нет. Вы будете удивлены тем, какое количество дешёвых приколов, кошачьих фотографий и просто отвратительных кадров, не имеющих, тем не менее, никакого отношения к самой идее демотивации, просачивается в топы в то время, как реально демотивирующие работы уходят в /dev/null. Не так давно владельцам сайта даже пришлось открыть отдельную рубрику "Выбор редакции", куда они отбирают демотиваторы вручную - с чем их и можно поздравить.

Каков же рецепт? Он прост: заставьте "вменяемых" оценщиков  быть категоричными. Введите однобитную оценку: либо "+" либо "-", как это реализовано, например, на БашОрге.

Правда, как заметил представитель OCR Aldebaran, однобитные оценки эффективнее только в простейших рейтинговых системах, вычисляющих рейтинг "в лоб", т.е., как арифметическую сумму оценок, делённую на количество оценщиков. Он привёл мне пример: "Если по пятибалльной шкале из тысячи человек 500 оценили книгу на 5 баллов и 500 - на 1 балл, хорошая это книга или плохая?". Возразить нечего - скорее всего, книга, получившая такие полярные оценки, действительно стоит того, чтобы её прочесть, несмотря на среднюю оценку в 3 балла. Дисперсия оценок (а именно её "срезает" однобитная система) для сложных рейтинговых систем - столь же необходимый параметр, сколь и нежелательный для простых. Вплоть до построения диаграмм, по которым намётанный глаз искушённого читателя (либо реально очень хорошая математика рейтингующей системы) может заметить яркий, но спорный шедевр среди серой, но раскрученной литпопсы. Впрочем, это уже - совершенно другая история...

Источник: Web Agent