Нейм Ник. Эксперимент с системой Ифэя

Этот обзор посвящается Эксперименту с системой ИФЭЯ, проведённому на конкурсе фантастического рассказа "Золотая чаша - 2012".

Участвовало 10 рассказов, выбранных жеребьёвкой, и одиннадцать судей-добровольцев.

Эксперимент (проверка системы)

Судьи-участники игры - все, кто пожелает. Чем больше, тем лучше!

Выбор рассказов: начиная с первой группы, с номера равного количеству судей-игроков, шагом 10 проходим вдоль всего списка. Если рассказов мало, продолжаем по кругу, (возвращаясь в начало списка), пока не наберём 10 штук. При повторных кругах выбранные ранее рассказы в счёт не идут.

Пример: 8 судей, 123 рассказа, 3 группы по 41 рассказ. Начинаем счёт с 8-го рассказа первой группы, так как игроков 8. Отбираем каждый десятый. Итак: 8, 18, 28, 38 (из первой группы), 48 (N 7 второй группы), 58 (N 17 второй группы), 68 (N 27 второй группы), 78 (N 37 второй группы), 88 (N 6 третьей группы) и 98 (N 16 третьей группы).

Система оценок: интерес-финал-эмоции-язык

Интерес:

0 - неинтересный (если бы не конкурс - не дочитал бы)

1 - малоинтересный (хочется пропускать фразы, но узнать, чем кончится)

2 - интересный (хотелось читать всё подряд, но можно и отложить)

3 - очень интересный (читал не отрываясь, досадуя на помехи)

Финал:

0 - разочаровал (автор всё испортил таким концом)

1 - маловыразительный (так и знал, что ничего не случится)

2 - хороший (оригинальный, в чём-то неожиданный, улучшающий рассказ)

3 - очень хороший (потрясающий, совершенно неожиданный)

Эмоции (эмоциональность рассказа) - герои и события, как они описаны:

0 - не вызывают сопереживания

1 - вызывают сопереживание

2 - вызывают глубокие переживания

Язык:

0 - невыразительный - много ошибок, искажающих смысл написанного

1 - хороший - ясный, ошибки не влияют на чтение

2 - красивый - красочный, художественный, стильный, ошибки случайные

Ход игры: после объявления списка судьи убеждаются, что ошибки не было, рассказы выбраны правильно и оценивают их по системе выше.

Каждый рассказ получает от каждого судьи четыре оценки, записанные как х-х-х-х, например, 2-1-0-1. Не перепутайте, первая цифра - за интерес (от 0 до 3), вторая - за финал (от 0 до 3), третья за эмоции (от 0 до 2) и четвёртая - за язык (от 0 до 2).

Готовые оценки участники сообщают в личной почте организатору игры.

Организатор составляет таблицу и публикует её.

Судьи проверяют, нет ли ошибок, и все переходят к следующему этапу эксперимента.

Анализ: таблицы можно проанализировать, дают ли они больше информации авторам. Организатор это сделает, но и все желающие (не только судьи) могут сделать это по-своему.

Судьи делятся впечатлениями о процессе: понравилось им или нет оценивать рассказы таким способом, что было хорошо и удобно, а что нет.

Разумеется, чем больше судей, тем точнее оценки отразят мнение читателей (и тем больше будет работы организатору).

Когда закончится конкурс и будут опубликованы его оценки, их можно будет сравнить с оценками системы и результатом игры.

Список судей:

1. Ник
2. goddo
3. Chukcha
4. Gelu McAllister
5. to_chego_net
6. Valien
7. spelly
8. Smelyi
9. Василий Курсанов
10. Клер
11. fannni

Итак, собраны все оценки, судьи высказали свои мнения, и можно приступать к подсчёту очков. В нашем эксперименте участвовало 10 рассказов. Вот они:

11 - Второй этап
21 - Освободите мой разум
31 - Путеводитель пустоты
41 - Брошенная планета
51 - Бутон
61 - Чистая победа
71 - Оазис
81 - Возьмём гнома на удачу
91 - Вечное сияние
101 - Ослепительно серый

Первое место из них занял "Ослепительно серый". Он получил 90 баллов из 110 возможных (десять первых мест и разделил второе - третье в одном случае).

На втором месте рассказ "Бутон". Он набрал 64 балла.

На третьем - "Брошенная планета" 61 балл.

На четвёртом - "Освободите мой разум" 49 баллов.

На пятом - "Чистая победа" 48 баллов.

На шестом - "Возьмём гнома на удачу" 39 баллов.

На седьмом - "Путеводитель пустоты" 32 баллов.

На восьмом - "Второй этап" 28 баллов.

На девятом - "Оазис" 19 баллов.

На десятом - "Вечное сияние" 18 баллов.

Сводная таблица баллов всех судей по параметрам И-Ф-Э-Я:

НАЗВАНИЕ РАССКАЗА	ИНТЕРЕС	ФИНАЛ	ЭМОЦИИ	ЯЗЫК	СУММА
Второй этап	9	8	3	8	28
Освободите мой разум	19	16	4	10	49
Путеводитель пустоты	14	8	3	7	32
Брошенная планета	21	16	11	13	61
Бутон	23	18	11	12	64
Чистая победа	17	14	8	9	48
Оазис	5	5	4	5	19
Возьмём гнома на удачу	13	9	6	11	39
Вечное сияние	5	5	2	6	18
Ослепительно серый	29	23	16	22	90

А сейчас давайте обсудим, получили ли мы какое-то дополнительное знание, из системы ИФЭЯ, по сравнению с простой 10-бальной (только последний суммарный столбик). Обсуждая оценки, сравним также близкие по общему баллу рассказы.

Приблизительные очки такие: 90, 60, 60, 50, 50, 40, 30, 30, 20, 20.

У "Ослепительно серого" за интерес 29 из 33 возможных (88%). Однако десять из одиннадцати судей поставил ему за интерес свой высший балл. И даже если этот бал 1, то никакой другой рассказ у данного взыскательного судьи 2 по интересу не получил.

Допустим, кто-то хотел бы занизить оценку этому рассказу. Тогда такому судье - "Медведю", играющему на понижение (термин биржевого рынка) - необходимо "влепить" 0 за интерес этому рассказу и стать "Быком" для других (повысить им баллы за интерес). Разумеется, такая комбинация совершенно явно видна, в отличие от низкой или высокой оценки, не сравниваемой с другими, (выставленной неизвестно за что!) по 10-бальной системе.

За финал (оригинальность концовки) рассказ "Ослепительно серый" получил 23 балла из 33 возможных (70%). Это по-прежнему высокий показатель, но автор уже видит в нём некоторый намёк: читатель не получает такого же высокого удовольствия от завершения рассказа, как от интересного сюжета.

Эмоциональность: 16 из 22 (72%). То же самое! Читатель не так сильно сопереживает погибшему герою.

Язык: 22 из 22 (100%)! Вот, оказывается где главное достоинство рассказа - 11 первых мест (все!) и к тому же 11 наивысших баллов за язык.

Как приятно поздравить автора!

Не знаю, возможно, писателей не интересуют подобные детали, в чём я сомневаюсь. Меня бы интересовали, даже в случае столь убедительной победы. Ведь даже простой просмотр таблицы от одиннадцати судей,

освещает более сильные и слабые стороны рассказа.

Это как получить сразу одиннадцать отзывов с оценкой одних и тех же свойств рассказа! Не нужно? Лишне?

Рассказы "Бутон" и "Брошенная планета". Их баллы интересно разбирать параллельно, как близкие.

"Бутон" набрал за интерес 23 из 33 (70%)

"Брошенная планета" - за интерес 21 из 33 (63%).

"Бутон" за финал собрал 18 из 33 (55%)

"Брошенная планета" - за финал 16 из 33 (48%)

За эмоциональность оба рассказа набрали 11 из 22 (50%),

"Бутон" за язык - 12 из 22 (55%), а "Брошенная планета" - 13 из 22 (59%). Немного тут, немного там, в области интереса и остросюжетности, и "планета" уступает "бутону" второе место.

Каждый автор сам видит, что ему делать, и как улучшать результаты. Наиболее сильной стороной обоих рассказов служит интересный сюжет.

Следующая пара конкурентов - "Освободите мой разум" и "Чистая победа". Они по баллам ближе друг к другу, чем какие-либо другие рассказы.

"Освободите мой разум" получил за интерес 19 из 33 (58%)

"Чистая победа" - за интерес - 17 из 33 (52%)

Справедливо, что 4 - 5 места, как и 2 - 3 занимают довольно интересные рассказы. Как там с оригинальным финалом?

"Освободите мой разум" - за финал набрал 16 из 33 (48%)

"Чистая победа" - за финал - 14 из 33(42%)

Показатели начитают падать ниже 50%. Намёк есть?

"Освободите мой разум" - за эмоциональность - 4 из 22 (18%) - ясно?

"Чистая победа" - за эмоции - 8 из 22 (36%)

"Освободите мой разум" - язык - 10 из 22 (45%)

"Чистая победа" - язык - 9 из 22 (41%)

Вот и объяснение: для 4 - 5 места всё держится на интересе, остальные показатели надо подтягивать.

Также видно, как влияет отставание по эмоциональности от 2 - 3 места.

Ненадолго вернёмся к гипотетическому завышению - занижению. Не вижу способа "подкинуть" конкуренту 10 баллов (вниз или вверх). Поскольку это означает влияние на все параметры, то курс "против течения" моментально виден и необъясним. А в системе ИФЭЯ нет необъяснимых оценок в отличие от простой 10-бальной!

Рассказ "Возьмём гнома на удачу" с 39 баллами из 110 (35%) занимает промежуточную позицию (медиану) в шлейфе рассказа-победителя.

За интерес он набрал 13 баллов из 33 (39%).

За финал 9 из 33 (27%), за эмоциональность 6 из 22 (27%), за язык 11 из 22 (50%). Автор сам сделает выводы, в чём сильные и слабые стороны рассказа.

Хочу отметить, что самый низкий балл от одного судьи был 1, а самый высокий - тоже от одного - 6. Видите, тоже не 0 и 10, то есть, это - не "подсуживание". Удаление оценки "Медведя" или "Быка" лишь незначительно сдвигает рассказ вправо или влево. А удаление обоих результатов (вместе с судьями) превращает общую оценку в 32 балла, но уже из 90 возможных, то есть те же 35%.

Следующая пара рассказов с баллами вблизи 30, это "Путеводитель пустоты" - 32 балла из 110 (29%) и "Второй этап" 28 баллов из 110 (25%).

За интерес "Путеводитель пустоты" набрал 14 баллов из 33 (42%), а

"Второй этап" - 9 из 33 (27%).

За финал оба рассказа набрали поровну - по 8 баллов из 33 (24%).

За эмоциональность тоже равные баллы - по 3 балла из 22 (14%)

За язык "Путеводитель пустоты" получил 7 баллов из 22 (32%), а

"Второй этап" - 8 из 22 (36%).

Опять же, по-моему, цифры говорят за себя, и авторы видят слабые стороны (не детально, только в общем, но вполне ясно) работ.

Последняя пара рассказов с баллами в области 20. Это "Оазис" с 19 баллами из 110 (17%) и "Вечное сияние" с 18 баллами из 110 (16%).

Оба рассказа по интересу и финалу набрали равные и одинаковые баллы: 5 из 33 (15%). Эмоциональность "Оазиса" оценили в 4 балла из 22 (18%), а "Вечного сияния" в 2 балла из 22 (9%).

Язык "Оазиса" получил 5 баллов из 22 (23%), а "Вечного сияния" 6 баллов из 22 (27%). Думаю, авторы сами видят, в чём их резервы.

Итак, эксперимент показывает, что ИФЭЯ так же хорошо оценивает рассказы по параметрам, как и простая 10-бальная система по одной оценке.

В отличие от последней, ИФЭЯ несёт информацию "мини-отзыва" авторам и даже без всякой рецензии подсказывает им мнение читателей.

Искусственную необъективность оценок труднее провести в системе. Она легче выявляется.

В заключение, всем авторам - творческих успехов, всем исследователям - научных, а читателям - хороших рассказов!

Комментарии: 14, последний от 20/03/2013. © Copyright Нейм Ник (nikneim09@gmail.com) Размещен: 14/03/2013, изменен: 14/03/2013. 21k. Статистика. Очерк: Публицистика Очерки и литобзоры Иллюстрации/приложения: 1 шт. Скачать FB2		Ваша оценка:

Нейм Ник : другие произведения.

Эксперимент с системой Ифэя