[Кирилл Юдин]

По каждой категории предлагается по 5 (примерно) вопросов.

Тут у меня прогресс - это я понял. Но, вот эти-то вопросы для меня и представляют затруднения. Я их не могу придумать - инерция мышления сказывается, возможно.

В существующий системе в шкалу не заложен анализ элементов

Если формулировка этих элементов будет хорошей и по составу достаточной для всестороннего оценивания - то да, это, наверное, лучше.

Например, в работах совершенно разного уровня может присутствовать конфликт. Все рецензенты поставят за этот параметр (наличие конфликта) одинаковую оценку. Это плохо?

Я думаю - да. И вот почему:

Кстати, кто-то может с комментарием, что конфликт присутствует формально, поставить "-" за этот параметр.

К тому же и возвращаемся - к "вкусовщине". Вы об этом пишете:

Когда Вы говорите, что конфликт яркий, интересный - Вы выражаете субъективное мнение. А когда Вы просто фиксируете наличие конфликта, это и есть объективность. Так как из оценки исключается субъективность в виде Вашего личного вкуса.

Вот я и ставлю минус, хотя формально конфликт существует. Но это же моё субъективное мнение, что конфликт формальный. То есть суть та же.
Но при многооценочной шкале, я могу поставить за наличие слабоаргументированного, притянутого за уши конфликта троечку. За чёткий, драматичный конфликт - шестёрку. Мне кажется, это более понятно и объективно. Во всяком случае, при сопосталении плюсов и минусов обоих вариантов, лично я пока не вижу преимущества нового способа оценивания. Пока не вижу.

И всё-таки как бы Вы плохо не относились к авторам, сравнивать их работы с сочинениями школьников, как минимум, некорректно.

Я ко всем авторам, даже крайне слабым, отношусь очень хорошо. К их работам - по-разному. Но считать их работы произведенем искусства намного превосходящим сочинения школьников - как минимум, глупо (для меня, например, сочиение написать сложнее). Я вообще далёк от романтизации, идиализации или обожествления чего бы то ни было (процесса, рукописи, способностей, личности и т.д.). Сухарь, короче.

а вот рецензию, я бы написал.

Уверен, авторы будут Вам искренне благодарны. Эта рецензия будет гораздо важнее, чем оценка от преполагаемого формального жюриста. Я серьёзно

Я уже дважды писал (теперь трижды), что эта оценка вообще не учитывается при подсчёте среднего балла за параметр. То есть за него не ставится не "0", не "1". Процитирую пример, который уже приводил:

Я это понял. То есть в баллах это будет всё равно - 0. Иными словами, что "нет", что "не оценивается" - отражается на конечном результате одинаково. Вот это меня и смущает.

Позже я дописал, что нужно ограничить число таких оценок 2-3. И сделать обязательным их комментирование.

Комментирование - это хорошо. Но 2-3 оценки, влияющие на общую картину, как отрицательный балл, при том, что просто затруднительные для оценивающего (но тяготеющие к положительной оценке, ведь при явном недостатке сомнений не может быть) - это не есть хорошо.
То есть, что работа получившая три "нет", что работа получившая три "не оценивается" при остальных одинаковых оценках получаются раными.
И потом, если формулировки будут чёткими и понятными выбрать между "да" и "нет" всё-таки можно. К чему это "не оценивается"? Простите, но я действительно не понимаю в чём нюанс.

Сейчас Вы оцениваете каждый показатель одной оценкой. Я предлагаю каждый показатель оценивать пятью оценками. Эти пять (более объективных!) оценок и дают градацию. Разве это не очевидно?

Да. Эта идея мне нравится.

В этой части мне всё понятно - в смысле принципа новой шкалы. Надо думать над элементами - всё зависит от того, какими они будут. Как я уже говорил ранее - не могу представить, например, пять равнозначных, но разных(!) криетриев оценивания диалогов... хотя... надо попробовать переключить мозги.