Модели и методы оценки знаний, применяемые при построении модульно-рейтинговых систем

Определение и оценка знаний представляет собой задачу распознавания, основанную на обучении. Решение проблемы оценивания состоит из трех этапов (рис. 1):

определение параметров контроля (обучение), выполняемое до начала КЗ;

сбор, анализ и/или преобразование данных, получаемых в процессе контроля (распознавание);

выставление оценки за контрольную работу по завершении контроля (распознавание).

Рис. 1 - Модель оценивания знаний при контроле

На первом этапе по результатам контрольного эксперимента определяются метаданные заданий (трудность, значимость и т.д.) и устанавливаются параметры КЗ (число вопросов, время на ответ и др.). Метаданные и параметры помещаются в репозиторий системы и используются на последующих этапах. На втором этапе при выполнении контрольных заданий осуществляется сбор, анализ и, возможно, предварительная обработка полученных данных. На последнем этапе выставляется общая оценка за работу. В большинстве методов оценивания предусматривается вычисление некоторой величины, которая затем сравнивается с предварительно заданными граничными значениями. То есть оценка определяется по формуле:

(1)

где I – оценка за контрольную работу; {c1, c2, …, cм} – вектор граничных значений; M – максимальная возможная оценка (например, при пятибалльной шкале M = 5).

Методы оценивания в основном используются на втором и третьем этапе, хотя существует ряд методов, которые применяются для выставления оценки только на последнем этапе.

Методы оценки знаний можно разделить на два основных класса: математические методы и классификационные методы.

К математическим моделям, которые лучше использовать для оценки знаний относятся:

Простейшая модель. Данная модель является самой простой и самой распространенной. Ответ на каждое задание оценивается по двухбалльной (правильно или неправильно) или многобалльной (например, пятибалльной) шкале. Оценка выставляется путем вычисления значения R:

где Ri - правильный ответ обучаемого на i -е задание; k – количество правильных ответов из n предложенных (k n), которое затем обычно округляется по правилам математики. К достоинствам данной модели следует отнести простоту ее реализации. Недостатком модели является ее зависимость от единственного параметра (количества правильных ответов), т.е. она не учитывает не полностью точные ответы и характеристики заданий. Простейшая модель имеет самую низкую надежность, т.к. не позволяет объективно оценить знания учащегося.

Модели, учитывающие параметры заданий. В этих моделях при выставлении оценки используются характеристики контрольных вопросов. Существуют различные модификации данного типа моделей.

Модель, учитывающая время выполнения задания и/или общее время контрольной работы. Для правильных ответов рассчитывается значение Ri по формуле:

,

где t – время выполнения задания; tmax – время, отведенное для выполнения задания.

Далее итоговая оценка вычисляется аналогично “Простейшей модели”.

Модель на основе уровней усвоения. В этой модели характеристикой задания является уровень усвоения, для проверки которого оно предназначено. Таким образом, задания разделяются на пять групп, соответствующих уровням усвоения: понимание, опознание, воспроизведение, применение, творческая деятельность [Соловов, 1995]. Для каждого задания определяется набор существенных операций. Под существенными понимают те операции, которые выполняются на проверяемом уровне. Операции, принадлежащие к более низким уровням, в число существенных не входят. Для выставления оценки используется коэффициент Кa:

где Р1 - количество правильно выполненных существенных операций в процессе контроля;

Р2 - общее количество существенных операций в контрольной работе;

a = 0, 1, 2, 3, 4 – соответствуют уровням усвоения.

Оценка выставляется на основе заданных граничных значений по соотношениям, которые выбираются в зависимости от сложности тематики. Один из вариантов: более 0.9 – отлично; 0.7 – 0.9 – хорошо, 0.5 – 0.7 – удовлетворительно. При меньшем значении – неудовлетворительно.

Таким образом, для оценивания знаний применяются разные модели и алгоритмы, начиная с самых простых, учитывающих лишь процент правильно выполненых заданий при двухбалльной системе оценки отдельного вопроса, и заканчивая сложными составными, в которых используются всевозможные параметры контроля и многобалльная система оценки как отдельных заданий, так и работы в целом.