Комплексные тестовые формы как инструмент повышения качества адаптивного обучения
Timur.Idiatullov — Пнд, 06/12/2010 - 23:17
Вот Вам, дорогие посетители, пример статьи "ни о чем" из апрельского сборника 2009 года (автор я - мне и краснеть).
А тема-то заявлена интересная. Надеюсь порадовать позднее Вас более содержательными материалами по данной тематике. Пока же - материалы к докладу по комплексным тестовым формам и их роли в адаптивном обучении.
Актуальность совершенствования методик адаптивного обучения, а в особенности с применением информационных технологий, привело к интенсивному развитию рынка услуг по разработке содержания электронных обучающих систем. При этом специфика образовательного пространства России не дает конечному потребителю возможности выбора наиболее эффективных форм обучения, поскольку насыщенность рынка невелика, а существующие крупные издатели («Бука», «1С») заинтересованы в распространении легко тиражируемых изданий. В итоге, единственными качественными предложениями являются электронные учебники по школьным курсам физики, математики, иностранным языкам и другим предметам программы старших классов.
Между тем, несмотря на свою массовость и хорошее техническое исполнение, подавляющее большинство существующих электронных учебников, равно как и комплектов разработчика, не содержат никаких указаний на возможность проведения обучения в адаптивном режиме. Даже в случае декларирования наличия такого режима, вся «адаптивность» обычно сводится к необходимости преодолении рубежного теста перед переходом к следующему разделу курса. Другими словами, система обучения не настраивается на пользователя, а вынуждает его принять заданный разработчиком ритм подачи учебного материала. Конечно же, линейная структура такого учебника не всегда связана лишь с низким качеством методической проработки содержания курса, но почти всегда, автор не видит средств, которые бы позволили ему качественно дифференцировать обучаемых по оптимальному для них способу подачи материала.
Для решения проблемы диагностики читателя в электронных обучающих системах могут и должны использоваться специальные комплексы тестовых материалов, основанные на взаимодействии нескольких форм и направлений оценивания, в частности, скорости усвоения материала, предпочитаемой формы подачи материала, различных когнитивных особенностей.
Проектирование комплексных тестовых форм оценивания качества подготовки начинается с создания типового банка тестовых заданий. Такой банк, как правило, базируется на кодификаторе учебной дисциплины (профессиограмме специальности) и описании генеральной совокупности испытуемых. Информация о генеральной совокупности позволяет устанавливать стратификационные параметры выборок апробации и калибровки.
Типовой банк тестовых заданий как база тестовых материалов может иметь разную структуру, но обычно используется древовидная классификация заданий по тематическому признаку в соответствии с древовидной структурой кодификатора. То есть, основу классификации заданий составляют тематические разделы дисциплины, которые в свою очередь подразделяются на подразделы, блоки, пункты, вплоть до единичных элементов содержания, которые и объединяют группы схожих заданий. При этом, однако, многие разработки (компьютерные оболочки) не поддерживают множественной классификации и адресации, что затрудняет эффективное использование подготовленных заданий для целей комплексного оценивания. Подобное упущение необходимо исправить всем разработчикам, которые хотели бы предлагать инструментарий, адекватный современным тенденциям развития электронных форм обучения.
Задание классификации по нескольким признакам и множественные коды проверяемых элементов содержания позволяют проводить эффективную доработку теста путем подбора альтернатив с одновременными исключающими правилами, например, включать два задания на географию Древней Греции, но для разных городов и правителей.
Калибровка параметров заданий завязана на характеристики использованных для этого выборок испытуемых. Это позволяет проводить «настройку» оценочных алгоритмов в широком диапазоне целевых групп потребителей, не затрачивая избыточных усилий на повторные апробации программ обучения. Однако современные системы управления банками тестовых заданий не поддерживают хранение таких данных. Как правило, предполагается, что банк заданий изначально ориентирован на единственную генеральную совокупность испытуемых. Между тем, данный подход в общем случае не оптимален, так как несколько разных институтов могут использовать одинаковые наборы заданий, но предъявлять к испытуемым разные требования.
На основании банка калиброванных заданий в соответствии со спецификацией могут быть подготовлены один или несколько вариантов теста. Варианты могут создаваться предварительно, либо непосредственно в ходе тестирования. В последнем случае может быть реализована технология адаптивного тестирования, при которой назначение нового задания происходит в ответ на результаты предыдущих предъявленных заданий. В таком случае появляется возможность регулировать сложность и содержание теста (адаптировать тест).
Семейство методов адаптивного тестирования является одним из достижений современной теории тестов. Именно благодаря положению о независимости истинного значения трудности задания от наличия остальных заданий и вариации выборки. При исключении возможной подсказки в содержании других заданий, вероятность правильного ответа у конкретной пары испытуемый-задание должна оставаться неизменной.
Используя данное правило, а также знание калиброванных характеристик заданий из банка, позволяет оценивать неизвестную величину подготовленности испытуемого по результатам выполнения заданий. При этом желательно подобрать тест таким образом, чтобы максимум его информационной функции лежал вблизи его уровня подготовленности. Кроме того, при комплексном оценивании, адаптивный алгоритм может отрабатываться сразу по нескольким шкалам, педагогическим и психологическим.
Основное требование к подготовке банка для комплексного адаптивного тестирования заключается в обеспечении максимальной точности оценок трудности и дифференцирующей способности заданий и вопросов, что возможно лишь для заданий с максимально устойчивыми характеристиками при вариации выборки. Выполнение этих условий необходимо, ибо в противоположном случае возможна неустойчивая работа адаптивного алгоритма, когда вместо ожидаемой реакции на выполнение заданий будет получен неопределенный результат, либо произойдет «зацикливание».
Например, если испытуемый успешно справляется с поставленными заданиями, то система начинает предъявлять ему задания возрастающей трудности до преодоления его уровня подготовки. Когда задания устойчиво превзойдут испытуемого по оценочным параметрам, то начинается обратный поиск. Так продолжается до тех пор, пока не будет найден узкий коридор оценок, внутри которого находится уровень подготовленности испытуемого. Данный способ адаптации называется методом последовательных приближений.
Однако если при калибровке заданий допущена большая погрешность, то возможна ситуация, когда система генерации будет делать неверные выводы по подготовленности. Более того, возможны ситуации, когда последовательность не будет сходящейся, потому что испытуемый не сможет решить заведомо легкое (по мнению алгоритма) задание и ему будет назначено еще более легкое, а на "обратном колебании" - решит слишком трудное. Так как тестирование не может продолжаться бесконечно, то и конечный результат испытуемого может оказаться достаточно неточным.
Вместе с тем, при наличии качественного банка калиброванных заданий, технология адаптивного тестирования позволяет значительно повысить точность дифференцирования испытуемых и расширить рабочий диапазон теста. Успех использования адаптивных алгоритмов основан на банке заданий, содержащем множество заданий по каждому элементу содержания, входящего в спецификацию, достаточно "густо" заполняющих шкалу истинного параметра трудности.
В отличие от остальных типов тестовых материалов, комплексные диагностические тесты разрабатываются не столько с целью оценивания общего уровня подготовки испытуемых, сколько для исследования параметров самого процесса обучения. Список типичных целей диагностического тестирования может быть представлен следующим образом:
• Поиск пробелов в структуре знаний (освоенном материале);
• Анализ предпочтений в характере представления контрольного материала;
• Анализ предпочитаемой формы подачи учебного материала (в сочетании с модулями, основанными на разных формах);
• Адаптацию содержания учебного курса (увеличение доли времени на преподнесение материала и изменения формы подачи, достаточной полноты освоения по которому не достигнуто).
При этом диагностические тесты не являются упрощением тестов текущего контроля, хоть и предшествуют им в таблице классификации тестов. Напротив, диагностические тесты могут потребовать огромного объема работ по их совершенствованию, но только инструментарий для этого практически отсутствует. В настоящее время для разработки диагностических тестов используется скорее инструментарий и подходы конструирования психологических тестов.
Основной задачей диагностического теста является оценить конструкт - полноту освоения раздела дисциплины, достаточность развитости умений, предпочитаемые формы подачи материала. В отличие от остальных типов педагогических тестов, диагностические тесты могут содержать не только задания, но и вопросы или суждения, которые вообще не подразумевают неверного ответа. Результаты ответов на такие вопросы могут использоваться для классификации испытуемых.
Диагностические тесты являются одним из важных элементов построения электронных обучающих систем, составляя, вместе с тестами текущего и рубежного контроля, инструмент обратной связи, позволяющей системе адаптироваться к предпочитаемому слушателем стилю и режиму обучения. Например, если испытуемый лучше выполняет задания с табличной формой записи условия, то, вероятнее всего, подача учебного материала в виде "сплошного" текста не будет давать максимальной отдачи. Такому слушателю желательно представлять информацию в предварительно структурированном виде (таблиц, схем и графиков).
По окончании изучения учебного материала, как правило, рекомендуется проводить итоговую аттестацию. Желательно, чтобы разработчики электронных учебных курсов предоставляли желающим возможность контрольного тестирования в онлайн режиме, что позволит не только предложить пользователям продолжение обучения или сертификацию, но и совершенствовать сами тестовые материалы.
Тенденции современного образования направлены на возрастающую роль информационного обеспечения учебного процесса. Причем не столько в массовом оснащении аудиторий вычислительной техникой, а в расширении информационного обмена на всех уровнях системы образования. С учетом существующей тенденции ежегодного снижения количества абитуриентов, развитие электронных форм обучения будет очевидным выходом из сложившейся ситуации. При этом, только развитие адаптивных форм обучения является преимуществом в наметившейся конкурентной борьбе разработчиков компьютерных программ обучения, равно как и организация регулярных контрольных мероприятий, пополняющих информационную базу образовательного учреждений, выступающего базой для разработки нового поколения обучающих систем.
- Войдите на сайт для отправки комментариев