среда, 19 октября 2011 г.

Управление e-learning проектом: KPI тестов или вопросы о вопросах

Что такое Средний проходной балл по тестированию?
Среднее арифметическое всех (удачных и неудачных) набранных проходных баллов только по первым попыткам тестирования сотрудников?

  • Всех попыток: удачных и неудачных?
  • Только удачных?
  • Только первых?
ОТКУДА ВОПРОС:
Оценивая эффективность теста, пришли к следующим параметрам, которые назвали KPI тестов:

  1. Установленный проходной балл по тесту (устанавливается тьютором при размещении/актуализации теста)
  2. Средний проходной балл по тестированию = среднее арифметическое всех (удачных и неудачных) набранных проходных баллов только по первым попыткам тестирования сотрудников. 
  3. Соотношение удачных и неудачных попыток сдачи теста (отношение между удачными и неудачными первыми попытками тестирования за период)
  4. Общее количество попыток сдачи теста (общее количество попыток сдачи теста за период, включая успешные и неуспешные попытки)
  5. Время, выделенное на тестирование (параметр находится в базе СДО, устанавливается тьютором)
  6. Среднее время, затраченное на сдачу теста = среднее арифметическое времени всех попыток тестирования (удачных и неудачных), совершенных сотрудниками.
  7. Среднее количество пересдач по тесту (параметр рассчитывается как среднее значение среди всех попыток пересдачи теста за период)
  8. Количество сотрудников, у которых тест подключен в программу обучения (параметр находится в базе СДО)
Получается пока очень сложно и запутанно.
Консультировались с психологами, рылись в дебрях Интернет, но ... пока нет полного понимания, даст ли эта группа параметров возможность оценить эффективность теста, или его валидность, или что-то еще..
П.С.

Чего хотим добиться: большая цель - повышение эффективности обучения, меньшая - через оценку качества учебных материалов, тут конкретно взяли тесты.
Идея: у нас в системе практически все тесты имеют проходной балл 65, установлено было давно, методистами, уже никто не помнит почему именно 65 (то есть 65% проходной из максимально 100%).
И теперь хотим пересмотреть этот балл, а с ним и время тестирования (так же давно установлено было 1 минута на 1 вопрос и по всем тестам системы).
Взялись и за другие параметры тестов, какие можно измерить. 
К чем хотим прийти: установить индивидуальный проходной балл и время тестирования для каждого теста, точнее изменить их на основе анализа параметров KPI. 
Тем самым хотим более эффективно проверять знания сотрудников с помощью тестов, своевременно убирать из системы тесты, которые становятся не нужными, вовремя реагировать на высокую или низкую сложность тестов и актуализировать их. 
Вот как-то так.

Комментариев нет:

Отправить комментарий