Управление e-learning проектом: KPI тестов или вопросы о вопросах
Что такое Средний проходной балл по тестированию?
Среднее арифметическое всех (удачных и неудачных) набранных проходных баллов только по первым попыткам тестирования сотрудников?
Оценивая эффективность теста, пришли к следующим параметрам, которые назвали KPI тестов:
Консультировались с психологами, рылись в дебрях Интернет, но ... пока нет полного понимания, даст ли эта группа параметров возможность оценить эффективность теста, или его валидность, или что-то еще..
П.С.
Среднее арифметическое всех (удачных и неудачных) набранных проходных баллов только по первым попыткам тестирования сотрудников?
- Всех попыток: удачных и неудачных?
- Только удачных?
- Только первых?
Оценивая эффективность теста, пришли к следующим параметрам, которые назвали KPI тестов:
- Установленный проходной балл по тесту (устанавливается тьютором при размещении/актуализации теста)
- Средний проходной балл по тестированию = среднее арифметическое всех (удачных и неудачных) набранных проходных баллов только по первым попыткам тестирования сотрудников.
- Соотношение удачных и неудачных попыток сдачи теста (отношение между удачными и неудачными первыми попытками тестирования за период)
- Общее количество попыток сдачи теста (общее количество попыток сдачи теста за период, включая успешные и неуспешные попытки)
- Время, выделенное на тестирование (параметр находится в базе СДО, устанавливается тьютором)
- Среднее время, затраченное на сдачу теста = среднее арифметическое времени всех попыток тестирования (удачных и неудачных), совершенных сотрудниками.
- Среднее количество пересдач по тесту (параметр рассчитывается как среднее значение среди всех попыток пересдачи теста за период)
- Количество сотрудников, у которых тест подключен в программу обучения (параметр находится в базе СДО)
Консультировались с психологами, рылись в дебрях Интернет, но ... пока нет полного понимания, даст ли эта группа параметров возможность оценить эффективность теста, или его валидность, или что-то еще..
П.С.
-
Чего хотим добиться: большая цель - повышение эффективности обучения, меньшая - через оценку качества учебных материалов, тут конкретно взяли тесты.
Идея: у нас в системе практически все тесты имеют проходной балл 65, установлено было давно, методистами, уже никто не помнит почему именно 65 (то есть 65% проходной из максимально 100%).
И теперь хотим пересмотреть этот балл, а с ним и время тестирования (так же давно установлено было 1 минута на 1 вопрос и по всем тестам системы).
Взялись и за другие параметры тестов, какие можно измерить.
К чем хотим прийти: установить индивидуальный проходной балл и время тестирования для каждого теста, точнее изменить их на основе анализа параметров KPI.
Тем самым хотим более эффективно проверять знания сотрудников с помощью тестов, своевременно убирать из системы тесты, которые становятся не нужными, вовремя реагировать на высокую или низкую сложность тестов и актуализировать их.
Вот как-то так.