Сообщения

Показаны сообщения с ярлыком "разработка тестов"

Почему все так боятся, что сотрудник будет списывать?

Изображение
Пост из серии "почему". Ну п очему, все так боятся, что сотрудник будет списывать?  Этот вопрос меня волновал еще в 2012 году. Потому что, работая на тот момент в ПриватБанке, у меня была задача разработать систему проверки честности ответов на тесты с помощью веб-камер. При чем желательно двух. Одна смотрит на сотрудника, другая на его монитор. Тот способ проверки, который существовал ранее (выборочное контрольное тестирование, которое назначалось обучающим центром) уже не устраивал. Хотелось чего-то более "модного" что-ли. Как же я обрадовалась, когда  по разным причинам пришли к выводу, что новый способ проверки честности обучения нецелесообразен. Потому что даже описывать этот процесс было весьма странно, не то, что реализовывать.  Я думала о том,  так ли важна проверка честности? Это в школе, в институте важно проверить, сам ли сдал, проверить честность. Потому как проверить на практике применения в жизни редко получается (отдельная тема востребованнос...

Разработка тестов: "Знать" и "понимать"

При составлении тестов новый разработчик курсов часто не знает, с какой стороны подойти, что и как спросить, каким образом составить вопросы и как придумать к ним варианты ответов. Давайте начнем с того, что вопросы в тесте чаще всего проверяют что «знает» и что «понимает» сотрудник после изучения курса. Есть более сложные уровни познания (пирамида Блума ), но сейчас мы поговорим о двух нижних уровнях, которые мы можем проверить через тестирование. Если в курсе есть четкая цель, которая включает «действие», «критерии» и «условия выполнения», то составить вопросы просто. - Что спросить? - То, что лежит в цели электронного курса. Напомню, что цель обучения может быть сформулирована в таком виде: ознакомить сотрудников с новой услугой «Регулярный платеж»; научить сотрудников типовым диалогам при продвижении данной услуги и отработке возражений; нацелить сотрудников на получение бонуса через достижение 10-ти продаж данной услуги в месяц. В таком с...

Размышления о тестах и об интерактивности курсов

1. Тест (или др. способ контроля прохождения курса) - это не маркер "читал/не читал". Тест - это инструмент для контроля знаний, которые должны быть применимы в работе, если тест проверяет читал/не читал и не проверяет то, что нужно (и должно) применяться в работе, то зачем такой тест?  2. Практичность и реальность курса - это не повод перехода к интерактивности. Да, в интерактивных курсах есть свой большой плюс, но он есть при умении разработчика правильно использовать это преимущество. Уверена, что слайдовые курсы могут быть и практичными, и реалистичными, и интересными. Надо переходить от смысла курса к его форме, а не наоборот.

Разработка курсов: электронные курсы 2007 vs 2012

Какими были электронные курсы 5 лет назад и почему сейчас они другие. Почему сейчас так много вопросов, доработок и исправлений. Почему ранее размещали электронный текст, проверяя его на правописание и последовательность изложения информации, а сейчас он проходит тщательную методическую оценку по целому ряду критериев? 2007. Ранее курсы можно было разделить на несколько типов: курс-текст (= электронная версия книги) курс-инструкция (1.2.2, 1.2.2.3, 1.2.3.4 ....)  курс с картинками (= электронная версия книги с оформлением) курс с картинками, практ. примерами и речевыми модулями.. Последний вариант встречался редко, и на тот момент я еще не понимала его ценности. Тогда еще у нас не было разговоров о педагогическом дизайне и об измерении эффективности дистанционного обучения. НО уже тогда были такие курсы, которые сейчас можно смело относить к эталонам (даже учитывая их очень скромную интерактивность в виде проверочных вопросов в самом курсе). Целью улучше...

Проверка честности ответов на теста в e-learning

Статья http://www.hrm.ru/blog_proverka-chestnosti-otvetov-na-testy-v-e-lea... Важная тема. У нас поднимался вопрос проверки с помощью веб-камер, но по разным причинам пришли к выводу, что он нецелесообразен. И так ли важна проверка честности? Это в школе, в институте важно проверить, сам ли сдал, проверить честность. Потому как проверить на практике применения в жизни редко получается (отдельная тема востребованности школьных знаний).  А на работе, когда есть функциональны обязанности, для выполнения которых нужно не только знать (сдать самому тест), но и уметь, так ли важна проверка на честность, за которой мы гонимся? Если есть мотивация, если есть цель и практическая ценность самого курса - его изучат и сами сдадут. Например, мне нужно приготовить борщ, а я не умею. Но нужно и всё тут. Гугл в помощь. Я найду рецепт,  приготовлю борщ,  запомню или запишу рецепт, чтобы использовать далее. Если мне нужна информация, и знаю, что она пригодится для неоднор...

Управление e-learning проектом: продолжаем эксперименты с KPI тестов

Изображение
Может, без статистики и не жизнь вовсе, как в Служебном романе говорил Новосельцев. На мой взгляд, статистика - это скучно, хотя это может быть красиво и только это в ней меня радует)))) Наши KPI  содержат несколько параметров, по которым мы планируем оценивать эффективность тестов с точки зрения правильно установленного балла, времени тестирования, уровня сложности и т.п. (подробнее в блоге ранее). Вот что получилось при анализе балла и времени тестирования по двум из тестов. По обоим установлен проходной балл 65 и время тестирования 20 минут. Кривая (реально кривая получилась:) показывает намек на закон нормального распределения (это про 10%-20%-40%-20%-10%). Синий пунктир - проходной балл. Для расчета брались только первые попытки тестирования, пересдачи не учитывались. Исходя из того, что наши данные не ложатся на кривую, они не соответствуют закону нормального распределения. Хотя мы сами решили, что они должны соответствовать. И исходя из всег...

Управление e-learning проектом: KPI тестов или вопросы о вопросах

Что такое Средний проходной балл по тестированию? Среднее арифметическое всех (удачных и неудачных) набранных проходных баллов только по первым попыткам тестирования сотрудников? Всех попыток: удачных и неудачных? Только удачных? Только первых? ОТКУДА ВОПРОС: Оценивая эффективность теста, пришли к следующим параметрам, которые назвали KPI тестов: Установленный проходной балл по тесту (устанавливается тьютором при размещении/актуализации теста) Средний проходной балл по тестированию = среднее арифметическое всех (удачных и неудачных) набранных проходных баллов только по первым попыткам тестирования сотрудников.  Соотношение удачных и неудачных попыток сдачи теста (отношение между удачными и неудачными первыми попытками тестирования за период) Общее количество попыток сдачи теста (общее количество попыток сдачи теста за период, включая успешные и неуспешные попытки) Время, выделенное на тестирование (параметр находится в базе СДО, устанавливается тьютором...

Управление e-learning проектом: как мы измеряли эффективность обучения, или наши 38 попугаев

Всеми любимый советский мультфильм про 38 попугаев как нельзя лучше подходит под нашу историю.      Итак, появилась у нас мысль и мы стали ее думать : «Как измерить эффективность обучения»?        Немного про СДО в нашем банке.      Система обучения существует уже 10 лет, активно функционирует, наполняется и обновляется.   Достаточно много курсов и тестов, книги и вебинары – вот ее наполнение. Плюс система обучающих рассылок по почте.      170 авторов курсов, более 40 000 постоянных слушателей и в три раза больше слушателей в целом.      Уже три года для каждой должности сформирована (и ежегодно обновляется) программа обучения, состоящая из курсов, книг и потенциально тренингов, вебинаров, перечня сайтов и доп. ресурсов.      Сотрудники постепенно сдают тесты из своей программы в течение года и выполняют норматив обучения, который отобража...