Пилотный запуск электронного курса
С одной стороны, мы экономим время, с другой стороны, снижаем эффективность электронного курса. В практике корпоративного обучения все равно всплывают некоторые ошибки, неточности, неактуальная информация или же просто технические проблемы, с которыми столкнутся первые сотрудники, начавшие обучение по новому курсу. И, конечно, это сформирует не самое лучшее отношение к новому материалу.
Будет лучше, если о проблемах курса вам расскажет пилотная группа, которая даст объективную развернутую обратную связь, поможет улучшить курс и не допустить критических ошибок в процессе обучения.
Поэтому давайте детально рассмотрим, как организовать пилотное обучение по новому курсу.
Этап 1. Проясняем, для чего необходимо пилотное обучение.
Эти аргументы должен знать и понимать не только отдел обучения, но и инициатор, который ожидает быстрого запуска курса.
Итак, основными целями пилотного запуска электронного курса являются:
- проверка правильности постановки учебных целей и соответствия материала потребностям целевой аудитории,
- проверка курса на контекстные ошибки: неактуальная информация, смысловые неточности, опечатки,
- проверка курса на технические ошибки: доступ к курсу, скорость загрузки страниц, проигрывание файлов, отображение различных элементов,
- анализ курса на комфортность обучения, визуальное и логическое восприятие, учебную нагрузку, скорость прохождения модулей,
- повышение эффективности последующего обучения основной группы учащихся вследствие исправления ошибок по результатам пилотного обучения.
Этап 2. Формируем состав пилотной группы.
В состав пилотной группы могут войти две категории оценивающих:
- те, кому нужны знания курса в их работе,
- те, кто может оценить качество курса с точки зрения педагогического дизайна.
Если ваш курс сделан профессиональным разработчиком курсов и в методологии вы не сомневаетесь, то можно ограничиться первой категорией респондентов. В нее должны войти сотрудники компании, для которых предназначен данный курс и которые четко соответствуют определенной в курсе целевой аудитории. То есть, если это информация для новичков, то и тестировать должны новички, а не опытные сотрудники из соображений "они знают, что должно быть в курсе, так как давно работают". Вопросы наполнения курса должны решаться на этапе сбора потребностей, постановки целей обучения и работы с заказчикоми или экспертом по теме. Опытный сотрудник может выступить таким экспертом, но не участником пилотной группы, так как его оценка будет необъективна вследствие имеющегося опыта.
Количество участников пилотной группы может составить 10-20 сотрудников. Если вы когда-либо пробовали запускать “сырой” курс, то получите примерно такое же количество отзывов от наиболее сознательных участников обучения и снимите материал на редактирование. А так как мы стараемся этого избежать, то перейдем к следующему этапу.
Этап 3. Пониманием различие анкет обратной связи для пилотной и основной группы обучения.
Для проведения оценки после прохождения курса пилотной группе понадобится расширенная анкета обратной связи, предназначенная именно для "тест-драйва" курса. Эта анкета существенно отличается от той, которую вы можете попросить у основной группы участников обучения.
Те, кто оценивают качество курса, будут подготовлены вами к ответам на ряд вопросов и погружение в детали, поэтому количество вопросов их не испугает. Но если такую же анкету вы предложите в финале обучения основной группы, то вряд ли получите множество ответов. Таким респондентам можно дать не более 3-5 коротких вопросов. Цель такой анкеты - отследить ошибки, которые могут возникнут в процессе использования курса (технические моменты, устаревшая информация, “несохранение” результатов обучения). Поэтому мы сейчас создадим именно расширенную анкету.
Детально про обратную связь в e-learning: http://elearnlmp.blogspot.com/2015/02/e-learning.html
Этап 4. Создаем анкету обратной связи для пилотной группы
Рассмотрим подробно те моменты, которые мы попросим оценить пилотную группу. Не смотря на универсальность данной анкеты, некоторые ее пункты могут оказаться для вашего курса лишними, либо же, наоборот, возникнет необходимость в дополнительный критериях. Если вы не сможете самостоятельно отредактировать анкету, то обязательно оставьте участникам пилотного обучения свободное поле для комментариев в последнем пункте анкеты.
Кроме первого и последнего пунктов, чек-лист будет представлять собой перечень критериев с вариантами ответов "да/нет" и возможностью оставить комментарий. Вид анкеты может незначительно меняться в зависимости от типа курса (слайдовый, видео-курс, тренажер, геймификационный курс). Это в случае, если вы захотите более детально проанализировать видео-контент, аудио-дорожки, мотивацию к получению бейджей и так далее. Также следует отметить, что это основные параметры оценки, которые не перепроверяют абсолютно все требования педагогического дизайна. Цель данного чек-листа - оценить курс, который грамотно спроектирован и собран, опираясь на теории обучения и базовые знания педагогического дизайна.
В идеале, анкеты мы, конечно же, автоматизируем средствами LMS, потому что пилотное тестирование курса это рядовой шаблонный процесс. А все такие процессы в e-learning обрабатывает учебный портал для того, чтобы мы максимально уделили внимание анализу, а не ручному подсчету баллов на листах бумаги. Более того, автоматизация также может наглядно представить результаты оценки и сразу обнаружить проблемные места курса.
АНКЕТА ДЛЯ ОЦЕНКИ КУРСА ПИЛОТНОЙ ГРУППОЙ
Пункт 1. Оценка результата обучения.
Ответ на вопрос "Чему вы научились после прохождения курса?" в свободной форме
"Чему вы научились после прохождения курса?" - ключевой вопрос, который позволит вам понять, будет ли данный курс полезен и эффективен. Его стоит сделать открытым и дать возможность написать ответ в поле ввода. Эти ответы станут вашим индикатором правильности разработки курса в соответствии с этапами педагогического дизайна. Они покажут вам, насколько верно была сформулирована цель обучения, была ли она разбита на подцели, которые можно реализовать в формате электронного курса, верно ли вы определили целевую аудиторию и их потребность в новых знаниях. И, в целом, целесообразно ли обучать по данному курсу. Поэтому спросите у пилотной группы, что конкретно они смогут сделать после изучения курса.
Ответы, которые вам скажут, что с курсом все "ок", выглядят так:
- могу правильно создать и оформить отчет, в котором раньше допускал ошибки,
- могу заполнить страховой полис в определенной программе,
- могу вычислить % накоплений по депозиту,
- могу отличить стиль прованс от скандинавского стиля дизайна по определенным признакам,
- могу по вопросам клиента определить, какой по функционалу планшет ему предложить из модельного ряда.
Все эти ответы детальны, конкретны, они демонстрируют определенные отработанные приемы или сформированный навык совершения некоторого действия. Также это свидетельствует о том, что в курсе было много практических заданий, которые помогли отработать новый навыки (например, кейсы на подбор продукта клиенту, диалоговые тренажеры, калькулятор расчета процентов по депозиту).
Ответы, которые вам скажут, что с курсом надо еще поработать:
- ознакомился с правилами корпоративной этики,
- прочитал инструкцию по охране труда,
- узнал про разные типы клиентов,
- повторил то, что уже знал раньше,
- понимаю, что нужно соблюдать правила безопасности.
Такие ответы сигнализируют о том, что цели курса были недостаточно конкретизированы и у разработчика не было понимая того, что должно быть результатом обучения и какие действия может выполнять человек после обучения. Либо были допущены ошибки при анализе целевой аудитории и имеющего опыта учащихся, когда учились тому, что знали ранее. Также подобные ответы могут сигнализировать о том, что в курсе идет акцент на теорию без отработки в практических заданиях.
Возможно, вам покажется, что этот вопрос слишком общий или слишком простой. Но это не так. В корпоративном e-learning все еще существует множество курсов без конкретных целей. Курсы для ознакомления. Курсы, представляющие собой нормативные документы, разбитые по слайдам с картинками. Курсы, после прохождения которых понимаешь, что потеряно время на разработку красивых слайдов, которые ничему не учат.
Детально про то, что должно произойти после изучения электронного курса: http://elearnlmp.blogspot.com/2015/03/blog-post_25.html
Пункт 2. Оценка наполнения курса
Ответы в формате да/нет
Оцениваемые критерии:
- более половины курса составляют практические задания,
- текст всего курса оформлен в едином стиле, понятен и удобен для чтения,
- в тексте отсутствуют грамматические ошибки и опечатки,
- вся представленная в курсе информация актуальна, то есть корректна, соответствует законодательству, процедурам, нормам и т.д.,
- есть глоссарий основных терминов,
- есть ответы на наиболее часто задаваемые вопросы.
Пункт 3. Оценка технических моментов в процессе прохождения курса
Ответы в формате да/нет
Оцениваемые критерии:
- курс достаточно быстро загружается и не возникает ошибок при прохождении,
- курс корректно отображается в браузере (быстро, без ошибок, можно указать конкретный тип браузера при необходимости),
- все материалы курса доступны для изучения (все ссылки открываются, все видео и аудио материалы проигрываются, практ. задания настроены без ошибок, переход между слайдами работает корректно).
Пункт 4. Оценка удобства и комфортности прохождения курса.
Ответы в формате да/нет
Оцениваемые критерии:
- понятная четко работающая навигация,
- наглядно демонстрируется прогресс обучения (продвижение по курсу, количество пройденных слайдов, набранные баллы по практ. заданиям),
- понятно, кому можно задавать вопросы по теме курса,
- понятно, куда можно обратиться при возникновении технических сложностей в процессе прохождения курса,
- в любой момент обучения есть возможность вернуться к содержанию и к любому из разделов курса.
Пункт 5. Оценка интенсивности обучения.
Ответы в формате да/нет
Оцениваемые критерии:
- курс разбит на удобные для усвоения информации разделы/блоки/мини-курсы,
- материал курса представлен понятно и логично,
- в процессе обучения легко вспомнить, где остановился, и вернуться к разделу, на котором пришлось прервать курс,
- курс легко изучать не отрываясь от работы в короткие промежутки времени (5-15 минут).
Пункт 6. Оценка практических заданий в курсе.
Ответы в формате да/нет
Оцениваемые критерии:
- практические задания имеют развернутую обратную связь, которая поясняет выбранный вариант ответа, как верный, так и неверный (если это не контрольное тестовое задание)
- практические задания реалистичны и представлены в виде кейсов,
- практические задания разнообразные, в меру сложные, отвечают теме курса,
- количество практических заданий достаточное для погружения в тему,
- в конце курса есть итоговое практическое задание на комплексную проверку всех новых знаний и навыков.
Пункт 7. Оценка оформления курса.
Ответы в формате да/нет
Оцениваемые критерии:
- курс выполнен в едином стиле, единой цветовой гамме,
- использованы изображения единого типа (фото, клипарт, рисунок) качества,
- использованы удобные для чтения шрифты,
- использованы единые навигационные элементы во всем курсе,
- слайды курса оптимально наполнены информацией (без перегрузки),
- визуальное оформление помогает восприятию и изучению новой информации.
Пункт 8. Оценка общего впечатления от курса.
Ответы в формате да/нет
Оцениваемые критерии:
- после первых слайдов было желание пройти курс до конца,
- сюжет курса, подобранные персонажи и стиль изложения способствуют усвоению новой информации,
- выполнение практических заданий мотивирует к дальнейшему прохождению курса,
- хочется посоветовать изучить этот курс своим друзьям и коллегам.
Пункт 9. Оценка запоминаемости новой информации в курсе.
Ответы в формате да/нет
Оцениваемые критерии:
- в конце каждого раздела курса есть выводы,
- каждый последующий раздел резюмирует информацию из предыдущего,
- каждое последующее практическое задание использует знания, полученные в предыдущих разделах,
- есть задания на написание учащимся своих идей, заметок, памяток, конспектов,
- есть возможность скачать краткие инструкции, памятки с основными идеями курса.
Пункт 10. Отзывы, впечатления и комментарии в свободной форме.
Ответ в свободной форме
Дополнительно можно провести отложенную оценку запоминаемости через некоторое время после прохождения курса пилотной группой. В таком случае мы спрашиваем у респондентов, что из курса им запомнилось лучше всего, а что быстро забылось. Это позволит сформировать информационное сопровождение после изучения курса, например, посредством регулярных рассылок, напоминаний, промежуточных тестирований, обсуждений. Ведь любая новая информация должна несколько раз повториться для того, чтобы учащиеся смогли связать ее с имеющимся опытом и перенести свои знания из краткосрочной в долгосрочную память. В противном случае одноразовое обучение по курсу даст такой же одноразовый краткосрочный эффект.
Есть еще один способ оценки курса на предмет эффективности полученных знаний: когда мы берем две равноценные группы, которые, например, продают одни и те же продукты. Оцениваем уровень продаж у обеих групп, одну обучаем и проводим повторную оценку после обучения и через некоторый промежуток времени, отслеживая динамику. Таким образом можно увидеть, насколько курс помог повысить уровень продаж у сотрудников, которые его прошли его, по отношению к необученной группе продавцов.
Этап 5. Исправление ошибок по результатам анкетирования.
После проведения оценки мы исправляем ошибки и проводим повторную оценку (в идеале) или же сразу запускаем курс.
Для того, чтобы минимизировать количество ошибок при пилотном запуске, необходимо:
- тщательно проектировать курс по всем этапам педагогического дизайна: оценка потребности в обучении, анализ целевой аудитории, постановка и дефрагментация целей обучения, написание сценария, сборка и дизайн курса с учетом требований юзабилити,
- помнить про этап подбора подходящего инструмента: курс, тренажер, вебинар, документ, видео, вебинар, справочник, потому, что не для всех целей обучения подойдет электронный курс, а некоторые бизнес-проблемы в принципе не решаются обучением,
- выстраивать траекторию обучения, которая состоит не из одного курса, а из последовательности обучающих элементов, цель которых перенести новую информацию в долгосрочную память.
Сам по себе курс не может быть эффективным, если у него нет траектории обучения, которая, например, плавно перетекает из курса в тест, далее - в рассылку, далее - в форум, вебинар, памятку, новость, смс-напоминание, повторное тестирование и так далее в течение 3-5 недель.
Ошибки, которые легко и реально исправить:
- опечатки и неточности в тексте (именно текст слайда),
- технические моменты проигрывания курса,
- нехватка блоков для запоминания или отработки практики и т.д.
Ошибки, которые сложно исправить и которые необходимо "профилактировать" на этапе разработки:
- отсутствие четких ответов на вопрос, чему научились после прохождения курса,
- негативное восприятие сюжета, идеи, персонажей (для игровых, геймифицированных курсов)
- технические проблемы, связанные со сложным проигрыванием курса и слабыми каналами связи у сотрудников и т.д.,
- технические ошибки, связанные с необходимостью вносить изменения в видео-материал, интерактивные элементы или игровую логику учебного курса.
Детально про другие ошибки при внедрении e-learning: http://elearnlmp.blogspot.com/2016/05/e-learning.html#more
Еще один нюанс для того, чтобы вашу идею пилотного обучения поддержали: не стоит сразу пугать инициатора обучения таким предварительным анализом, так как рассмотренная анкета достаточно детальна для непрофессионального взгляда. Эту информацию лучше оставить для внутреннего использования отделом обучения, а инициатору сообщить общие критерии оценки и обязательно четкое время проведения пилотного обучения. Пусть инициатор просто осознает необходимость данного этапа и согласует заявленные сроки для старта основной группы обучения. И обязательно предоставьте ему общий результат оценки, желательно с визуализацией. Так вы наглядно продемонстрируете причину отложенного старта обучения, а еще лучше, если прокомментируете, каких ошибок вам удастся теперь избежать. Ведь инициатор также заинтересован в том, чтобы сотрудники смогли открыть курс, пройти все модули и обязательные кейсы, и самостоятельно сдать тест, получив необходимые знания.
Чем оперативнее вы проведете пилот, тем проще настроите этот процесс на постоянной основе для каждого нового курса. На ваше усмотрение, анкету можно упростить до ключевых деталей:
- прояснение результата обучения,
- оценка смысловых ошибок,
- оценка технических ошибок,
- общее впечатление и комментарии.
Критерии успешности пилотной оценки курса:
1) есть конкретные ответы на первый вопрос о том, что сможет делать учащийся после прохождения обучения,
2) набранный балл по всем остальным критериям в пунктах 2-9 стремится к 100% (точную цифру назвать тут сложно, так как каждый “провал” в оценке говорит о проблемном месте, которое разработчик и инициатор обучения могут либо принять либо исправить на свое усмотрение).
Итоги. Целью пилотного запуска курса является повышение эффективности обучения основной группы учащихся. Для этого мы проверяем, правильно ли разработан курс в отношении педагогического дизайна и оцениваем учебный материал по ряду критериев на основании расширенной анкеты обратной связи. После проведения оценки мы принимаем решение о потенциальной эффективности курса, вносим корректировки и формируем пост-сопровождение курса для погружения учащихся в новую тему. И, кстати, данная анкета также может служить чек-листом для проверки качества курса e-learning специалистом, разрабатывающим курс.
Подготовлено для iSpring
