Как оценить эффективность обучения по Киркпатрику

Разложили по полочкам, как использовать модель Киркпатрика для глубокой оценки эффективности онлайн-обучения. 15 инструментов с рекомендациями по применению.

Это продвинутый уровень оценки эффективности онлайн-курсов. Когда заказчики хотят точно понять, как корпоративное обучение повлияет на результаты работы, мы проводим исследование и используем 15 инструментов, основанных на модели Киркпатрика.

Коротко об этой модели. Дональд Киркпатрик выделил четыре уровня оценки эффективности: реакция, усвоение, поведение, результат. Рассказываем о каждом по порядку и сразу с примерами.

Эмоциональная реакция

Эмоциональный уровень оценивает, понравился курс или нет. Это не значит, что обучение, которое нравится — более эффективное, но когда человек расслаблен, мозг больше готов учиться, интереса и внимания тоже больше.

Как геймификация помогает мозгу учиться
5 внутренних мотиваторов для вовлечения в обучение

Здесь мы используем три инструмента.

Опрос «до-после» для оценки возврата ожиданий. Он показывает, насколько воплотились цели, которые участники ставили себе до начала обучения. Результаты помогают правильно формулировать цели курса и адаптировать материалы под потребности аудитории.

Например, люди идут на курс по продажам, чтобы научиться привлекать новых клиентов через реферальную систему. В курсе есть информация про это, но без практических советов: люди понимают теорию, а как это применить на практике — нет. Их ожидания от курса вернулись частично.

Оценка удовлетворенности — это общее впечатление от курса и отдельных его частей: материалов, иллюстраций, обратной связи. Результаты показывают, что создает положительное и негативное впечатление, и на основе этого можно усиливать или убирать отдельные части курса.

Например, в курсе по продажам людям понравились комиксы-иллюстрации с разбором конкретных ситуаций, а сопроводительный теоретический текст — нет. Это сигнал: убирать теорию или вынести её в отдельный блок для самых дотошных.

Контент-анализ отзывов — показывает разницу впечатлений слушателей которые завершили и не завершили курс. Для этого нужно задать вопросы в открытой форме и систематизировать ответы по категориям. Результаты покажут, как мотивировать людей проходить обучение до конца.

Например, большинство бросивших курс по продажам, говорят: информация непонятная, вопросы сложные, в целом скучно. Те, кто прошел курс, тоже отмечают непонятные материалы. Вывод — упрощать контент.


Усвоение знаний

Уровень знаний оценивает, какие знания, навыки и техники усвоили слушатели. Здесь тоже не всё просто: если человек не хочет применять новые техники или не понимает, как это сделать — обучение не будет эффективным. Чтобы желание и понимание появились, нужен «инсайт» — осознание через собственный опыт и анализ.

Что скрывает иммерсивное обучение

Здесь мы используем четыре инструмента.

Тест знаний «до-после». Здесь всё просто: он показывает прогресс знаний по теме — или его отсутствие. Результаты могут показать, что материалы курса слишком простые, или слишком сложные, или поверхностные. С другой стороны, уровень слушателей может быть слишком высокий или низкий для этой темы. Может быть всё в порядке, и уровень знаний вырастет.

Если оценивать не весь курс, а отдельные темы, станет видно, какие знания он развивает больше. Например, в курсе о переговорах четыре темы: переговорные позиции, техники, переговорные навыки для управленческой работы и навыки в продажах. Тест показал, что знания по теме «переговорные позиции» выросли в три раза. Это можно сделать фишкой курса или подтянуть остальные темы.

Оценка прогресса по результатам тестов показывает, падает ли число ошибок по мере прохождения курса. В результате понятно, какие темы усваиваются лучше. Нельзя учесть все факторы, которые влияют на слушателя во время теста, и знать наверняка, что он не жульничает — поэтому к оценке относимся осторожно.

Например, финальный тест обычно сложнее промежуточных. Это нормально, что процент ошибок в нем выше. Если до этого ошибок с каждым тестом становилось меньше, то хороший показатель.

Связь повторного изучения материалов с результатами тестов — показывает, какие темы нужно прочитать два-три-четыре раза, чтобы результаты по ним улучшились. Решения: объяснить подробнее или изменить структуру, чтобы показать сложные вещи несколько раз с разных сторон.

Например, анализ показал, что слушатели изучают тему шесть раз, чтобы улучшить свои оценки почти вдвое. Это значит, что потенциал у нее огромный, но подача — слишком сложная. Приходится продираться.

Связь времени на изучение материалов с результатами. Это похоже на предыдущий инструмент, но здесь оцениваем, сколько времени тратят на один материал результативные и не результативные пользователи. В итоге можем определить оптимальное время для каждого и если нужно — изменить объем.

Например, результативный слушатель тратит на тему «переговорные навыки для управленческой работы» 6 минут, а не результативный — две. Можно предположить, что тему бросают, потому что она сложная, или изучают недостаточно внимательно. Тогда мы будем мотивировать пользователя работать с ней больше.


Поведенческие изменения

Самый важный показатель в оценке эффективности. Он оценивает, как люди используют новые знания на практике. Если этого не происходит — знания бесполезны, даже если человек их усвоил.

Здесь мы используем шесть инструментов.

Процент выполнения необязательных заданий. Показывает, насколько слушателю важно пройти курс полностью. Еще по итогу исследования видно, какие задания больше вовлекают, даже если делать их необязательно, а какие можно убрать из курса.

Например, половина слушателей начинает делать необязательное задание. Это хороший показатель: либо тема важная и может стать обязательной, либо сработали инструменты вовлечения.

Периодичность посещения у людей, которые завершили и не завершили курс. Это показывает, есть ли разница в стиле прохождения у разных категорий слушателей. Чтобы на это влиять, мы настраиваем отдельные уведомления для тех, кто пропадает надолго.

Например, к третьей неделе курса люди заходят меньше, а в последнюю активизируются и работают в четыре раза больше — как студенты перед сессией. Если настроить уведомления и мотивировать людей чаще заходить на второй-третьей неделе, обучение станет равномерным.

Среднее время на блок у людей, которые завершили и не завершили курс — показывает, что разные типы слушателей проходят курс в разном темпе. Это помогает адаптировать материалы под скорость, сделать процесс равномерным. Еще данные покажут, где мотивировать пользователей оставаться в системе дольше и наоборот — ускоряться.

Например, один блок курса занимает в два раза больше времени, чем остальные. Не осилив его до конца, слушатели уходят. Вывод: разбить материал на два блока — люди не будут воспринимать его как большой и сложный и смогут «съесть слона» по кусочкам.

Микрообучение — как съесть слона

Разделение слушателей на типы. Мы часто упоминаем типы слушателей, и это разделение — тоже инструмент оценки. Когда мы понимаем, сколько людей каждого типа проходят курс, можем адаптировать под них контент, дополнительно мотивировать и даже менять способ продвижения курса.

Например, в курсе много «заходящих» — это люди, которые читают материалы до самого конца, но не выполняют задания или выполняют абы как. Значит, им нужно доказать ценность заданий и мотивировать на высокие результаты.

Социальная активность людей, которые завершили и не завершили курс, показывает связь обучения с активностью в чатах, общением с другими слушателями, обменом опытом. Этот инструмент не влияет на качество курса, но может подсказать способы мотивации людей с помощью социальных заданий.

Если пользователи оставляют много отзывов о курсе, можно пообещать дополнительный балл за пост в социальной сети. Это одновременно мотивация и реклама курса.

Главное, чтобы награда не противоречили логике начисления баллов: если люди должны потрудиться в обучении, чтобы их заработать, награда за отзыв будет нелегитимной.

Как геймифицировать обучение — из первых рук

Комментарии по теме и нет. Они показывают, насколько пользователю важно разобраться в теме и узнать мнение сообщества. Так мы оцениваем, какие блоки вызывают больше вопросов, а какие — провоцируют споры. Это основа для доработок и новых курсов.

Например, в курсе по продажам слушатели активно обсуждают навыки переговоров: спорят, доказывают, убеждают. Эти обсуждения превращаются в user generated content — контент, который создают сами пользователи. Если поставить это на конвейер, вы будете получать темы и даже материалы новых курсов от самих пользователей.


Результативность в работе

Уровень результативности оценивает показатели бизнеса, которые изменились после обучения: продажи, прибыль, затраты, качество обслуживания. Курс по продажам — не единственный фактор, который влияет на продажи. Есть еще реклама, сезонность, новая товарная линейка. Если обучение совпало с другим фактором, оценить его влияние на показатели будет сложнее, но все еще возможно.

Как понять, что корпоративное обучение вас не разорит

Здесь у нас два инструмента.

Оценка руководителя «до-после». Это еще не про бизнес-показатели, а только про субъективное впечатление. Руководитель видит изменения, которые не укладываются в операционные показатели — они могут быть важнее.

Например, люди оценили важность обучения для работы. Это важный инсайт, который не выразить в цифрах. Даже если бизнес-показатели не изменились, результат уже есть — дальше будет проще вовлекать людей в новые курсы и добиваться результатов.

Выполнение kpi до и после. Мы оцениваем показатели не сразу после обучения, а хотя бы через месяц. Если показатели выросли и результат держится после курса месяц, квартал, полгода — обучение эффективное. Если эффект со временем проходит, мы снова общаемся с сотрудниками, чтобы узнать причину.

Например, на энтузиазме после курса люди работают активнее, применяют новые инструменты, эмоционально вкладываются в дело. Но результаты не появляются сразу, и люди теряют мотивацию. Важно объяснить, что это нормально: эффект наступает со временем.


Запомнить

За каждым инструментом стоит своя методология. В опросе нельзя принимать социально желательные ответы за действительность. Если относить человека к категории «пассивные» — нужен четкий список критериев, на которых основывается решение. Если считать корреляцию — понимать, какой уровень значимости считать приемлемым. Все инструменты выполняют свои задачи, только когда аналитик понимает методы работы с каждым.

Оставить комментарий