Контент-анализ — как оценить эффективность обучения без количественных данных

В редакцию пришел вопрос: как оценить эффективность обучения, если нет количественных данных. Рассказываем об одном инструменте такой оценки из арсенала CG — контент-анализе.

Цифры волнуют всех. Руководители опираются на них, когда принимают решение о покупке или успехе обучения, а нам они нужны, чтобы анализировать результаты и доказывать эффективность. Но бывает так, что после проекта нет количественных данных — тогда для исследования мы опираемся только на качественные. Наш любимый инструмент для этого — контент-анализ.


Чем отличаются количественные и качественные методы

Количественные методы применяются к числовым данным. В обучающем курсе это, например, результаты тестов и опросников, замеры времени и количества посещений.

Качественные методы работают с не измеримыми в числах данными: результатами интервью и фокус-групп, образами и ассоциациями. 

Основное различие в том, что количественные методы описывают и распространяют выводы на генеральную совокупность, а качественные — объясняют феномен и углубляются в его суть. Ценнее всего применять их вместе, но это получается не всегда.

Как мы измерили эффективность своих методов, и что из этого вышло

Бывает так, что надежные опросники состоят из большого количества вопросов и требуют времени на заполнение. Заказчик не всегда готов к такому — это долго и отрывает людей от основной работы, а заниматься опросниками в свободное время люди обычно не хотят. С другой стороны, обычно все согласны ответить на пару открытых вопросов о тренинге или курсе — и эти ответы мы берем за основу анализа.


Как получить цифры из качественных данных

Мы в Center-Game проводим корпоративные программы с играми-тренингами, и обязательная часть в них — рефлексия с вопросами о впечатлениях и выводах. Чтобы собрать основу для аналитики, анализируем, какие категории чаще всего встречаются в ответах. Например, такие: сделаны ли выводы про игру или перенесены на реальную жизнь, какие темы гибких навыков упоминаются в ответах, на каком уровне сформулированы результаты обучения.

Каждый открытый ответ мы прогоняем по разработанной категориальной сетке. Изначально ответы анализировали несколько экспертов, затем мы считали коэффициент совпадения и на нескольких проектах убедились, что одинаково понимаем содержание категорий.

Пример из жизни: после игры-тренинга участник пишет «Начну активнее погружать команду в дела смежных отделов, которые могут влиять на наш». Мы присваиваем этому ответу категорию намерение изменить поведение в графе образовательный результат. А выбор был из таких вариантов: знания, эмоциональный результат, проблематизация, опыт, изменение или усиление связей с другими людьми, изменение отношения, намерение что-то изучить, намерение изменить поведение, изменение поведения, нет результата обучения, другое. 


Что это дает?

Результаты контент-анализа дают цифры. Мы считаем частотность категорий до и после проекта, смотрим на них в разрезе команд участников. Например, на одном проекте мы поставили цель поработать с коммуникациями между руководителями разных подразделений. По итогам обучения 100% участников ответили, что заметили изменения в коммуникации со стороны коллег.

В таком виде проекты уже можно сравнивать между собой: берем большое количество проектов с разными играми и смотрим, значимо ли различается % целевых выводов.

По результатам контент-анализа можно сделать выводы, достигнуты ли kpi проекта. В примере со 100% участников мы можем быть уверены, что каждый сделал именно то наблюдение, ради которого организовали обучение.

Лучшие статьи об эффективности:
Как измерить результат игрового обучения
Как измерить эффективность обучения по Киркпатрику


Пять шагов проведения контент-анализа

Определить выборку. В обучении с этим просто — обычно всех интересуют сами участники. Еще можно смотреть на выводы их руководителей или заказчика проекта — зависит от задачи.

Выбрать единицы анализа. Это может быть слово, утверждение, предложение, целый текст. В нашем случае единица анализа — это полный ответ участника в опроснике.

Сформировать систему категорий. Каждая единица анализа должна быть закодирована — это будет основной инструмент. Тут есть два правила:

  1. Рекомендуется снабжать каждую категорию текстовыми примерами, чтобы не запутаться и легко идентифицировать новые данные.
  2. Для каждой категории нужна шкала. Первый вариант шкалы — номинальная, когда единица анализа либо принадлежит, либо не принадлежит категории. В нашем случае это категория соответствие ценностям игры. Например, в игру «Океан» мы закладываем идею, что важна не только прибыль компании, но и ее репутация. Если участник делает вывод про деньги любой ценой, это не соответствует заложенным ценностям. Второй вариант — использовать в шкале уровни. Пример шкалы с уровнями — категория образовательных результатов.

В итоге система превращается в сетку категорий. В нашей сетке 18 категорий — то есть, каждый ответ мы оцениваем 18 раз.

Оценить достоверность кодирования. В первой оценке должно быть несколько экспертов, чтобы посмотреть на расхождения в результатах кодирования и обсудить их и выработать четкие критерии для каждой категории.

Проанализировать. Самый простой способ — оценить, как часто встречается каждая категория. Мы в Center-Game еще добавляем в kpi, какого уровня хотим достигнуть по целевым категориям и сравниваем план с фактом.


Главная сложность контент-анализа

Контент-анализ подходит только для небольших выборок или большого штата аналитиков. Если три человека вручную разбирают ответы на 10 вопросов по сотне участников — это долго и трудозатратно. В таком случае лучше проанализировать отдельные случаи для интерпретации количественных данных.


На основании только качественных данных анализировать эффективность обучения — можно. Для этого придется разработать своею категориальную сетку, потому что наша сделана для специфических проектов с использованием игровых тренингов. Всем компаниям она не подойдет.

Методологию можно изучить в книге «Методы анализа текста и дискурса» (Авторы: Стефан Тичер, Майкл Мейер, Рут Водак, Ева Ветер).

Оставить комментарий