+7 (967) 800-65-54
Звонок, Telegram, MAX

Составляющие оценки эффективности оффлайн обучения и возврат вложенных инвестиций (ROI) 

Обучение, даже самое качественное и современное, начинает вызывать сомнения, если мы не можем ответить себе на несколько простых вопросов: Работает ли оно? Приносит ли результат? Стоит ли вложенных денежных средств?

Оценка эффективности корпоративного обучения - это не формальность, а важный инструмент операционного управления. Она позволяет перевести «невидимое» (знания, умения, навыки и компетенции или изменение в модели поведения) в измеримые показатели. Тем самым подтвердить ценность отдела обучения или корпоративного университета для бизнеса. Но, здесь есть одно важное уточнение - если таковая цель есть у вас в компании или она исходит от заказчика проекта. В ином случае, если заинтересованных лиц нет, оценку эффективности обучения проводить не имеет никакого смысла. Точнее так, смысл есть, но вы столкнётесь с огромным количеством сопротивления на всех уровнях и с вероятностью в 99% оставите эту затею.
В своей книге «Через обучение к звёздам» я перечислил различные метрики из обучающего процесса, на которые сам обращаю внимание. Повторюсь, утверждать, что именно они являются единственными и безусловно правильными, некорректно. Говорить о том, что невозможно вычислить возврат вложенных инвестиций (далее ROI, сокращение от английского Return on Investment), также неправильно.
Наиболее верно, сказать, что полную оценку произвести возможно, но она потребует целого ряда определённых этапов, набор различных инструментов (об этом поговорим дальше), временнóй ресурс, а также разделение на контрольную и экспериментальную группы. Одна из них будет проходить полное погружение в обучающий процесс, а другая, в сравнении с первой, будет действовать только на уровне тех знаний, умений и навыков, которыми уже обладает. Только так получиться увидеть разницу в результатах и проанализировать необходимые данные для оценки эффективности. 
Ещё один немаловажный момент - это «изоляция» от переменных, на протяжении всей оценки эффективности, которые могут влиять на корректность результата: маркетинговые акции, кадровые перестановки, изменение товарных запасов и выкладки, отсутствие поддерживающих мероприятий со стороны ТЦ, изменение ценообразования и т.п. Именно так результат будет с наименьшим количеством отклонений и наибольшей точностью в процентном и денежном выражении.
Ориентируясь на лучшие мировые практики, можно выделить четыре ключевых уровня оценки корпоративного обучения, (модель Киркпатрика), и пятый уровень - финансовый итог ROI, дополненный Джеком Филлипсом. Каждый из этих уровней имеет свою цель, составляющие и инструменты, благодаря которым и происходит комплексная оценка обучения и её эффективность. Ключевое слово здесь "комплексная", поэтому не стоит использовать лишь один или два уровня. Для полноты картины, необходимы все составляющие данной пирамиды. 

Первый уровень: Реакция

Цель данного этапа: оценить релевантность и эмоциональную составляющую участников после пройденного обучения. Понять, с каким настроением уходят обучающиеся, как реагируют на материал, какой уровень удовлетворённости обучением (далее NPS, сокращение от английского Net Promoter Score) остался в целом. Сделать это можно через анонимную анкету обратной связи (первичную и повторную). Скачать её вы можете, нажав на данную ссылку. 

Важно производить замер именно два раза, в конце обучения и спустя две-три недели после. В первом случае вы получите понимание NPS "здесь и сейчас", а во втором увидите уровень "ожидание и реальность", проще говоря, проблемные зоны, с которыми столкнулись участники и где им требуется дополнительная поддержка наставника, старшего специалиста или полевого тренера. Так у вас появится возможность подкорректировать полученные знания и умения через: дополнительный материал, посттренинговую встречу или рекомендации наставнику, старшему специалисту, полевому тренеру и руководителю.      
Инструменты для оценки первого уровня: 
  • Анализ анонимной анкеты обратной связи (первичной)
  • Анализ анонимной анкеты обратной связи (повторной)
  • Устная обратная связь от руководителя сотрудника прошедшего обучение
  • Расчёт уровня удовлетворённости обучением (NPS)
Как рассчитать NPS: на самом деле здесь нет ничего сложно, самое главное, чтобы у вас на руках были заполненные анкеты первичной обратной связи. Нас интересует ответы на вопросы №2, 3, 6 и 8. Если они имеют положительную обратную связь и высокие оценки 4 и 5, значит мы засчитываем их как наших сторонников. Анкеты с негативной или отсутствующей обратной связью и оценками от 1 до 3, считаем как - критиков.    
Важно понимать, что уровень оценки NPS начинается не от ноля, а от -100 до +100. Так происходит потому как критиками могут быть абсолютно все участники. Или, наоборот, все могут быть сторонниками, поставив высокие оценки. 
После определения количества сторонников и критиков необходимо вычислить их процентное соотношение к общему числу участников обучения. Из примера выше получается, что критиков 25%, а сторонников 75%. Далее подставляем полученные значения в формулу и получаем уровень NPS: 75% - 25% = 50. 
Такой результат является хорошим и указывает на необходимость лишь точечных улучшений.
Следующий шаг - детальный анализ анкет критиков для выявления причин недовольства и внесения необходимых улучшений.

Второй уровень: Усвоение

Цель данного этапа: оценить фактический прирост знаний и умений, которые были изучены на тренинге. Именно здесь важно убедиться, что информация не просто прослушана, а правильно воспринята и осмыслена обучающимися.          
Чтобы оценка была объективной, обязательно проведите небольшое входное тестирование до тренинга или во время его начала. Так вы получите точку отсчёта: ответы, с которыми будете сравнивать итоговые результаты после обучения. Ещё один важный плюс такого подхода, это повышение уровня вовлечённости участников. С одной стороны, они заранее увидят темы, которые будут рассмотрены на тренинге; с другой - уровень ответственности каждого повысится, так как обучение потребует от них сосредоточенности, а не простого присутствия.
Лучше всего провести тестирование в самом начале и сразу по завершении обучения. Так у участников не будет возможности воспользоваться подсказками или найти информацию в интернете. Альтернативный вариант состоит в ограничении времени на каждый вопрос или весь тест. Таким образом, вы минимизируете возможность подглядеть, списать или найти ответы онлайн.  
Инструменты для оценки второго уровня:
  • Тестирование (входное и итоговое)
  • Диалоговые тренажеры
  • Кейсы, деловые и ролевые игры
  • Интервью и опросы
  • Проведение постренинговой встречи           

Третий уровень: Поведение

Цель данного этапа: оценить применение полученных знаний и умений, формирование навыка, а также изменение модели поведения сотрудника. Здесь, новая информация начинает проявляться в действиях, подключается процедурная и долговременная память. Процесс обучения переходит из этапа "Знание - Умение", в "Умение - Навык". Более подробно о этапах обучения вы можете прочитать здесь, перейдя по ссылке.
На данном уровне будет крайне важна поддержка от наставника, старшего специалиста или полевого тренера, т.к. именно они продолжают формировать, подкреплять и развивать новый навык.  
Как правило, именно на третьем уровне происходит "обучающий разрыв". Сотрудник прошёл отличный тренинг, но вернулся в среду, где его новые знания и умения - не поддерживаются, не корректируются или даже высмеиваются. Проведя оценку и анализ на данном этапе, вы сможете увидеть в том числе социальные и процессные барьеры, мешающие достижению результата.    
Инструменты для оценки третьего уровня:
  • Исследование тайным покупателем
  • Кейсы, деловые и ролевые игры
  • Объявленное и необъявленное наблюдение
  • Глубинное интервью
  • Оценка 180 и 360 градусов
  • Проведение постренинговых встреч           

Четвёртый уровень: Результат

Цель данного этапа: оценить влияние обучения на основные бизнес-показатели компании (оборот, прибыль, лояльность, текучесть и т.д.) 

Инструменты для оценки четвёртого уровня:
  • A/B тестирование (сравнение ключевых KPI показателей контрольной и экспериментальной групп) - увеличение прибыли, уровня продаж, рост среднего чека, снижение текучести персонала, сокращение времени на адаптацию и т.д. Здесь стоит не забывать про "изоляцию" обучающих групп от различных переменных, которые могут повлиять на искажение результата. 
  • Cost Avoidance (предотвращение потерь) - это оценка не прироста прибыли, а сэкономленных ресурсов: того, что удалось избежать благодаря обучению. Речь идёт о сохранённом времени, деньгах, предотвращённой текучести сотрудников, снижении числа ошибок и непродуктивных затрат. Если говорить коротко, это не про «сколько заработали», а про «сколько не потеряли». Как правило, данный метод применяется в ситуациях, где невозможно измерить прямой рост ключевых показателей эффективности (KPI). Например, при оценке программ по развитию soft, а не hard skills. Для расчёта необходимо: выявить проблемные зоны, определить желаемые результаты и период для замера, провести исследование и выбрать метрики для оценки, рассчитать затраты на обучение и посчитать фактические потери которые уже происходили в прошлом, а также понять влияние проблемных зон друг на друга. 

Формула расчёта Cost Avoidance = Фактические потери (ДО обучения) − Фактические потери (ПОСЛЕ обучения)

Важное уточнение: сам по себе показатель предотвращенных потерь не даёт окончательного ответа об эффективности инвестиций. Он показывает объём предотвращённых убытков, но не учитывает, во сколько обошлось само обучение. Поэтому следующим шагом всегда должен быть расчёт ROI (пятого уровня оценки), где затраты на программу сопоставляются с полученной экономией. Подробный пример такого расчёта приведён в конце этой статьи.
К обучающим программам, в которых сложно измерить прямой вклад обучения в рост KPI, можно отнести: охрана труда и техника безопасности на производстве, кибербезопасность в офисе, основы психологической поддержки и предотвращение выгорания в командах, работа с конфликтами, эмоциональный интеллект, документооборот, основы финансовой грамотности, правила приёмки товара и сверка накладных, стандарты открытия/закрытия магазина, правила работы с инкассацией и т.п.         

Пятый уровень: ROI

Цель данного этапа: провести комплексную оценку эффективности обучения, завершив её расчётом ROI (возврат вложенных инвестиций), и убедиться в логической взаимосвязи результатов на всех этапах: от удовлетворённости участников до влияния на бизнес-показатели. По своей сути, ROI является показателем рентабельности инвестиций в обучение. Как я уже говорил в начале, это самый сложный из всех этапов. Фактически, здесь необходимо конвертировать результаты четвертого уровня в деньги.  
Инструменты для оценки пятого уровня: 
  • Формула расчета ROI с возможностью оценки KPI = (Прибыль от обучения - Стоимость затрат на обучения) / Стоимость затрат на обучения * 100
  • Формула расчета ROI без возможности оценки KPI = (Cost Avoidance - Стоимость затрат на обучения) / Стоимость затрат на обучения * 100
Для наглядности, приведу пример расчёта ROI без возможности оценки KPI: 
Обучение руководителей блоку мотивации и стимулов разных моделей поведения       
Суть ситуации: Компания внедрила программу обучения по блоку мотивации и стимулов разных моделей поведения. В ней участвуют 50 руководителей среднего и высшего звена. Ключевая цель состоит не в увеличении уровня продаж, а в повышении эффективности коммуникации офисного персонала. Нетривиальная задача, т.к. в ней нет возможности выявить чёткие показатели эффективности, плюс, требуется время на исследование ситуации и определение метрик, на основании которых и будет произведена оценка пятого этапа ROI.  
Почему нет возможности оценить KPI:
  • "Срывы дедлайнов по проектам" - субъективный параметр, есть лишь периодически повторимые встречи в календаре с целью внесения изменений в карте проекта
  • "Внутренние конфликты и обиды" - субъективный параметр, невозможно измерить напрямую, есть лишь негативная обратная связь и ряд допущенных ошибок
  • "Качество коммуникации" - субъективный параметр, невозможно измерить напрямую
С какими проблемами сталкиваются руководители:
  • Постоянная корректировка рабочего процесса из-за неверного понимания поставленных задач
  • Ошибки связанные с демотивацией сотрудников 
  • Продолжительные и неэффективные совещания
Видимые метрики, которые взяты за основу:
  • Количество руководителей - 50 человек;
  • Средняя стоимость часа работы руководителя - 2 500 рублей; 
  • Средняя стоимость часа работы сотрудника - 850 рублей;
  • Период оценки эффекта: 6 месяцев.
ШАГ 1: Для начала рассчитаем все затраты связанные с обучением
Статья расхода Расчёт Сумма (руб.)
Услуги тренера - встреча с заказчиком; исследование; 3 дня обучения (три группы); материалы; оценка первого, второго, четвертого и пятого уровней; онлайн поддержка и сопровождение, фасилитационная итоговая встреча; подготовка отчета-оценки.   - - -  400 000 руб.
Время руководителей: 1 день (обучение) = 8 часов
1 день (фасилитация) = 8 часов
50 чел. х 16 ч х 2 500 руб./ч 2 000 000 руб.
ИТОГО ЗАТРАТЫ: 2 400 000 руб.
ШАГ 2: Рассчитываем Cost Avoidance (Предотвращенные потери)
Все метрики участвующие ниже в расчетах были получены и подтверждены календарями учёта рабочего времени, данными из ежемесячных и финансовых отчетов руководителей, а также дополнительными опросами.        
Потери №1 - Постоянная корректировка рабочего процесса из-за неверного понимания поставленных задач
До обучения руководитель тратил по 8 часов в месяц на правки и дополнительные встречи из-за недопонимания с сотрудниками. Сотрудники тратили 20 часов на корректировки в проектной работе. Стоимость затрат в месяц для одного тандема (руководитель и сотрудник): (8 ч. * 2500 руб.) + (20 ч. * 850 руб.) = 37 000 руб. Данные затраты актуальны лишь для 30 из 50 руководителей. То есть, 30 * 37 000 руб./мес. * 6 месяцев = 6 660 000 руб. 
После обучения, руководители начали применять полученные знания и умения. За пол года, количество корректировок снизилось ровно в два раза. 

Предотвращённые потери №1: 6 660 000 руб. / 2 = 3 330 000 руб.        
Потери №2 - Ошибки связанные с демотивацией сотрудников
До обучения, из-за непонимания мотивации и стимулов разных моделей поведения, в коллективе, возникал повышенный градус эмоций и накопленные обиды. Это было связано с неправильной постановкой задач, публичной критикой, отсутствием положительной обратной связи, не признанием экспертности и низким качеством коммуникации. В результате возникали серьёзные ошибки, на устранение которых уходило по 50 000 рублей ежемесячно. У 12 из 50 руководителей, данные затраты отражались на протяжении предыдущих 6 месяцев. Общая сумма затрат составляла: 50 000 руб, х 12 рук. х 6 мес. = 3 600 000 руб. После обучения, количество ошибок сократилось на 70%, соответственно снизились и затраты на их устранение. 

Предотвращённые потери №2: 3 600 000 руб. * 0,7 = 2 520 000 руб.        
Потери №3 - Продолжительные и неэффективные совещания
До обучения, продолжительность еженедельного совещания у половины руководителей составляла 1 час и 30 минут, при запланированном слоте в 1 час. Данная ситуация была связана с недопониманием, затянутыми обсуждениями и дискуссиями, которые не планировались. Итоговая потеря времени за полгода: 0,5 ч. * 25 рук. * 26 нед. = 325 часов. Переводим данный показатель в денежные затраты: 325 час. * 2 500 руб. = 812 500 руб. После обучения, 17 руководителей сократили потери времени и стали укладываться в отведенный час совещания. Качество при этом не пострадало. 

Предотвращённые потери №3: 812 500 руб. * 0,68 = 552 500 руб.        
Итоговые предотвращенные потери составили: 3 330 000 руб. + 2 520 000 руб. + 552 500 руб. = 6 402 500 руб.
За вычетом затрат на обучение: 6 402 500 руб. - 2 400 000 руб. = 4 002 500 руб.       
ШАГ 3: Рассчитываем ROI
Для расчета ROI без возможности оценки KPI используем формулу: (Cost Avoidance - Стоимость затрат на обучения) / Стоимость затрат на обучения * 100

(6 402 500 руб. - 2 400 000 руб.) / 2 400 000 руб. * 100 = 167% 

Данный результат наглядно демонстрирует высокую рентабельность обучающего мероприятия. По итогу, на каждый 1 вложенный рубль бизнес получил отдачу в 1,67 рубля. Предотвращенные потери составили 4 002 500 рублей. Эффект от обучения проявился в качественном улучшении бизнес-процессов: операционная деятельность стала более эффективной за счёт сокращения времени на согласования и устранение ошибок, коммуникационное взаимодействие между сотрудниками и отделами вышло на новый уровень - решения теперь принимаются быстрее и обоснованнее, а обратная связь стала более структурированной и продуктивной. 
Стоит понимать: этот расчёт показывает суммарный экономический эффект. Мы учитываем три ключевых направления проблематики, выявленных совместно с заказчиком, хотя в реальности они могут частично накладываться друг на друга. Этот подход не упрощение, а осознанная фокусировка. Первоначально было 12 проблемных зон, которые мы объединили в три базовых, так как остальные логично сводились к ним. Бизнес - это живой организм, и наша цель была не в бухгалтерской точности каждого рубля, а в реалистичной оценке качественного сдвига.
Именно поэтому итоговый ROI 167% следует воспринимать не как абсолютную цифру, а как надёжный и реалистичный индикатор успеха.
Программа дала системный результат: время теперь не тратится впустую, ошибки перестали накапливаться, совещания стали рабочим инструментом. Мы перевели улучшения на язык экономики и получили 1 рубль 67 копеек отдачи на каждый вложенный рубль - и это при самом взвешенном подходе к оценке. Даже с учётом всех возможных пересечений и допущений, программа окупилась более чем в полтора раза, а её реальная отдача, вероятно, может быть ещё выше.

О чем стоит задуматься:

Оценка эффективности обучения - это прежде всего комплексный процесс, в котором стоит переводить изменения, на понятный для бизнеса язык: в цифры, деньги и проценты. Как мы увидели, путь от реакции участника до возврата инвестиций требует последовательности, исследований, времени и дисциплины. Важно пройти все пять уровней: от измерения удовлетворённости (NPS) и усвоения знаний, до анализа изменений в поведении и влияния на бизнес-результаты. Ключевое слово здесь «комплексный». Пропуск нескольких этапов лишает расчёт доказательной силы и оставляет нас на уровне предположений.
Главный инструмент для сложных случаев, где нет прямых KPI - Cost Avoidance, или оценка предотвращённых потерь. Он позволяет измерить то, что не случилось: не потраченные часы, не допущенные ошибки, не сорванные сроки. Пример с обучением руководителей блоку мотивации и стимулов, прямое тому доказательство. Это не абсолютная, а реалистичная оценка, которая даёт ответ на главный вопрос: стоили ли вложения того? В данной ситуации однозначно да. Оценивать обучение не просто нужно, а необходимо. Но делать это всё же с умом, используя правильные инструменты на каждом уровне и понимая, какие метрики брать в расчет. Цель - не отчитаться, а получить ясную и взвешенную картину, которая позволяет принимать решения: где усилить программу, где скорректировать подход и в какие направления развития персонала инвестировать дальше.