Измерение коэффициента возврата на инвестиции (ROI) в обучении персонала и HR
Если вы не можете что-то измерить, значит, вы не можете этим управлять».
Это не мои слова. Это слова эксперта с мировым именем в области измерения влияния тех или иных проектов, программ, инициатив д-ра Джека Филипса. Они передают главную причину, по которой компании нуждаются в эффективной системе оценки каждого аспекта своего бизнеса. Необходимость в отчетности создает потребность в проведении оценок различных проектов, в том числе и проектов по обучению персонала, как в частных, так и в государственных компаниях. Выражения типа «добавочная стоимость» или «мы должны знать, сколько мы получаем с того, что мы потратили» стали практически «крылатыми» выражениями.
Несколько лет назад я начал обучать методике измерения влияния программ обучения и развития на бизнес, а также делать некоторые консалтинговые проекты в этой области. Тогда в Ирландии это почти никому не было интересно. Но за последние пять лет ситуация значительно изменилась. На данный момент у нас в стране 150 компаний/государственных структур, которые уже внедрили методологию ROI, разработанную д-ром Филипсом, а также более 200 специалистов по ROI, состоящих в Ireland ROI network.
Некоторая часть встретившего меня пять лет назад сопротивления сводилась к утверждению, что финансовую выгоду от программы обучения посчитать невозможно, тренинг дает массу сложных нематериальных преимуществ, которые не так-то легко включаются в финансовый анализ. Но рано или поздно компании должны были понять и принять методологию ROI: они видели, что техники, которые Филипс разработал в прошлой четверти века — надежные, логичные и, самое важное, они действительно работают. Через некоторое время компании активно начали внедрять процесс оценки.
Отчасти первоначальная проблема сопротивления заключается в том, что многие тренеры воспринимают «разработку и проведение тренинга» своей первоочередной обязанностью, а оценка программы — это в некотором роде «послесловие» проекта. Мы склонны использовать «продуктивный подход», где оценка часто изолирована от самого тренинга и сконцентрирована на тренинг-днях/курсах/количестве обучаемых. Современные тренды, однако, делают оценку «исчерпывающим процессом обработки данных, который включает в себя сбор большого количества информации, ее анализ и синтез в общее суждение о ценности» (Wigley).
Отчет Economic and Social Research Institute за прошлый год показал, что обучение напрямую влияет на увеличение продуктивности бизнеса. Кроме того, по данным другого исследования ирландские компании в совокупности тратят на обучение около 400 миллионов евро в год. Это 2,5% от общей суммы затрат на персонал. Однако только 4 из каждых 10 опрошенных компаний имеют разработанный план обучения. От 48% до 69% (в зависимости от размера компании и ее специализации) опрошенных компаний-провайдеров тренинговых услуг имеют формальные инструменты оценки своих программ. Наиболее распространенными методами оценки является измерение уровня удовлетворенности участников тренинга после обучения через так называемые «happy sheets» (анкеты обратной связи). И только совсем небольшая часть этих компаний рассчитывает коэффициент возврата на инвестиции своих программ.
Хорошие новости заключаются в том, что теперь мы можем сделать гораздо больше, чем просто измерить степень удовлетворенности. Используя методику Филипса, мы можем измерить финансовый показатель возврата на инвестиции в обучение. Модель ROI Филипса — это расширенная и дополненная модель оценки эффективности, разработанная Дональдом Киркпатриком 45 лет назад.
Как вы помните, модель Киркпатрика имеет 4 уровня оценки: 1 — реакция на обучение; 2 — обучение новым навыкам/получение новых знаний; 3 — применение в работе; 4 — бизнес-результаты.
Чтобы рассчитать коэффициент ROI, Филипс добавил 5-й уровень оценки, который переводит результаты оценки 4-го уровня в материальный эквивалент. Затем полученную сумму прибыли сравнивает с затратами на программу обучения.
По сути ROI — это разница, между полученной от программы прибыли (на выходе) и затратами (на входе). Методика ROI может быть использована и для подтверждения запланированного бюджета и для оценки потенциально возможной прибыли. Для расчета ROI сначала необходимо оценить затраты и прибыли от программы обучения по следующим пунктам:
- Сначала соберите данные для 4 уровня оценки, задав следующий вопрос: Можем ли мы оценить выгоду от применения новых знаний/навыков?
- Изолируйте эффекты обучения от других факторов, влияющих на результат. Филипс приводит целый ряд специальных инструментов для этой цели.
- Переведите полученные результаты в материальные ценности. Филипс рекомендует разделить результаты обучения на «hard» и «soft». По его мнению, категория «hard» подвергается традиционному измерению эффективности деятельности организации. Так как эта информация объективна, легко измерима и легко переводится в материальный эквивалент. Она включает в себя получаемый продукт на выходе (измеряется решенными задачами, выполненными проектами и т. д.); качество (измеряется количеством брака, переделок и т. д.); время (измеряется временем вынужденной простойки, количеством переработок сотрудников, вовремя законченными проектами и т. д.) и затраты. Категория «soft» включает в себя такие вещи как рабочие привычки (опоздания, отсутствие на рабочем месте); рабочую атмосферу (конфликты, удовлетворенность работой); отношения (лояльность, восприятие) и инициативу (высказывание новых идей, количество предложений сотрудника).
- Рассчитайте общую сумму затрат на обучение.
- Сравните денежный эквивалент полученных выгод с затратами.
- Нематериальные выгоды, полученные от программы, могут быть представлены как дополнительные, непереводимые в деньги, и как подтверждение того, что программа успешна.
Методика ROI, разработанная Филипсом, помогает перевести результаты обучения в материальный эквивалент, а затем подставить полученную сумму в известное математическое уравнение: отношение прибыли к затратам (benefit-cost ratio или BCR), где сравнивается общая сумма прибыли с общей суммой затрат. Сам коэффициент ROI выражает процентное соотношение чистой прибыли от программы к сумме затрат (ROI = прибыль — затраты/затраты х 100%).
Расчет эффективности обучения персонала: от опросников к ROI
«Предоставляем бесплатное обучение», — когда-то возможности написать так в вакансии было достаточно, чтобы убедить руководство поддержать запуск корпоративного обучения. Теперь вопросов все больше, и главный из них: «Сколько обучение сотрудников помогает заработать?». Только в США в 2018 году общие расходы на обучение составили 87,6 млрд долларов. Справедливо, что руководители компаний хотят знать, как окупаются инвестиции.
Из этой статьи вы узнаете о методологии расчёта рентабельности корпоративного обучения (ROI) и получите инструкцию, как это сделать на практике. Но сперва пройдите короткий тест и узнайте, готова ли ваша компания начать измерять ROI обучения персонала.
Что такое ROI обучения и зачем его измерять
ROI — это показатель возврата вложенных средств и индикатор эффективности инвестиций. Суперсила коэффициента ROI в том, что он знаком финансистам и вызывает доверие у руководства компании.
Смысл расчёта ROI заключается в переводе затрат на обучение и выгод от него в одинаковые единицы измерения — рубли, доллары или другую валюту. Это здорово, потому что тогда возможно провести прямое сравнение и сделать однозначный вывод об эффективности обучения для бизнеса.
Формула расчёта ROI выглядит так:
Положительный коэффициент означает что вы отработали в плюс, отрицательный — обучение идёт в убыток.
Пример 1. Компания «Бета» вложила в обучение сотрудников 650 000 рублей. Благодаря этому удалось повысить продажи и заработать на 1 750 000 рублей больше.
ROI = (1 750 000 — 650 000)/650 000*100 = 169%
Получается, на каждый вложенный рубль компания получила 2 рубля 69 копеек.
Пример 2. Компания «Гамма» потратила на обучение 250 000 рублей. Обученные сотрудники принесли компании дополнительные 75 000 рублей.
ROI = (75 000 — 250 000)/250 000*100 = -70%
В этом примере ROI отрицательный. Это означает, что получение дополнительных 75 тысяч прибыли не стоило ресурсов, вложенных в программу. Овчинка выделки не стоила.
Пока всё просто, в чём подвох?
Перемножать и делить числа легко, когда речь идёт об абстрактных примерах. Но на практике узнать, сколько удалось заработать благодаря изучению какого-то курса, — сложно.
Здесь стоит напомнить, что сама по себе формула расчёта ROI — не магический шар, который отвечает на любые вопросы. Допустим, британские учёные сообщили, что ROI последнего курса составил 7%. Какой из этого следует вывод?
Это хорошо или плохо?
Что помешало добиться большего ROI?
Как можно повысить ROI?
Точно ли результат получен благодаря обучению сотрудников, а не новой рекламной кампании?
Без дополнительных данных коэффициент ROI лишь демонстрирует экономический эффект. Что само по себе уже неплохо, но для правильного толкования результатов требуется комплексный подход к оценке эффективности обучения. Давайте рассмотрим этот подход в деталях.
Методология оценки эффективности обучения: модели Киркпатрика и Филлипса
Самая известная модель для измерения эффективности обучения — четырехуровневая модель Дональда Киркпатрика. Основная претензия в адрес Киркпатрика заключалась в его убеждении, что измерять результаты обучения в деньгах невозможно или не имеет смысла. Вот почему позднее Джек Филлипс создал свою 5-уровневую модель ROI.
Сравнение моделей Киркпатрика и Филлипса
Филлипс доработал модель Киркптарика, добавив в неё Уровень 0 (Затраты) и Уровень 5 (ROI) — те самые конкретные цифры, которые хочет видеть заказчик. Кроме того, Филлипс предложил способы изоляции результатов обучения от влияния других факторов, например, маркетинга. Это серьёзно повышает достоверность оценки.
«Все решения работают в комплексе, но важно знать, в какой степени каждое из них повлияло на конечный результат. Если вы не знаете, что именно привело к результату, вы не можете управлять ситуацией. Уж поверьте, маркетологи сумеют составить отчёт об отдаче от рекламы, промо-акций и даже эффекте от смены ценовой политики. В этом плане маркетинг сильно обгоняет обучение. Если мы будем бездействовать, как предлагает Киркпатрик, мы потеряем доверие и поддержку».
Response to LinkedIn Post: Kirkpatricks vs. Phillips
Как измерить ROI обучения
Измерение ROI по методике Филлипса состоит из четырёх этапов: планирование оценки, сбор данных, анализ и подготовка отчёта.
Последовательность действий при измерении ROI. Источник: ROI Institute
1. Определяем цели обучения
Чётко поставленные и зафиксированные цели гарантируют, что в процессе сбора данных вы будете задавать правильные вопросы и ничего не упустите. Патти Филлипс в своей книге «The Bottomline on ROI» рекомендует прорабатывать цели сверху вниз, начиная с желаемого экономического результата и заканчивая реакцией учащихся на учебный курс.
За 12 месяцев сократить объём брака на 20%
Операторы линии в состоянии своевременно распознать потенциальный брак изделия.
Применяют систему «андон» на практике в случае необходимости.
В случае обнаружения серьёзных проблем, в полном объёме соблюдают четыёхшаговую инструкцию.
- Операторы демонстрируют отличное знание конструкции изделия, могут отличить брак от нормы.
- Знают, что такое система «андон», понимают её цель и то, как именно она работает.
Рейтинг курса не ниже 9 баллов из 10 возможных.
Патти Филлипс рекомендует проводить исследования первого уровня (Реакция) для 90-100% учебных программ, а вот измерение ROI необходимо лишь в 5-10% случаев.
2. Разрабатываем план
На этом шаге создаём и утверждаем три документа: план сбора данных, план по анализу данных и план по расчёту ROI — по этим документам вы будете контролировать ход проекта и оценивать свои успехи.
Что важно прописать в плане:
способы их достижения;
инструменты (например, СДО);
ответственных за выполнение каждого пункта.
На сайте ROI Institute можно бесплатно скачать шаблон плана проекта расчёта эффективности учебной программы и другие полезные ресурсы.
Если вы хорошо потрудитесь, то получите проработанную пошаговую тактику реализации проекта — её необходимо согласовать с клиентом или руководством. Так вы ещё раз убедитесь, что ваши ожидания совпадают, и договоритесь о критериях признания каждого этапа выполненным.
3. Собираем данные во время обучения и после него
На этом шаге работаем по классической методике Киркпатрика. Во время обучения оцениваем реакцию учащихся на изученные материалы и то, как новые знания усвоились. После завершения обучения отслеживаем, как полученные знания применяются на практике и какой результат это приносит.
Для этого можно использовать:
- листы реагирования
- опросы
- интервью
- фокус-группы
- тестирование
- решение кейсов
- контрольные листы
- карты и фотографии рабочего дня
Пример вопросов из листа реагирования (Уровень 1)
| Категорически не согласен | Абсолютно согласен | ||||
|---|---|---|---|---|---|
| 1. Тема курса была актуальна | 1 | 2 | 3 | 4 | 5 |
| 2. Преподаватель хорошо разбирается в предмете и понятно объясняет | 1 | 2 | 3 | 4 | 5 |
| 3. Я смогу применить полученные знания в повседневной работе | 1 | 2 | 3 | 4 | 5 |
Пример измерения изменений в поведении (Уровень 4)
4. Изолируем эффект от обучения
На конечный результат бизнеса влияет огромное число факторов: от ценовой политики до харизмы отдельных сотрудников. Изоляция — критически важный шаг, который помогает отделить заслуги обучения от влияния других факторов и обеспечивает достоверность всей методики.
Наиболее доступные техники изоляции:
Контрольная группа: вы запускаете пилотное обучение на отдельных группах участников и сравниваете результат с показателями контрольной группы, которая не участвует в программе.
Оценка участников: вы предлагаете самим участникам оценить, в какой степени обучение повлияло на их результаты.
Оценка руководителей подразделений или супервайзеров: вы просите руководителей оценить влияние обучения их команды на конечный результат группы.
5. Переводим результаты в деньги
На этом шаге присваиваем ценность в денежном эквиваленте каждому виду результатов, полученных после обучения. Так вы сможете сравнить их с затратами. Точные данные — выработка, качество и время, — как правило, можно без проблем конвертировать в деньги. Например:
дополнительные продажи → прибыль от этих продаж;
экономия времени сотрудника → рассчитываем стоимость сэкономленного времени исходя из среднего размера зарплаты (стоимость часа работы умножаем на количество сэкономленных часов сотрудника);
снижение времени простоя оборудования → оцениваем по затратам прошлых лет;
снижение текучки персонала → средства, сэкономленные на подборе персонала и адаптации;
повышение качества → средства, сэкономленные благодаря снижению процента брака.
6. Оцениваем затраты на программу
Подсчитываем все прямые и сопутствующие расходы, связанные с проведением обучения. Сюда входят зарплаты преподавателей, расходы на СДО, траты на пиар учебной программы, покупка оборудования и т.д. Не забудьте включить и расходы на проведение оценки эффективности программы.
7. Рассчитываем ROI по формуле
Как правило, для краткосрочных программ ROI рассчитывается за год. Но в отдельных случаях, когда вы реализуете масштабную программу (например, запускаете корпоративный университет), достижение максимального эффекта может занять несколько лет. Это стоит учитывать.
8. Определяем нематериальные выгоды
В большинстве случаев учебные программы помимо финансовых выгод приносят и нематериальные выгоды. Например, улучшение имиджа организации, рост сплочённости коллектива, повышение лояльности сотрудников компании. Проблема в том, что эти результаты субъективны.
Попытка конвертировать, скажем, командный дух в деньги для использования в расчёте ROI может серьёзно навредить достоверности и убедительности итоговых результатов. Лучше получить меньший коэффициент ROI с сильным отчётом о нематериальных выгодах, чем продемонстрировать высокий ROI, рискуя подорвать доверие ко всей оценке программы.
Если сомневаетесь, нужно конвертировать показатель или нет, воспользуйтесь подсказкой от ROI Institute:
9. Готовим отчёт и представляем результат
Отчёт о результатах — последний по списку, но не по важности шаг в оценке учебной программы. Подготовка отчёта и его презентация требуют тщательного планирования, ведь на кону дальнейшая судьба проекта. На этом этапе у вас две основные задачи:
А) Подготовить отчёт для разных целевых аудиторий. Разной аудитории нужна разная информация, поэтому заранее продумайте, какие отчёты потребуются. Хорошая идея — готовить сразу две версии каждого отчёта: краткую и подробную. Так вы облегчите понимание результатов, за что вам точно будут признательны.
Источник https://www.kaus-group.ru/knowledge/300-articles/category/tranings/material/1016/
Источник https://hr-portal.ru/article/izmerenie-koefficienta-vozvrata-na-investicii-roi-v-obuchenii-personala-i-hr
Источник https://www.ispring.ru/elearning-insights/raschet-effektivnosti