Новый взгляд на модель Киркпатрика или про то, что доказывает эффективность обучения лучше, чем ROI Блог им. MargaritaFatina

50 лет назад Киркпатриком была создана модель оценки эффективности обучения (в последствии дополненная Филлипсом), которой сегодня пользуется большинство T&D специалистов. И лишь совсем недавно была представлена полная модель, в которой самым верным показателем эффективности является отнюдь не ROI (Return on investment), а ROE (Return on Expectations) — возврат ожиданий.
Провозгласить ROE наиболее показательным мерилом эффективности — смелое решение, особенно учитывая тот факт, что обычно эту роль приписывали ROI. Есть несколько причин пересмотра решения.

Как показала практика, да и говорил сам Киркпатрик, рассчитывать ROI имеет смысл только для 10% всех программ, т.к. это достаточно ресурсоёмкое занятие. А что держать с остальными 90%, эффективность которых так же необходимо убедительно показать? Это первый вопрос, над которым стоит задуматься.
Вопрос второй состоит в том, что ROI определяется ПОСЛЕ обучения, когда приходится всякими хитрыми способами изолировать воздействие других факторов, чтобы увидеть и доказать эффект от обучения.
Третий важный вопрос — как это не парадоксально, но расчёт ROI не поддерживает работу на общий результат, т.к. призван измерять результаты каждого подразделения в отдельности, максимально изолируя их друг от друга, что совершенно не поддерживает командную работу. Хотя итак понятно, что на повышение прибыли и увеличение продаж работает много направлений, в том числе и внешние факторы, и зачем тратить время и силы на то, чтобы изолировать их влияние? Более того, если обучение сработало эффективно, а маркетинг, например, совершил серьёзную ошибку, то может получиться, что в целом ROI может получиться и отрицательным, но является ли это показателем?
Есть ещё одна интересная вещь, на которую стоит обратить внимание: ок, допустим, что мы говорим руководству «Мы вложили в это обучение 10 денег. Возврат инвестиций составил 500%. Ура! Супер! Мы эффективны!», на что руководитель у нас спрашивает «А почему вы считает, что эти инвестиции, действительно, сделаны правильно? Может, если бы мы потратили эти деньги на повышение зарплат или отдали консультанту, который бы перестроил бизнес-процесс или отправил людей отдыхать на Бали возврат инвестиций был бы 1000%?» И здесь нам ответить уже нечего, т.к. мы не в наших силах доказать, что это ROI 500% — это максимальная отдача вложенных средств.

В чём же принципиальное отличие ROE — возврата ожиданий?

Самое главное, что для того, чтобы измерить ROE необходимо сформулировать показатели эффективности обучения ДО его начала. И главная задача T&D менеджеров, понять, выяснить, добиться ответа, какого конкретно результата ожидают руководители от того или иного обучения — как успех будет выглядеть в глазах нашего руководства. Здесь важно то, что руководство само определяет, что для них действительно важно, и задаёт направление в котором T&D будет отчитываться. Это также позволяет вместе с руководством согласовывать наилучшие пути измерения результата и задаёт язык, понятный руководству. Если мы это сделаем, тогда у нас будет возможность лучше сфокусировать обучение, усилить его и направить на достижение ожиданий и оправдать возложенные на нас обязательства.
Очень важно то, что при расчёте ROE ожидания формулируются ДО начала обучения, что заставляет компанию ставить конкретные задачи и стремиться к их достижению. Плюс этого в том, что достигать этих целей будут не только с помощью обучения, как это часто пытаются сделать, а комплексом мероприятий и усилием разных подразделений и разных людей. Измерение ROE — это договор, что люди и вся организация совместно будут двигаться в направлении к общей цели.

В реальности ROE приравниваю к ROI. И, действительно, ROE может включать подсчёт ROI, если именно это является ожиданием руководства (ROI имеет смысл измерять там, где программы чётко завязаны на повышение прибыли или снижение издержек) однако ROE этим не ограничивается. Он может измерять как простые вещи: например, повышение продаж или уменьшение брака, так и более сложные, такие как лояльность персонала. Даже если ROE включает в себя не столь научные и чётко просчитываемые показатели как ROI, не стоит думать, что он менее показателен.
Более того, он применим к любым программам обучения и развития и позволяет сконцентрировать обучение и оценку его эффективности только на том, что действительно необходимо.

Так в обучении и получается пока ясно не будут понятны и обговорены ожидаемые результаты и то, как они могут быть измерены с тем, кто является заказчиком обучения, мы будем гадать, надеяться, и пытаться найти результат после, чем просто стремиться к тому, что определено заранее.

на основе ряда материалов с www.trainingzone.co.uk

Комментарии (10)

RSS свернуть / развернуть
Мы, кстати, пытались на один из проектов ROI считатать — получили около 850% — времени и сил потратили массу, а в итоге руководство, которое само настаивало на расчёте, сказало «ну… всё-таки здесь есть влияние и других факторов, да и есть те, кто сказал, что тренинги не понравились..» и т.п. — и как-то после этого на ROI мы не посягаем и оцениваем эффективность только по оценкам участников в конце тренинга или программы.
+3
Всё равно всё в компании делается с одной целью — повышать прибыль.
0
Использование ROE полезно уже тем, что «запускает» в Компании дискуссию: а что же важно на самом деле, чего следует достигать, и формирует хоть какие-то показатели, кроме субъективных мнений.
На обсуждение ROE проще сподвигнуть любого специалиста, так как существует иллюзия, что, в отличие от ROI, такие показатели «проще получить». Но это только начало пути.
Вот что интересно:
1. Часто «очевидные» показатели не выдерживают дальнейшей проверки цифрами. Попросту оказывается, что милые чъему-то сердцу измерения и изменения (или даже отзывы) в действительности мало на что влияют — кроме удовлетворенности того, кто их хочет видеть.
2. Как только у вас складывается «практика» (раз показатели повысили, два повысили) — появляется возможность оценить и ПОСЧИТАТЬ, а влияет ли этот рост на прибыль. Хорошо сформированный показатель почти всегда содержит цифру, соотношение или может быть к ним сведен. Или он ничего на самом деле не показывает. Часто это путь к более «жестким» показателям, и к ROI в том числе.
3. На мой взгляд, самым важным здесь вообще является сам принцип: показатели должны быть, формироваться они должны ДО обучения, весь процесс обучения должен быть им подчинен.
Высшим результатом всего этого (порой мучительного) процесса является формирование постоянно действующего механизма разработки и согласования основными компетентами все более эффективных ориентиров, лучшее понимание Компанией собственного бизнеса, что позволяет точнее концентрировать ресурсы на действительно важных задачах, а «красотами» заниматься только если у вас рынок растет на 70% в год и посчитать все равно ничего не получится.
+4
Спасибо за развёрнутый ответ. Действительно, большинство из того, что вы пишите имеет место быть. Я тоже долгое время думала, что это лишь дело времени и в конечном итоге все показатели сводятся к ROI.
Здесь же мне понравился принципиально иной подход к пониманию оценки эффективности:
1. то, что задавая ожидания мы уже с самого начала нацеливаем на достижение цели не только обучение, что возвращает идею целостности и взаимосвязности всех бизнес-процессов в компании
2. то, что мы не тратим время на лишние расчёты, когда это не нужно. То есть делаем с точки зрения оценки эффективности только то, что реально необходимо. А это очень ценно в современном бизнесе.
Пример, допустим, что в компании есть ценность «лидерство» или «команда» и для собственник может описать, каких лидеров или какую команду он хочет видеть у себя в компании — это и есть ожидания. И если мы с помощью обучения и других методов сумели приблизится к тому образу, значит наша эффективность высока. И нет смысла высчитывать в деньгах эффект от развития лидерства.
+4
В этом я полностью согласен.
Можно даже выделить в отдельный, принципиально важный вопрос сам процесс организации оценивания, в котором:
а) должно быть вовлечено более одной стороны:))),
б) приходится выделять ключевых компетентов по конкретному вопросу, задаче (на которую должно сработать обучение), народ должен знать своих героев, их можно переписать и прокомментировать всех, затем выложить в интранет в качестве справочника «с кем о чем советуемся», если это не сделано ранее на более структурированном уровне, например, в Системе сохранения знаний,
в) выделять сами критерии оценки,
г) проводить согласование, достигая более точного понимания, что и зачем нам нужно, ну, и в хорошем случае все это выливается в
д) формализованную и «неизбегаемую» процедуру, что здорово дисциплинирует всех, возникает коммуникация и договоренности, взаимообучение «по делу» между теми, кто раньше в лучшем случае требовал и жаловался.
Эту последнюю («д») уже можно встраивать в формальную систему управления компанией, а можно и не встраивать, согласен — важнее всего, что возникает развитие в верном направлении.
Я бы вообще рискнул утверждать, что такая коммуникация и порождаемое ею более качественное знание компании о себе самой, особенно доведенное до состояния постоянной процедуры даже важнее конкретной оценки конкретного обучения.
А «посчитать» — ну, у нас не только это посчитать не успевают:))).
+3
особенный респект последнему предложению! :))
+2
вот Вы пишите, что в последствии всё так или иначе сводится к подсчёту ROI. А Вам самому приходилось его считать? Если да, то на какие программы?
0
Очень сложно измерить и просчитать реальный эффект, насколько вложения в обучение сотрудников увеличили выручку или прибыль компании. Я скорее сторонник подхода, когда L&D – это просто расходы. Кому-то с этим будет тяжело свыкнуться. Просто нужно понимать, что это еще и очень важные инвестиции в вашу компанию.

И может быть, действительно, вместо того, чтобы тратить время на эфемерные расчеты (in best case scenario они будут индикативными), лучше с максимальной осознанностью подойти к вопросам выбора (не говоря уже о внедрении и внутреннем продвижении) программ по обучению.
+1
хм, т.е. Вы в своей компании людей не обучаете, считая это не инвестициями, а расходами?
-3
Коллеги, внимательно прочитала пост Маргариты про ROE. В нем нет ничего, чего нет в методологии оценки эффективности Филлипса. Ровным счетом. Просто все называется по-другому.

Волею судеб изучила методологию Филипса досконально, и могу сказать, что на самом деле она не такая сложная, как кажется, как принято о ней думать. И самое простое, что в ней есть… — это изоляция эффектов обучения. Гораздо сложнее собрать данные, необходимые для оценки ROI (да и ROE, подозреваю, тоже). Особенно учитывая ситуацию с HR и бизнес аналитикой в компаниях. До сих пор большинство компаний ведет учет обучающих активностей в Excel(((.

"… Самое главное, что для того, чтобы измерить ROE необходимо сформулировать показатели эффективности обучения ДО его начала". С ROI то же самое — его просто невозможно оценить, если ДО обучения неясно, зачем козе баян (зачем мы проводим обучение?). Это тоже диалог с менеджментом и выработка единого языка, терпеливый ответ на вопрос: «Зачем?», пока не доберетесь до прямой пользы бизнесу.

Простой пример — программы кадрового резерва. Их ROI посчитать несложно. При этом понятно, что на успех программ влиет далеко не одно обучение. Еще на этапе создания концепции программы закладывается принцип оценки эффективности.
— Зачем резерв?
— Чтобы на возникающие позиции были готовые внутренние кандидаты.
— А зачем внутренние кандидаты?
— Они будут эффективнее, чем внешние. Они быстрее войдут в должность. К тому же внешних нужно искать, а внутренние уже есть.

Уже из этого ясно, какой показатель можно взять при оценке ROI — экономию от внешнего рекрутмента. Ее посчитать не так сложно, даже если вы ищете кадидатов сами, без рекрутинговых агентств. В затраты обязательно включают затраты на резеревистов, которые покинули компанию (так называемая текучка преемников).

Я считаю, что ROI оценивать нужно только для дорогостоящих программ, более того — выделять эффект обучения нужно только если того просит бизнес (мол, а какова именно ваша роль в победе?). Если не просят — не тратьте время. Покажите ROI, на который повлияли все, и достаточно.

Методологий оценки эффективности — вагон! ROE, ROI — одни из них. У меня такое общущение, что не так важно, какую именно методику вы выберете. Главное — тщательно изучить методику, дисциплинированно выполнять необходимые шаги (здесь я полностью согласна с Kholopov`ым!!) и постоянно анализировать, как можно облегчить процесс оценки эффективности в компании (в частности, через автоматизацию процесса сбора данных).
+2
Только зарегистрированные и авторизованные пользователи могут оставлять комментарии.