Дистанционное обучение: оценка эффективности

На примере компании с численностью персонала 4000 человек рассмотрим опыт внедрения дистанционного обучения. Девиз его организаторов: обеспечить доступность и массовость обучения сотрудников при условии единого качества подготовки для всех.

Показатели эффективности системы дистанционного обучения (СДО)

Запуск дистанционного обучения в компании - проект довольно дорогостоящий. Чтобы оценить целесообразность затрат на него, необходимо разработать систему показателей эффективности СДО. Среди таковых можно выделить:

• общие (характеризуют функционирование дистанционного обучения в компании как части общей системы обучения);
• частные организационные;
• показатели качества, восходящие к понятию педагогической эффективности.

Ключевой вопрос в достижении эффективности дистанционного обучения касается внедрения стандартов его организации в компании. В ЗАО «Страховая группа «УралСиб» в этом направлении были определены следующие KPI:

1. Подготовка и утверждение документа, устанавливающего порядок организации дистанционного обучения, а именно содержащего описание конкретных процедур, в том числе касающихся создания учебных программ, а также схемы документооборота, стандарты отчетности.
2. Все директора, функциональные и линейные менеджеры, определяющие потребность в дистанционном обучении, должны быть ознакомлены с порядком его организации.
3. Все филиалы и точки продаж региональной сети должны получить доступ к СДО, т.е. обеспечение технической возможности дистанционного обучения для 100% сотрудников.
4. Все направления деятельности организации нужно обеспечить поддержкой дистанционного обучения в соответствии с имеющейся потребностью. Она выявляется ежегодно в рамках процедуры планирования. Объем, сроки и темы определяются в соответствии с планами бизнес- и функциональных подразделений - основных инициаторов дистанционного обучения. В частности, оно обязательно при внедрении нового страхового продукта, оценке квалификации ключевых специалистов для подтверждения или изменения полномочий (на заключение договоров или урегулирование убытков), ознакомлении сотрудников с новыми или скорректированными политиками и правилами, прохождении обязательных по законодательству форм аттестации, посттренинговой поддержке очных программ обучения, адаптации новых работников (ориентационный курс, базовые программы), расширении или изменении функциональных обязанностей сотрудников и др.
5. Все запросы бизнес-подразделений о предоставлении отчетов о повышении квалификации персонала с помощью дистанционного обучения должны быть выполнены в установленный срок.

Первые три показателя были сформулированы как критерии достижения целей по усовершенствованию СДО после запуска пилотного проекта, которые оценивались по факту исполнения. Четвертый - конкретизируется ежегодно в соответствии с ростом потребности в дистанционном обучении. Все они направлены на обеспечение стабильности и устойчивости работы СДО. Пятый из названных показателей - постоянный KPI системы обучения в целом и дистанционного, в частности. Он говорит о полезности и продуктивности обучения представителей бизнес-подразделений и руководства.

Важны и частные организационные показатели эффективности администрирования СДО:

• обработка заявок на дистанционное обучение в течение N рабочих дней на 100%;
• организация учебных мероприятий СДО в соответствии с заявленными заказчиком (руководителем структурного регионального подразделения) сроками на 100%.

Эти показатели позволяют оценить качество организации процесса, и влияют на уровень удовлетворенности специалистов и руководителей системой дистанционного обучения. Интересно, что для оценки администрирования достаточно просто понаблюдать: кому из специалистов HR-подразделения предпочитают звонить участники обучения и ответственные за его мониторинг сотрудники филиалов в случае возникновения проблем и за поддержкой.

Создавать дистанционные учебные курсы могут как внутренние специалисты, так и внешние поставщики образовательных и консультационных услуг - выбор делает сама компания. Показателями эффективности разработки программ могут быть следующие:

• выполнение плана создания и модификации курсов на 100%;
• подготовка и корректировка программ в установленные сроки;
• обеспечение на 100% программ обучения инструментами проверки знаний (тесты, задачи, кейсы);
• разработка и утверждение стандартов по созданию программ дистанционного обучения;
• включение учебных презентаций, методически ориентированных на дистанционное обучение, в 100% программ.

Последний показатель может оказаться недооцененным, однако он содержит несколько важных аспектов. Учебный материал СДО должен быть наглядным, структурированным, логически организованным, лишенным противоречий и, главное, самодостаточным, поскольку рядом с участником обучения нет преподавателя, который мог бы дать необходимые пояснения и комментарии. Курс также должен включать алгоритмы работы сотрудника, примеры расчета или построения общения с клиентом, памятки, «шпаргалки» с полезными для работы речевыми оборотами, фразами и др. Такие элементы обеспечивают эффективность учебного курса.

Ориентир на названные показатели способствует регулярности, устойчивости и системности процессов разработки программ, тому, чтобы используемые учебные материалы учитывали специфику дистанционной формы обучения. Анализ соотношения прогнозируемого и фактически затраченного слушателем времени на прохождение курса и аттестацию позволяет выявить недостатки методической или организационной работы. На практике использование всех перечисленных пяти показателей невозможно, так как потребуется слишком много времени, чтобы их отслеживать. В ЗАО «Страховая группа «УралСиб» в обязательном порядке используются первый и третий из названных.

Анализируя эффективность дистанционного обучения, также важно учитывать показатели педагогической эффективности. Это системное понятие, традиционно применяемое в исследованиях эффективности дистанционного обучения в образовательных учреждениях (например, в трудах А. А. Андреева, Т. Рассела, О.К. Филатова, Д.В. Чернилевского и др.). Основной критерий - доля (в процентах) аттестованных участников обучения от их общего числа. В компании «Страховая группа «УралСиб» он был внесен в список показателей эффективности деятельности предприятия в целом, сформулированный как «процент аттестованных сотрудников». Важность данного индикатора вытекает как из общих целей обучения (обеспечение должного уровня квалификации персонала), так и из частных. Например, продуктовое обучение организуется для того, чтобы специалисты подразделений продаж знали,  и понимали условия страхования. Ознакомительный курс, рассказывающий об истории, традициях и достижениях предприятия, проводится для того, чтобы сотрудники помнили, в какой компании они работают, осознавали, где и когда им смогут пригодиться эти знания, и как их можно использовать в своей ежедневной деятельности. Освоение политик (например, по информационной безопасности) необходимо для того, чтобы обеспечить условия для их соблюдения. Изучение типовых сложностей работы в учетных базах и системах позволяет сохранять высокую точность и целостность хранящейся информации. И очевидно, что проконтролировать достижение перечисленных (и других) целей без проверки освоенных знаний невозможно. Таким образом, доля сотрудников, успешно прошедших аттестацию, становится значимым показателем как эффективности системы дистанционного обучения, так и развития персонала в целом.

В период становления СДО в ЗАО «Страховая группа «Урал-Сиб» в качестве показателя мотивации к дистанционному обучению рассматривался такой: освоение 75% сотрудников филиала не менее двух учебных программ в год. Исследование в этой сфере осложняется тем, что довольно часто в форме дистанционных занятий организуются обязательные для определенных категорий персонала учебные курсы. Индивидуальные особенности (самоорганизованность/ неорганизованность, усидчивость/ торопливость, способность к аналитическому мышлению, общительность/ замкнутость и др.) на отношение к данному виду обучения и на качество его результатов, безусловно, влияют, однако их учет требует отдельного внимания.

Показатели эффективности дистанционного обучения целесообразно анализировать системно. Объединение их в общую концепцию должно учитывать своеобразие процессов той или иной компании. Примером показателя, интегрирующего разные группы факторов, может служить анализ методической и административной работы. Время, затрачиваемое на администрирование (регистрация участников, отправка информационных писем и уведомлений, формирование итоговых протоколов по результатам обучения, техническая поддержка пользователей учебного портала и др.), по опыту ЗАО «Страховая группа «Урал-Сиб», не должно превышать третьей части периода создания и модификации учебных курсов. В противном случае качество СДО в целом может постепенно снизиться.

Существенную роль играет оценка применения знаний и влияния их на результат деятельности. Рассмотрим методы, которыми можно провести данную оценку.

Методы оценки эффективности СДО

Анкетирование

Традиционный метод оценки эффективности обучения - обратная связь его участников и заказчиков. Ее можно получать путем анкетирования сотрудников сразу по окончании занятий, а также руководителей - на регулярной основе (например, раз в квартал). Таким образом, по модели оценки эффективности обучения взрослых П. Киркпатрика, фиксируется сначала непосредственная реакция слушателей (опрос сотрудников) и затем - то, насколько изменилось их поведение после обучения и отношение к работе (анализ мнений руководителей).

Участникам в анкетах предлагается оценить (по 3-, 5-, 7- или 10-балльной шкале) ясность и наглядность учебных материалов, актуальность, практическую ценность полученных знаний, качество организации СДО, а также описать, был ли интересен курс, насколько трудно или легко было его проходить, дать общую эмоциональную оценку: «понравилось/ не понравилось». Об эффективности обучения может говорить установленный показатель, к примеру, средняя оценка - не ниже 7 баллов (по 10-балльной шкале).

Анкетирование линейных руководителей - более сложная задача. Получению от них качественной обратной связи препятствуют следующие факторы:

• отсутствие инициативы руководителя при определении потребности в обучении -выбор сотрудников осуществляется по их функциям, а не исходя из видения ситуации в подразделении его руководителем;
• период обучения определяется централизованно, и в связи с этим руководитель не имеет свободы планировать прохождение курсов его подчиненными с учетом текущей загрузки (и их, и его собственной).

Два данных обстоятельства значительно снижают желание предоставлять обратную связь, делиться своим мнением об организованном обучении. Формальные же ответы никому не нужны.

В случае, когда дистанционное обучение проводится централизованно для всех сотрудников определенной категории (например, специалистов операционной поддержки в филиалах), можно ограничиться анкетированием непосредственных участников. Если же руководитель сам выбирает из каталога программ те, которые считает нужными для своих подчиненных, то он способен предоставить полноценную информацию об эффективности дистанционного обучения.

Оценка методом анкетирования в случае СДО имеет свои особенности. Так, участники и руководители могут давать обратную связь по желанию, т.е. это необязательная процедура. Технически ее имеет смысл организовывать в форме опроса, привязанного к конкретному курсу. Важно, чтобы анкета предъявлялась вся полностью, а не по одному вопросу, поскольку отвечая, сотрудник одновременно анализирует собственное впечатление об учебной программе, и ему важно отразить его целиком.

Некоторые организации создают отдельные форумы, где работники могут обсуждать разные вопросы по конкретной учебной программе, а также получать дополнительную информацию от администратора форума и методиста курса. В компании «Страховая группа «УралСиб» форума нет, так как для его поддержки требуется значительное время и человеческие ресурсы.
Другая важная особенность оценки дистанционного обучения методом анкетирования - необходимость реагировать на полученную обратную связь.

Приведенная ситуация служит также примером того, как может проводиться работа по расширению «живой» части учебных курсов в интересном для сотрудников направлении. Однако ключевой момент - непосредственно реакция на обратную связь, т.е. вся проделанная на ее основании работа. Это активизирует общение участников дистанционного обучения, таким образом, повышается его интерактивность, а значит, и эффективность.

Метод инцидентов

Опыт внедрения СДО в компании «Страховая группа «Урал-Сиб» показал, что для оценки эффективности дистанционного обучения целесообразно использовать метод инцидентов. Суть его наследована из практики инженерной психологии: в случаях, когда в работе возникает нетипичный вопрос, производится специальный анализ проблемы.

Он включает: выяснение обстоятельств появления сложностей, рассмотрение действий участников, поиск оптимального выхода из ситуации. Причины явления и найденное решение, а также способы правильного поведения в аналогичных ситуациях закрепляются в письменной форме, и далее транслируются всем сотрудникам, которые задействованы в поддержании работы СДО. Такой анализ способствует повышению качества учебных курсов, позволяет обогащать методические материалы.

Периодически возникает необходимость прояснять формулировки и расширять содержание учебных курсов. Например, работа в страховании предъявляет к сотруднику продающего подразделения высокие требования: знание правовых норм, экономических основ страхования, экономики предприятий, особенностей налогообложения, основ работы смежных отраслей и др.

Такой подход позволяет фиксировать возможные технические трудности, возникающие при пользовании учебным порталом, и способы их устранения, а также передавать коллегам актуальный опыт. Составленным справочником удобно пользоваться как новому, так и опытному администратору.

Пример 1

Участники обучения дали понять, что в учебном курсе недостаточно практических примеров. Это выразилось в низких оценках по соответствующей шкале в анкете обратной связи. Методист проанализировал ситуацию, конкретизировал с помощью точечного опроса, в чем состоит «замечание», и затем добавил, и откорректировал примеры в курсе. Согласовав с ответственным сотрудником бизнес-подразделения внесенные изменения, поместил информацию о них в разделе «Новости» на учебном портале со словами благодарности тем, кто предоставил критическую обратную связь, которая позволила улучшить качество курса.

Пример 2

У работника возникли сложности с одним из тестовых вопросов продуктового курса, и он обратился с ним в дирекцию обучения и развития персонала. Методист уточнил, в чем суть затруднения, затем обратился к материалам, и проверил корректность формулировок. При необходимости, в таких случаях он запрашивает помощь у представителей бизнес-подразделения, являющегося разработчиком условий страхования. Измененный тестовый вопрос был согласован не только с участвовавшими в создании учебного курса специалистами, но и с самим сотрудником, обозначившим неточность. Затем методист зафиксировал суть возникшего инцидента и способ его урегулирования. Информация была передана коллегам в форме обычного электронного письма.

Пример

Участник обучения, проходя тестирование, столкнулся с технической сложностью. Он позвонил администратору, но тот не смог обнаружить причину проблемы и решить ее. Тогда был подключен методолог по дистанционному обучению. Его задача состояла в том, чтобы определить характер технической неполадки, зафиксировать обстоятельства ее появления. Методолог связался с ИТ-специалистом, который по результатам анализа ситуации определил критерии идентификации проблемы, вывел алгоритм ее решения, и транслировал его всем администраторам дистанционного обучения.

Анализ динамики финансовых показателей компании

Отдельное место в оценке СДО занимают общие показатели эффективности бизнеса.

Сегодня популярен такой индикатор качества обучения, как «объем продаж». В страховании он рассматривается как объем страховой премии в разрезах корпоративного и розничного страхования, по видам страхования, каналам продаж, характеру договора (новый/пролонгированный) и др.

При этом необходимо помнить следующее. В оценке учебных программ имеет значение объем и динамика продаж не вообще, а только по тем видам страховых услуг, по которым проводилось обучение. Конечно, в случае как хороших, так и плохих значений, нельзя утверждать, что они стали следствием именно обучения (или его отсутствия). Имеет значение «синхронность»: пройден курс - есть результат, равно как и наоборот. Следует насторожиться, если обучение не привело к изменениям в работе.

Опыт ЗАО «Страховая группа «УралСиб» показывает, что сориентировать обучение на нужные участки продаж удается лишь в период, когда план учебных программ составляется вслед за утверждением продуктовой стратегии и стратегии развития каналов продаж, повторяя обозначенные бизнес-приоритеты.

Показатель «объем продаж» характеризует результативность, прежде всего, сотрудников продающих подразделений, а значит, не является единственным. К примеру, при обучении работе с базами данных, которое тоже удобно запускать в массовом дистанционном формате, об эффективности курса скажут статистика и аналитическая информация о количестве и характере ошибок, допускаемых в работе с программами. Сравнение данных, собранных до обучения и через 1-2 месяца после него, продемонстрирует воздействие пройденных курсов.

Учебный портал позволяет вовлекать персонал в дистанционное обучение. Для повышения активности участников можно использовать: рейтинги «успеваемости» филиалов, подразделений или личные; публичные виртуальные награды - «за организованность» при прохождении обучения, «за самую высокую квалификацию филиала/ подразделения», «за активное участие» и т.д. Таким образом, измерителями вовлеченности могут быть: количество участников опроса, голосования, конкурса; динамические показатели участия в обучении (соблюдение сроков, доля участников от общей численности персонала, рост количества разовых заявок на прохождение курсов, подаваемых линейными руководителями).

Метод сравнения

В своей работе дирекция обучения и развития персонала компании использует также метод сравнения. Чтобы оценить, эффективно ли организована СДО, целесообразно посмотреть, как это делают другие, например, побывав на известной выставке-конференции e-learning или на открытых семинарах и круглых столах, которые организуют предприятия, разрабатывающие и продающие программное обеспечение для дистанционного обучения. Эти же компании сами поддерживают специальные интернет-ресурсы для своих клиентов, где можно задать провайдеру вопросы, получить ответы, посмотреть, чем интересуются специалисты других организаций.

Неоспорима сложность задачи определения эффективности дистанционного обучения. Ввиду активного развития информационных технологий можно оптимистично смотреть на перспективу реализации разных методов оценки при условии минимальных затрат времени и человеческих ресурсов. Еще раз обратим внимание на важность системных (общих) показателей качества СДО. Успех дистанционного обучения в целом значительно зависит от методологов, участвующих в организации обучения. Именно в их задачи входит налаживание диалога с участниками, повышение воздействия дистанционных программ.

Автор: Козева Анна