Я побывал в роли эксперта на конференции TrainingLabs 2008. Поскольку организаторы не дали никаких специальных указаний относительно того, по каким принципам оценивать тренинги, я постарался самостоятельно выработать систему оценок. Ниже приведено описание этой системы и собственно оценки тех четырёх тренингов, в которых я принимал участие.
Описание системы оценок
Тренинги -- это особый жанр в обучении. Цель тренинга -- выработка и/или закрепление определённых навыков, а не "доведение до сведения слушателей" какой-то информации. Причём сделать это нужно как правило в сжатые сроки -- типовые тренинги занимают от нескольких часов до нескольких дней и не размазаны по времени. После тренинга человек может быть и не поймёт сразу, почему тот или иной приём работает, но всё равно будет в состоянии выполнять его и добиваться результата. А понимание придёт потом (может быть :) ). Именно этим тренинги и ценны. Я практически не встречал руководителей, которые бы отправляли сотрудников "послушать лекции". Другое дело тренинг -- три дня и человек может делать то, что раньше не мог. Например, его научили умножать и делить столбиком, хотя не объяснили, почему при этом получается правильный результат. Или калькулятором научили пользоваться, уж конечно не рассказывая, как он устроен внутри.
И я пришёл на TrainingLabs 2008 для того, чтобы увидеть именно тренинги, а не презентации, не лекции, не семинары.
Отличительной чертой тренингов является наличие достаточно большого количества активных форм -- самостоятельных и групповых заданий, различных способов получения обратной связи -- работа у доски, мини-доклады, дискуссии, майевтика (метод Сократа), ролевые игры и т.п. Во-первых, потому что долго делать одно и то же никто не может, нужно менять формы, иначе слушатели просто не выживут. Во-вторых, потому что у разных людей преобладают разные каналы восприятия, и чтобы научить всех -- нужно учить разнообразно.
Кроме того, личность тренера тоже играет большую роль, потому что это человек, который на время тренинга (а это может быть несколько дней) становится лидером группы, и не обязательно это может быть выражено явно, он может как "серый кардинал" незаметными действиями направлять группу в нужную сторону.
Именно на этих трёх китах (тренировка конкретных навыков, наличие активных форм, личность тренера) и базируется нижеприведённая система оценок.
Ну и конечно же я принимал во внимание, что перед тренерами стоит весьма непростая задача -- мало того, что им предоставлено всего полтора часа времени, так за это время они должны не просто провести мини-тренинг, а всячески продемонстрировать свою тренерскую крутизну, анонсировать другие свои тренинги, а также порекламировать свою тренинговую компанию.
Итак, вот мой оценочный лист:
1. Тренер
1.1. Представление тренера и тренинговой компании
1.2. Знакомство с аудиторией -- аудитория хоть и заинтересованная, но уровень её подготовки и мотивация неясны
1.3. Представление темы, содержания и цели и формата тренинга
1.4. Регламент -- насколько хорошо тренер контролирует время и управляет ходом событий
1.5. Риторика -- текст (что тренер говорит) и речь (как тренер говорит)
1.6. Экспертиза -- как тренер отвечает на вопросы, в том числе смежные с основной темой тренинга, как тренер способен подстроиться под уровень знаний аудитории
2. Тренинг
2.1. Соответствие названия содержанию
2.2. Наличие и разнообразие активных форм обучения
2.3. Прослеживаемость навыков, на тренировку которых нацелен тренинг, сфокусированность
3. Другое
3.1. Количество слушателей в аудитории.
3.2. Активность аудитории
3.3. Про другие тренинги -- анонсы, реклама
3.4. Общее впечатление
Оценка выполнялась по четырёхбалльной шкале: PASS, PASS/FAIL, FAIL/PASS, FAIL.
Александров А., ТЦ Люксофт, Управление тестированием, источники и сдерживание рисков
1. Тренер
1.1. Представление тренера и тренинговой компании: PASS.
1.2. Знакомство с аудиторией: FAIL, тема тренинга достаточно специфичная, скорее менеджерская, поэтому было бы весьма желательно хотя бы узнать, кто в теме, а кто нет. Конечно, можно предполагать, что в аудитории все в теме, а остальные ушли на другие тренинги. Тем не менее, с ходу посыпались термины "митигирование", "элиминация", куча англоязычных терминов без перевода и пояснений.
1.3. Представление темы, содержания, цели и формата тренинга: PASS/FAIL, отлично рассказано про структуру как представленной укороченной версии, так и полного варианта тренинга, но цели не сформулированы.
1.4. Регламент: PASS, никаких претензий, очень чёткий контроль времени, пресечение лирических отступлений, грамотная работа с вопросами, которые могут увести в сторону (про это ещё будет ниже, в разделе Активные формы).
1.5. Риторика: текст -- PASS; речь -- PASS/FAIL, недостаточно громко, даже для маленькой аудитории (точнее сказать, в конце предложений звук часто понижался до уровня слабой слышимости, а в целом громкость всё таки приемлемая).
1.6. Экспертиза: PASS, очень, очень высокий уровень.
2. Тренинг
2.1. Соответствие названия содержанию: PASS
2.2. Наличие и разнообразие активных форм обучения: FAIL/PASS, из активных форм была представлена только традиционная возможность задать вопросы и послушать ответы тренера. Следует признать, что с вопросами тренер умеет обращаться очень грамотно, отвечает те вопросы, на которые действительно имеет смысл ответить. Вопросы, уводящие в сторону, или такие, на которые ответ станет ясен из последующего изложения, фиксируются на флип-чарте и откладываются. Тем не менее, для такой интересной темы можно было бы придумать какие-то более сложные формы -- небольшие ролевые игры или самостоятельные задания, например, разбор модельных ситуаций и обсуждение.
2.3. Прослеживаемость навыков, на тренировку которых нацелен тренинг, сфокусированность: FAIL, навыки явно не выделены, упражнений нацеленных на их выработку нет.
3. Другое
3.1. Количество слушателей в аудитории: 20-22.
3.2. Активность аудитории: достаточно высокая.
3.3. Про другие тренинги: рассказано, и достаточно подробно.
3.4. Общее впечатление: хороший материал, прекрасно изложен, но в традиционной лекционно-семинарской форме, то есть это вообще нельзя назвать тренингом в полном смысле этого слова, потому что тренировка конкретных навыков просто отсутствует. Можно порекомендовать для тех, кто любил в вузе ходить на лекции и семинары и не спал на них. Для людей с альтернативными формами восприятия уровень полезности будет значительно снижен.
Булгаров В., ТЦ Люксофт, Автоматизация функционального тестирования посредством FITPro
1. Тренер
1.1. Представление тренера и тренинговой компании: PASS.
1.2. Знакомство с аудиторией: FAIL
1.3. Представление темы, содержания, цели и формата тренинга: FAIL, с ходу начался рассказ про то, что такое FITPro.
1.4. Регламент: PASS
1.5. Риторика: текст -- PASS/FAIL, текст как будто не подготовлен для публичного выступления, а сочиняется на ходу, как при рассказе коллеге, сидящем за соседним компьютером, то есть в целом по теме, но иногда не очень связные переходы; речь -- FAIL/PASS, быстрая и слабо акцентированная.
1.6. Экспертиза: PASS/FAIL, тренер весьма хорошо владеет темой "на знакомой территории", в данном случае -- при обсуждении автоматизации веб-приложений, но теряется при ответах на "заковыристые" вопросы, выходящие за рамки темы. В такой ситуации, впрочем, может спасти применение специфических тренерских приёмов (можно вопрос зафиксировать и отложить в кулуары, или предложить к обсуждению, а самому в сторонке послушать и подумать тем временем), но тренер не продемонстрировал владение этими приёмами.
2. Тренинг
2.1. Соответствие названия содержанию: PASS.
2.2. Наличие и разнообразие активных форм обучения: PASS/FAIL, тренинг посвящен освоению инструмента FITPro, инструмент показан, всем слушателям предоставлена возможность с ним поработать. Тем не менее, в основном это повторение действий за тренером, самостоятельных упражнений не было.
2.3. Прослеживаемость навыков, на тренировку которых нацелен тренинг, сфокусированность: FAIL/PASS, навыки явно не выделены, просто продемонстрированы различные возможности инструмента.
3. Другое
3.1. Количество слушателей в аудитории: 8.
3.2. Активность аудитории: достаточно высокая.
3.3. Про другие тренинги: информация не представлена.
3.4. Общее впечатление: хороший материал, очень удобный для организации тренинга, но навыки не выделены и самостоятельных упражнений мало, в основном повторение за тренером. Больше похоже на мастер-класс, а не на тренинг.
Мартыненко С., независимый тренер, Основные подходы к созданию тестовых сценариев
1. Тренер
1.1. Представление тренера и тренинговой компании: PASS.
1.2. Знакомство с аудиторией: PASS, очень хорошо собрана информация об аудитории.
1.3. Представление темы, содержания, цели и формата тренинга: PASS/FAIL, рассказано, но как-то невнятно.
1.4. Регламент: FAIL, не уложились в отведённое время. Можно конечно сделать вид, что это просто часть полного тренинга, его начало, но тогда так и надо было сказать -- сегодня у нас в плане только вот это и это, а вот то и то -- в полной версии.
1.5. Риторика: текст -- PASS; речь -- PASS, тренинг построен как "разговор по душам", а не как публичное выступление, текст и речь соответствуют выбранной форме.
1.6. Экспертиза: PASS, никаких претензий, тренер даже немного бравирует своим высоким уровнем :) .
2. Тренинг
2.1. Соответствие названия содержанию: FAIL, до сценариев вообще за отведённое время не добрались, застряли на уровне тест-кейсов.
2.2. Наличие и разнообразие активных форм обучения: PASS, очень широкий спектр применяемых приёмов -- диалог с аудиторией, организация работы в группах, самостоятельные задания, работа как с бумагой, так и с компьютером, работа слушателей у доски. Отлично, просто отлично!
2.3. Прослеживаемость навыков, на тренировку которых нацелен тренинг, сфокусированность: PASS/FAIL, навыки заранее явно не выделены, но по ходу тренинга на них акцентируется внимание.
3. Другое
3.1. Количество слушателей в аудитории: 15.
3.2. Активность аудитории: высокая.
3.3. Про другие тренинги: информация не представлена.
3.4. Общее впечатление: замечательный тренинг, печалит только то, что "в реале" его не существует -- Сергей в перерыве сказал, что у него не хватает времени на проведение тренингов. И очень жаль. Но может быть, если как следует попросить....
Воротягин М., Нагрузочное тестирование, обзор инструментария для тестирования
1. Тренер
1.1. Представление тренера и тренинговой компании: FAIL/PASS, я так и не смог понять (ни из рассказа, ни из презентации и раздаточных материалов, ни с сайта конференции), является ли Михаил независимым тренером или представляет какую-то компанию.
1.2. Знакомство с аудиторией: FAIL/PASS, почти отсутствовало.
1.3. Представление темы, содержания, цели и формата тренинга: PASS/FAIL, рассказано и про укороченную версию, и про полный вариант тренинга, однако цели не сформулированы.
1.4. Регламент: FAIL/PASS, тренер пытался контролировать время, но технические сбои его подвели. Тем не менее, это не является достаточным оправданием, LoadRunner надо было установить на все машины заранее, а не включать это как лабораторную работу в укороченный вариант тренинга.
1.5. Риторика: текст -- PASS; речь -- PASS/FAIL, слабо акцентированная, монотонная.
1.6. Экспертиза: PASS, никаких претензий.
2. Тренинг
2.1. Соответствие названия содержанию: FAIL, тренинг про инструмент HP LoadRunner, а вовсе не про нагрузочное тестирование само по себе, обзор инструментов тоже весьма непредставительный -- помимо HP LoadRunner упоминается только IBM Performance Tester и всё, причём речь идёт главным образом про тестирование веб-приложений, а для них как раз инструментов полным полно.
2.2. Наличие и разнообразие активных форм обучения: FAIL/PASS, вообще говоря, в полной версии тренинга анонсировано целых восемь лабораторных работ, но в укороченной не удалось попробовать почти ничего, так что трудно оценить, насколько хорошо они подготовлены. Но даже если все они хороши -- они всё равно нацелены на освоение возможностей определённого инструмента, а не навыков нагрузочного тестирования как такового, но про это см. предыдущий пункт.
2.3. Прослеживаемость навыков, на тренировку которых нацелен тренинг, сфокусированность: PASS/FAIL, навыки выделены, контроль достижения есть, но иногда вызывает некоторое недоумение. Ну и опять таки надо учитывать сказанное в пункте 2.1.
3. Другое
3.1. Количество слушателей в аудитории: 14.
3.2. Активность аудитории: высокая.
3.3. Про другие тренинги: информация не представлена.
3.4. Общее впечатление: тренинг получился очень сумбурный и скомканный, вероятно причиной этому технические накладки с установкой HP LoadRunner, но впечатление всё равно подпортилось.
В дополнение. общие замечания
Как прецедент -- конференция в целом мне понравилась. Раньше такого явления не было, теперь оно появилось, и есть надежда, что будет развиваться и дальше.
Тем не менее, у меня сложилось впечатление, что тренеры не очень хорошо поняли поставленную перед ними задачу. Во всяком случае, это понимание разошлось с моим. Они не продавали свои тренинги, а просто проводили их. Ну вот если бы вы пришли на выставку оборудования для торговли -- витрины там разные, холодильники, а там стоят люди за этими витринами и продают мясо и овощи, хорошо продают, весело, с шутками-прибаутками -- но не то продают, не то!
Если бы это была настоящая конференция -- докладчики должны были бы рассказывать про новые методы обучения, про способы организации учебных групп, про оборудование классов и прочее такое. Нет, это было больше похоже на выставку. А что на выставке главное? Заинтересовать клиента. То есть за отведённые полтора часа нужно было не научить слушателей тестировать, а как-то донести до них мысль о том, что "мы можем научить вас тестировать, приходите на наши тренинги!" И вот этого как раз не было.
Когда будем делать вторую попытку?
