«Умные тесты» — это рабочее название профориентационной многопараметрической системы диагностики, разрабатываемой специалистами нашего Центра исследований для платформы самоопределения «IZ-I».
UPDATE 2023
Подробное описание методики, технологии и практической реализации динамического тестирования profproba360.ru/metodika/#link2
Какие тесты мы называем умными?
- С адаптивным сценарием теста, формируемым
динамически по результатам всех предыдущих ответов пользователя и
опирающийся на накопленный опыт (обучение) в анализе ответов всех пользователей
теста. - Работающий со значениями пользовательских ответов
без линейного редуцирования данных. - Позволяющий совмещать полные данные одного теста
с полными результатами других тестов пользователя. - Использующий саморегулируемые процедуры
А/Б-тестирования отдельных элементов и цепочек элементов теста, в том числе и в
интерпретационной части. - Самообучающий на основе обратной связи и
кластеризации ответов для интерпретирующей и иных частей взаимодействия с
пользователем.
«Умная» обработка теста
- Происходит в процессе самого тестирования, а не
после его окончания. - Глубокая интерпретация как каждого ответа
пользователя, так и ключевых комбинаций ответов. - Происходит регулярная обработка всех ответов
всех пользователей с последующей кластеризацией. Результаты кластеризации
влияют на текущие и последующие процессы тестирования, и другие взаимодействия
пользователя с системой. - Происходит регулярная обработка всех элементов
теста: вопросов и предлагаемых ответов, алгоритма динамического взаимодействия,
мета-параметров, элементов и последовательностей элементов из блока интерпретационной
части и так далее.
Что имеется в виду?
Самой простой пример, иллюстрирующий фразу «все значения пользовательских ответов».
Возьмем за основу обычный тест из 20 вопросов, каждый из которых предполагает 3 варианта ответа. Обычная обработка теста подразумевает:
- сверку ответов пользователя с фиксированным
значением; - начислением балла за каждый вопрос;
- последующее суммирование баллов.
После этого определяется, к какой из 3-5 типовых категорий, указанных в интерпретирующей части теста, относится данный пользователь.
«Умные тесты» подразумевают принципиально иное отношение к ответам пользователя.
Двадцать вопросов с 3 вариантами ответа – это 3 в степени 20 комбинаций всех возможных ответов пользователя. То есть один из 3 486 784 401 вариантов ответа. Именно он и записывается в базу данных; именно он сверяется (кластеризуется) с ответами других пользователей; именно вся цепочка данных участвует в проверке на корреляцию с ответами на другие тесты – и т.д.
С методической точки зрения интерпретационная часть этого теста содержит 3,48 миллиарда категорий пользователей.
Возникает вопрос «зачем»?
Обычная обработка подобных тестов, как уже написано выше, подразумевает выставление балла по каждому вопросу, суммирование баллов, а затем определение подходящей пользователю категории.
В «Умном тестировании» мы можем провести принципиально иной анализ ответов, более глубокий по своему существу.
Мы можем проанализировать каждый ответ на конкретный вопрос и проанализировать ответы на значимые комбинации из этих вопросов. Линейные баллы «обезличивают» вопросы, в то время как вопросы теста сами по себе неоднозначны. Какие-то вопросы могут быть «принципиальными» сами по себе, а часто наибольшую значимость могут представлять комбинации вопросов, ответы на которые могут выходить за рамки конкретной методики, но представляющие собой большую ценность для понимания пользователя консультантом-психологом.
Что такое «адаптивный сценарий» теста?
Так как понятие «адаптивный тест», к сожалению, испорчено примитивным подходом, в котором вся адаптивность сводится к проверке ответа на предыдущий вопрос с целью определить уровень сложности последующего. Это «аналоговое» решение не имеет ничего общего с описываемой ниже технологией, которую мы называем «динамическим сценарием».
Возьмем для примера условный тест, помогающий определить предпочтения к типу деятельности по предмету труда (в типологии Е.Климова). Допустим, наш тест позволяет достаточно достоверно узнать подходящий тип (или типы).
Преимущество оригинального опросника Климова заключалось в том, что он мог дать достоверный ответ на вопрос, какой тип наиболее не подходит, так как, согласно последним исследованиям, при прохождении ДДО Климова ответы пользователей скорее направлены на избегание наиболее неприятного вида деятельности, чем на выбор наиболее желаемого.
Поэтому оригинальный опросник не поможет, а наш тест должен иметь классические вопросы-кейсы, например, с тремя вариантами ответов для каждого вопроса.
Чтобы добиться высокой точности результата нам нужно задать порядка десяти вопросов по каждому типу, что в сумме дает 50 вопросов. Приблизительное время прохождения теста составит 20 минут.
Но что мы получим в итоге? В принципе немало — мы определим один или более доминирующих типов и сможем оценить «силу ответа» — насколько
явно выражена склонность к этому типу (типам).
Но что дает в реальности прохождение теста для пользователя? Особо ничего. Определить подходящие группы профессий по предмету труда (человек-природа, человек-техника, человек-человек и так далее) — это равносильно тому, как на вопрос о маршруте, получить ответ: «Ищите где-то на севере». «Ищите себя где-то в работе с природой».
Но ведь природа (как техника, знаки, творчество и человек) – она очень разная. Как минимум, природа может быть живая и неживая. И живая, и неживая тоже делятся на крупные категории, уточнение которых могут приблизить к выбору подходящей профессии намного ближе, чем просто «направление» на группу человек-природа.
Если деление на 5 групп Климова потребовало 50 вопросов и порядка 20 минут на прохождение теста, то каким будет тест, в котором мы можем получить уточненное направление, например, до третьего уровня детализации (литеры А, Б, В, Г на рисунке ниже)?
Если сохранить логику теста, то для 3-го уровня детализации нам потребуется 350 вопросов, а прохождение займет примерно 2,5 часа. Но скорее всего потребуется больше времени, так как исследования показывают, что скорость внимательных (осознанных) ответов уменьшается с количеством вопросов. А большинство людей склонны просто бросать такие тесты или их внимательность ухудшается пропорционально времени, затраченному на прохождение теста.
Адаптивный или динамический тест подразумевает существенное уменьшение количества вопросов, сосредотачиваясь на «основном маршруте». Основной маршрут – это «копание» по той группе профессий, к которой у пользователя явно выраженная склонность. При этом, время от времени, пользователь получает «проверочные» вопросы, лежащие за пределами «основного маршрута».
Не последний, а каждый ответ пользователя влияет на формирование оптимального сценария динамического теста. Это большая, пожалуй, принципиальная разница. Для оптимизации алгоритма используются дополнительные параметры, влияющие на «сборку» динамического сценария – это анализ ответов и поведенческих реакций других пользователей диагностической системы. Ниже мы описываем ряд замеряемых параметров и их влияние на алгоритмы динамического сценария.
Количество вопросов и время прохождения адаптивного теста будет различным для разных пользователей. Как правило, у многих пользователь бывает выраженная склонность к нескольким предметам труда одновременно. Чем явно она выражена и чем больше предметов труда в зоне интересов пользователя – тем дольше для пользователя будет длиться тест. Кроме вопросов теста, ведущих по «основной» линии теста, есть еще и алгоритмы, предлагающие проверочные вопросы.
Сколько должно быть проверочных вопросов? Это динамический параметр, который определяется «силой» получаемых ответов. Оценивая, насколько явно выражен интерес пользователя к «основному маршруту», можно определить уместное число «боковых» вопросов. Также, конечно, учитывается и сила ответа на боковые вопросы: они могут изменить сценарий теста. И третий коэффициент накладывается по анализу пользовательских реакций всех респондентов теста.
Надо отметить, что пример теста по Климову условный. Реальная диагностическая система многопараметрическая и количество влияющих коэффициентов на построение сценария существенно больше. Большое влияние оказывают конкретные вопросы и комбинации вопросов из других методик, встроенных в общую систему диагностики.
Условность основного маршрута
Стоит обозначить, что прямолинейность «основного маршрута» условна – как правило, люди многогранны и чаще имеют неровное, но явное распределение по нескольким типам сразу, чем один ярко выраженный тип. Точно также и современные профессии теряют прямо выраженную типизацию по одному предмету труда, а начинают их совмещать – с разным уровнем силы (выраженности).
Соответственно для каждой профессии есть свой цифровой портрет, включающий в себя и типизацию по предмету труда:
Так же стоит отметить, что только одного соответствия по предмету труда совершенно недостаточно, чтобы определиться с будущей профессией.
Более подробно о работе динамического теста, его отличия от обычного «адаптивного теста» и о работе системы АБ-тестирования теста рассказано здесь.
Профориентационные тесты нового поколения
Мы выделили несколько основных требований к современным системам диагностики:
Динамический сценарий
теста
Последовательность и содержание вопросов теста определяется всеми предыдущими ответами пользователя.
Многопараметрический подход
Необходимо использовать тесты различных методик для получения многогранного и точного портрета личности.
К сожалению, в погоне за упрощением, люди стремятся получить результат с помощью одного-единственного теста. Даже у вышеупомянутого Е. Климова есть четыре яруса классификации (хотя и этого явно недостаточно), но в большинстве случаев ограничиваются использованием только первого (деление на группы профессий по предмету труда). Этот подход неприемлемый для выбора «подходящей» профессии.
Системная взаимосвязанность
Использование различных методик должно происходить под единой методологической надсистемой, анализирующей совокупные результаты тестов разных методик. Система должна «собирать» целостный портрет личности, опираясь не только на согласованные данные, но и интерпретируя внутренние противоречия в собираемой общей картине.
Контроль пользователя над тестированием
Когда мы увязываем большое количество разнородных методик – система становится очень хрупкой и уязвимой. Мы должны доверять пользователю, в интересах которого и производится тестирование, мы должны «помочь ему помочь системе лучшего его понять, чтобы система могла помочь ему». Это значит возможность пользователя «откатить», «переиграть» и даже «игнорировать» (отключить) любые части системы диагностики.
Растворить процесс тестирования во времени и в среде пребывания пользователя
Высокая достоверность требует большого количества вопросов теста. Даже если это адаптивный самонастраивающийся и самообучаемый тест – общее количество вопросов остается запредельно большим.
«Вываливать» одномоментно на пользователя все сотни, а то и тысячи вопросов мы не можем. А неодномоментность теоретически нарушает целостность адаптивного тестирования.
Тем не менее мы должны отказаться от попытки получить все ответы сразу и растянуть диагностику во времени, когда пользователь ресурсно готов давать «внимательные» ответы.
Как это сделать? Проще всего «растворить» тест внутри среды, в которой «обитает» пользователь. У нас есть два варианта решения для среды: среда в ассессмент-центре нового поколения (описанного в проекте «профпробы-360») и в игре.
Игра, или точнее «игровая среда» — отличный способ убрать тестирование «на задний план», сделав его неотъемлемой частью игрового процесса. Мы строим подобную игровую среду на базе платформы «Iz-i». Правда наши методические разработки и программно-математический аппарат намного опережают текущую готовность платформы. Но мы подождем своих коллег.
Сохраняя исходные данные
Формируя цифровой портрет пользователя, мы не редуцируем данные тестов, а опираемся на все получаемые параметры. Соединяя различные тесты (методики) в одну систему, мы соединяем и все получаемые результаты (параметры).
Совершенствование тестов
Необходимо обеспечить постоянное совершенствование тестов на основе автоматического и самонастраиваемого А/Б-тестирования, а также самообучение по результатам кластеризации ответов пользователей.
На языке своего пользователя
Сохранить трепетное отношение к возрасту и этапу психологического развития пользователя: и тесты, и игровая среда, как и ее механика, должны соответствовать возрастным и психологическим потребностям пользователя. А следовательно и его языку общения.
Мягкая интерпретация теста
Выдаваемые интерпретации теста должны даваться с оглядкой на возраст и стадию прохождения личностного самоопределения. В работе с младшими и средними подростками требуется стимулирующая саморазвитие и личностное самоопределение, обратная связь.
Замерять динамику, а не срез
В той части тестов, где, к примеру, замеряются текущие интересы, склонности, активные качества – следует обращать внимание на динамику изменений – на сами перемены и их силу, а не оценивать текущую статическую картину.
Социальное объединение пользователей
Растворяя систему диагностики в игровой среде, мы должны создать и среду общения, помогающую черпать идеи и получать инсайты от обмена впечатлениями между пользователями – с использованием, но не доминированием системы их кластеризации. Это выходит за рамки диагностики, но следует помнить, что любая диагностика – это не вещь в себе, а лишь инструмент для решения целостной задачи личностного и профессионального самоопределения. Жизнеопределения, используя термин Юрия Тюшева 😉
Дополнительные материалы
- Сборник статей XVII Всероссийской научно-практической конференции с международным участием «Практическая психология образования XXI века: Цифровые технологии на службе педагогики и психологии», Смирнов А.Ю. «Платформа самоопределения iz-i.ru как инструмент адаптивного многопараметрического тестирования» (стр. 213)
- Видеодоклад для Ежегодной межрегиональной научно-практической конференции по профориентации ВЕКТОР, г. Санкт-Петербург, «Адаптивное многопараметрическое тестирование через игровой контент», https://www.youtube.com/watch?v=rgIcpd-ENcw
- Видеовыступление на III Всероссийской научно-практической конференции по теме «Цифровые инструменты профориентации»: https://www.youtube.com/watch?v=pOmDmWp_wRA
P.S. В тексте используется ряд общеизвестных слов и выражений заключенных в кавычки. Обычно это означает, что это идиома, принятая во «внутренней кухне» разработчиков. Слово или выражение содержит расширенные или дополняющие смыслы к базовым дефинициям слов.