Как известно, независимая оценка квалификации на соответствие положениям профессиональных стандартов открывает новые возможности для совершенствования кадрового потенциала страны, модернизации профессионального образования и системы подготовки кадров в целом. Так как процесс оценки квалификаций несводим ни к одному из известных видов оценочной деятельности: ни к оценке результатов освоения образовательных программ их выпускниками, ни к аттестации персонала, ни к конкурсному отбору претендентов на вакансии, – проектирование оценочных средств и их применение в процессе профессионального экзамена требует специальных методических компетенций и современных технологий.
В ходе разработки оценочных средств активно применяется аппарат квалиметрии, инструментарий тестологии и цифровые технологии, которые являются новым этапом в развитии системы оценивания квалификаций.
Важно разделять цифровые технологии для организации, проведения профессионального экзамена и инструменты для создания оценочных средств.
К первой группе можно отнести программные средства – оболочки сопровождения бизнес-процесса проведения оценки, имеющие функции регистрации, инструктирования и информирования, прокторинга, выдачи заданий в различных шаблонах, отслеживание тайминга, выдачи ссылок на рабочие приложения, загрузки различных файлов, в том числе результатов выполнения заданий в требуемых форматах, экспертной оценки, коммуникаций с внешними экспертами и администраторами системы, документирования оценочных процедур и выдачи результатов оценки, передачи и получение данных в другие (внешние) информационные системы для верификации результатов и принятия решений по результатам оценки, отслеживание статусов процедур оценки и прогресса пользователей.
Одним из важных критериев, предъявляемых к цифровой системе оценки, является возможность полного контроля: все переходы системы из одного состояния в другое должны инициироваться исключительно запросами пользователя. При этом необходимо учесть, что в большинстве цифровых систем присутствует искусственный интеллект, который является условным «противником» или «союзником» пользователя в зависимости от сценариев выполнения и оценки заданий, что в свою очередь означает невозможность полного контроля над ним со стороны пользователя.
К таким средствам относится информационный модуль «Онлайн-экзамен» (https://ok.nark.ru), который обеспечивает первичную статистическую обработку результатов экзамена, осуществляет интеграцию информационных систем для удаленной работы с оценочными средствами, хранения и анализа результатов профессионального экзамена, организации сетевого взаимодействия различных советов по профессиональным квалификациям и центров оценки квалификаций для обмена материалами. Советы по профессиональным квалификациям начиная с 2020 года активно начали разрабатывать и внедрять собственные автоматизированные информационные системы для прохождения профессионального экзамена.
Ко второй группе можно отнести программные средства – конструкторы оценочных заданий различных типов и критериев оценки по единым шаблонам с возможностями загрузки текстовых и графических файлов, фото, анимации, видео и различных программных приложений.
К таким средствам относится программно-методический комплекс «Оценка квалификаций (разработка оценочных средств, образцы оценочных средств)» (https://kos-nark.ru) - ресурс, обеспечивающий разработку, экспертизу, координацию разработки и хранение оценочных средств (в формате образцов оценочных средств) в различных цифровых шаблонах, а также публикацию их примеров с возможностью пройти пробный экзамен. Это – функциональная интернет-платформа, включающая совокупность инструментальных средств автоматизации подготовки и проведения профессионального экзамена с использованием содержащейся в ней электронной базы регулярно обновляемых комплектов оценочных средств по профессиональным квалификациям, созданная в целях автоматизации процессов разработки и экспертизы оценочных средств для независимой оценки квалификаций.
В последнее время искусственный интеллект все чаще встречается в повсеместной жизни. Некоторые системы уже внедрены, например, в мобильные телефоны, такие как голосовые помощники, которые способны распознавать и отвечать на команды пользователя, а также функции интеллектуального улучшения фотографий и предсказания текста при наборе сообщений. Постепенное внедрение искусственного интеллекта в ежедневное использование не могло не отразиться и в сфере по разработке оценочных средств.
Искусственный интеллект расширяет возможности при разработке оценочных средств. С его помощью возможно автоматизировать ручное составление тестовых заданий, генерацию заданий различной сложности под различные критерии оценки, осуществлять анализ, делать работу «над ошибками», проводить самообучение и другое. Искусственный интеллект может создавать большие объемы тестовых заданий за короткий промежуток времени. Алгоритмы обучения позволяют проводить анализ больших данных (Big Data), собранных из открытых источников или предоставленных экспертом-разработчиком и полученных по результатам тестирования. Искусственный интеллект может выявить закономерность в результатах тестирования и при необходимости доработать оценочное средство. Также в алгоритм разработки можно заложить определенные требования к формулировкам заданий: четкость, компактность и однозначность, отсутствие «академического», «книжного» стиля изложения.
Основными преимущества использования искусственного интеллекта является минимизация человеческой ошибки при разработке оценочных средств (сокращение может достигать 80%), сокращение времени на обработку данных. Оценочные средства могут быть адаптированы под нужды конкретного соискателя или профессиональной области.
Искусственный интеллект может анализировать большие объемы учебного материала, нормативных правовых и других документов, выделяя из массива ключевые моменты, на основе которых формируются задания. Алгоритмы обработки естественного языка (Natural Language Processing) позволяют искусственному интеллекту автоматически выделять ключевые темы и концепты, что значительно ускоряет создание вопросов для тестов.
Искусственный интеллект может создавать тестовые вопросы разной сложности, что позволяет строить адаптивные тесты, которые меняют свою сложность, в зависимости от предмета и объекта оценки.
Искусственный интеллект способен автоматически формировать вопросы различных типов заданий — от заданий закрытой формы (выбор ответа из нескольких предложенных вариантов, заданий на установление соответствия (установление соответствие между элементами двух множеств), заданий на установление правильной последовательности (восстановление правильной последовательности операций, действий, событий) до заданий открытой формы (тест со свободно конструируемым ответом, задание со свободным ответом). Это позволяет создать оценочное средство, которое проверяет не только теоретические знания, но и навыки аналитического мышления и способность применять знания на практике.
С помощью искусственного интеллекта можно не только создавать вопросы, но и анализировать их эффективность по результатам прохождения профессионального экзамена. Алгоритмы машинного обучения могут определять, какие вопросы у соискателей вызывали трудности с ответом, сколько было затрачено времени на прохождение каждого вопроса и др. Это позволяет выявить «слишком простые» или «слишком сложные» вопросы, а также те, которые имеют неоднозначные формулировки.
Искусственный интеллект может проанализировать данные прошлых тестов и на основе полученной информации создавать новые вопросы, которые заполняют пробелы. Это особенно полезно при актуализации оценочных средств.
Искусственный интеллект также способен формировать вопросы для оценки практических навыков. Например, искусственный интеллект может генерировать сценарные задачи, которые моделируют реальные ситуации, с которыми может столкнуться соискатель.
При разработке заданий искусственный интеллект использует общие требования к тесту, обеспечивающие объективность и достоверность проводимого на его основе оценивания:
- валидность – адекватность теста целям оценивания (оценивает то, что входило в задачи оценивания, в нашем случае – не память, не стрессоустойчивость, не общие интеллектуальные способности, не тип мотивации, а соответствие квалификации соискателя положениям ПС); в тестах не должно проверяться то, для чего они не предназначены;
- надежность – стабильность, устойчивость результатов тестирования (постоянные результаты при повторных предъявлениях). На надежность теста влияют: 1) количество заданий (чем больше заданий, тем надежнее тест), 2) трудность заданий (трудный тест считается более надежным), 3) стандартность внешних условий тестирования (времени, инструкций). Как правило, надежность теста определяется при проведении пилотной апробации. Но для теста, используемого в процедуре НОК, надежность может устанавливаться методом субъективных оценок (сопоставление оценок надежности заданий, данных независимыми экспертами);
- репрезентативность – полнота охвата заданиями предметов оценки, представленность в тесте всех предметов оценки, для проверки которых он предназначен;
- корректность – корректным считается задание, содержащее один предмет оценки и один правильный ответ, в отличие от некорректных заданий, имеющих более одного предмета оценки и допускающих несколько вариантов правильных ответов;
- практичность (технологичность) – доступность инструкций и содержания заданий теста для понимания тестируемого.
Несмотря на явные преимущества, использование искусственного интеллекта в разработке оценочных средств сталкивается с рядом вызовов, например, это вопросы защиты данных, этичности и прозрачности алгоритмов. Важно, чтобы искусственный интеллект использовался в рамках определенных этических стандартов и чтобы система оставалась доступной и понятной для всех участников. Одно из препятствий для внедрения искусственного интеллекта связано с текущим инструментарием, который не может передать весь контекст задачи. Искусственный интеллект неоднозначно справляется с задачами, где требуется учесть много креатива, а также нетиповыми, о которых мало есть информации в периодических изданиях или в интернете.
В настоящий момент в России уже существуют прецеденты по разработке оценочных средств для независимой оценки квалификации с использованием искусственного интеллекта. Так, один из советов по профессиональным квалификациям совместно с Национальным агентством развития квалификаций проводят эксперимент по разработке таких оценочных средств. Суть эксперимента заключается в разработке оценочного средства по уже разработанному и утвержденному оценочному средству. Отраслевым экспертам, экспертам-разработчикам предстоит провести экспертизу и оценить пригодность их использования для независимой оценки квалификаций, а также понять, какой из двух вариантов оценочного средства был разработан искусственным интеллектом.
В перспективе роль искусственного интеллекта при разработке оценочных средств будет только возрастать. Совершенствование алгоритмов и развитие технологий позволит создавать еще более точные, доступные и надежные оценочные средства. Искусственный интеллект открывает перед экспертами новые возможности для создания, адаптации и совершенствования оценочных средств.