Одной из ключевых задач проекта с GYMNASIUMбыло оптимизировать стоимость и время проверки занятий за счет автоматизированного процесса. До этого ручной проверкой занятий занимался отдельный сотрудник, который тратил на анализ одного занятия до нескольких часов. В отличие от человека, LLM-система не только проверяет наставников на предмет соответствия методики, но еще и дает индивидуальные рекомендации по улучшению учебного процесса, основанные на анализе записи занятия.
В результате проекта команда Napoleon IT реализовала:
- Настройку LLM под задачи заказчика: была настроена функция транскрибации аудиозаписей на русском и английском языках, а также проверка ее на соответствие методическим материалам.
- Векторную базу данных документов, где хранятся методические пособия, используемые при анализе занятий.
- Веб-версию системы, представляющую собой сайт, который отображает список занятий. На портале можно добавлять новые занятия и сразу анализировать их с помощью LLM.
- Новую методологию оценки качества занятий: разговорная часть занятия анализируется на наличие угроз или острых тем, которые не подходят воспитанникам по возрасту, а также на степень индивидуального подхода в обучении детей.
Таким образом, использование LLM-системы от Napoleon IT позволило в несколько раз сократить расходы на ручную проверку занятий. При этом автоматизированная система выставляла оценки, которые совпадали с мнением независимых экспертов на 70% и более. На данный момент около 67% рекомендаций, сформированных LLM, оказались релевантны содержанию занятия, что подтверждает значительный потенциал решения в помощи преподавателям оперативно совершенствовать качество своих уроков. В дальнейшем в систему также планируется добавить учет показателей дисциплины на занятиях и привязку оценки к предыдущим занятиям.
Команды Napoleon IT и GYMNASIUM не останавливаются на достигнутом и планируют продолжить развитие решения. В планах —расширение возможностей анализа занятий, добавление мультиязычной поддержки и автоматического суммирования результатов анализа, а также внедрение раздельных ролей в системе (отдельные права доступа для координаторов, тренеров и методистов). Улучшения позволят довести точность алгоритма до максимально высокого уровня, близкого к оценкам экспертов.
Для GYMNASIUM этот проект стал шагом к тому, чтобы сделать процесс обучения прозрачнее и эффективнее, а наставникам — увидеть свою работу со стороны. Мы видим большой потенциал технологии и планируем дальнейшую интеграцию системы в наши образовательные программы, не несмотря на некоторые расхождения в оценке
Этот проект продемонстрировал, что искусственный интеллект способен значительно сократить ручной труд при анализе занятий. На следующих этапах мы рассчитываем довести точность алгоритма до уровня, максимально близкого к экспертным оценкам, чтобы преподаватели могли получать актуальную обратную связь практически в режиме реального времени
О том, как изменится дополнительное образование и как проверить качество образования и добросовестность репетиторов, рассказали здесь.
