Представлена мультимодальная система поддержки принятия решений для автоматизации формирования исполнительной документации при приёмке малярных работ. Система интегрирует три функциональных модуля: нейросетевую детекцию дефектов (YOLOv8-nano), распознавание речевых команд (Yandex SpeechKit) и извлечение структурированных параметров из текста. Разработано веб-приложение, обеспечивающее голосовой и текстовый ввод данных о помещении, автоматическую обработку фотографий стен, расчёт площадей окрашиваемой поверхности и генерацию актов выполненных работ в формате DOCX.
Научная новизна состоит во впервые предложенной сквозной системе, объединяющей визуальный контроль дефектов, речевой ввод и текстовую обработку в едином контуре формирования исполнительной документации для строительного контроля.
В результате выполнения работы достигнута основная цель — разработан прототип системы формирования исполнительной документации с помощью ИИ. Программа позволяет практически полностью автоматизировать процесс формирования ИД. Полученные данные подтверждают практическую применимость и эффективность предложенного подхода.
Практическая значимость подтверждена апробацией на объектах текущего ремонта комплекса зданий Мэрии Москвы.
Экспериментальная оценка на реальных объектах текущего ремонта показала сокращение времени обработки одного объекта более чем в 2 раза.