Доклады
Запуск нейросетей на автономном грузовике с помощью TensorRT
Доклад принят в программу конференции
Описание доклада
Автономный транспорт — это продукт с повышенными требованиями безопасности при взаимодействии с физическим миром. В нашей работе мы постоянно сокращаем задержки обработки данных: даже лишние миллисекунды могут привести к ДТП, в том числе с участием людей. Большая часть алгоритмов компьютерного зрения в автономном грузовике — нейросети, и их выполнение становится крайне ресурсоёмким, если не применять оптимизации на стороне вычислительной платформы.
В архитектуре нашей системы восприятия мы используем TensorRT, который в нашем случае ускорил инференс нейронных сетей примерно на 40−50%. В докладе я разберу, с какими особенностями применения TensorRT мы сталкиваемся, как решаем сопутствующие проблемы и каким образом адаптируем TensorRT под требования проекта автономного автомобиля.
В архитектуре нашей системы восприятия мы используем TensorRT, который в нашем случае ускорил инференс нейронных сетей примерно на 40−50%. В докладе я разберу, с какими особенностями применения TensorRT мы сталкиваемся, как решаем сопутствующие проблемы и каким образом адаптируем TensorRT под требования проекта автономного автомобиля.
Антон Рудоманенко
Эвокарго
6 лет в робототехнике, 4 года посвятил беспилотному транспорту. В Evocargo занимаюсь разработкой и оптимизацией систем Восприятия автономных электрогрузовиков. Моя роль сочетает функции руководителя небольшой команды и старшего разработчика. Основные задачи: — Разработка инфраструктуры для нейросетей. Проектирую и реализую высокопроизводительные компоненты на C++ для инференса на бортовых GPU с использованием TensorRT и CUDA. Занимаюсь оптимизацией вычислений для работы в реальном времени. — Интеграция моделей восприятия. С командой внедряем нейросетевые моделей в бортовое программное обеспечение: препроцессинг данных, выполнение на GPU, постобработка результатов (детекция, сегментация). — Анализ производительности. Ищем и устраняем узкие места в пайплайне инференса с целью повышения скорости и устойчивости работы системы. Предыдущий опыт: NativeRobotics — разработка программного обеспечения для роботов-манипуляторов. НАМИ (отдел восприятия) — разработка алгоритмов компьютерного зрения для беспилотных автомобилей.