Современные модели машинного обучения развиваются по пути увеличения архитектурной сложности. Это повышает интерес к разработке специализированных аппаратных ускорителей (AI-ускорителей) для их эффективного выполнения. Использование всех доступных возможностей AI-ускорителей невозможно без наличия развитого программного инструментария, существенной частью которого является AI-компилятор.
В докладе представлен анализ современных AI-ускорителей, выделены основные архитектурные особенности и принципы их проектирования. Особое внимание уделено практическим аспектам создания инструментария для компиляции и выполнения нейронных сетей на периферийных устройствах. В качестве конкретного примера в докладе будут рассмотрены основные этапы компиляции и выполнения модели PyTorch средствами инфраструктуры ExecuTorch. Заключительная часть доклада будет посвящена перспективам развития AI-компиляторов, включая полиэдральные компиляторы и инфраструктуру MLIR.