Доклады
Будущее системного ПО в эпоху AI: компиляторы, рантаймы и наш путь к OxideRT на Rust
Доклад принят в программу конференции
Описание доклада
Большие языковые модели (LLM) захватили мир, но их эффективное внедрение в production упирается в "стеклянный потолок" экосистемы Python. Проблемы с GIL, управлением памятью и сложностью развертывания заставляют искать новые, более системные подходы.
В нашем докладе мы утверждаем, что будущее высокопроизводительной AI-инфраструктуры лежит в системных языках, и Rust — главный кандидат на эту роль. Мы не просто обсудим теорию, а пройдем практический путь проектирования OxideRT — нашего концептуального, легковесного рантайма для AI-моделей на Rust. Мы покажем, как с его помощью можно получить полный контроль над исполнением, безопасно работать с GPU через FFI и заложить архитектуру для будущих компиляторных оптимизаций. Этот доклад для тех, кто хочет заглянуть под капот современных AI-фреймворков и понять, как системное программирование решает их ключевые проблемы.
В нашем докладе мы утверждаем, что будущее высокопроизводительной AI-инфраструктуры лежит в системных языках, и Rust — главный кандидат на эту роль. Мы не просто обсудим теорию, а пройдем практический путь проектирования OxideRT — нашего концептуального, легковесного рантайма для AI-моделей на Rust. Мы покажем, как с его помощью можно получить полный контроль над исполнением, безопасно работать с GPU через FFI и заложить архитектуру для будущих компиляторных оптимизаций. Этот доклад для тех, кто хочет заглянуть под капот современных AI-фреймворков и понять, как системное программирование решает их ключевые проблемы.
Андрей Носов
Raft
NLP Lead. Архитектор И И. CTO.