Искусственный интеллект и машинное обучение

Научная статья

УДК 004.93: 004.35
ББК 32.813.53: 32.816-043
ГРНТИ 55.30.31
DOI 10.25209/2079-3316-2024-15-2-21-36

Жестовое управление полетом малого беспилотного летательного аппарата

Николай Сергеевич Абрамов¹, Вита Викторовна Саттарова², Виталий Петрович Фраленко³, Михаил Вячеславович Хачумов⁴

1,3,4	Институт программных систем им. А. К. Айламазяна РАН, Веськово, Россия
2	Российский университет дружбы народов, Москва, Россия
4	МИРЭА - Российский технологический университет, Москва, Россия
4	Российский государственный гуманитарный университет, Москва, Россия
4	Федеральный исследовательский центр «Информатика и управление» РАН, Москва, Россия
3	alarmod@pereslavl.ru

Аннотация. Рассмотрена задача построения жестовых команд для управления малым беспилотным летательным аппаратом, таким как квадрокоптер. Получаемые видеокамерой команды идентифицируются классификатором на основе сверточной нейронной сети, а мультимодальный интерфейс управления, оснащенный интеллектуальным решателем, преобразует их в команды управления квадрокоптером. Нейронные сети из библиотеки моделей нейронных сетей Ultralytics позволяют выделять целевые объекты в кадре в режиме реального времени. Команды управления квадрокоптером поступают в специализированную программу на смартфоне, разработанную на базе симулятора полетов DJI SDK, которая посылает команды по радиоканалу дистанционного управления.

Исследовано качество распознавания разработанных жестовых команд для квадрокоптеров DJI Phantom 3 standard edition. Представлено краткое руководство в виде сценариев работы оператора с беспилотными транспортными средствами. Раскрыты перспективы жестового управления несколькими транспортными средствами в экстремальных условиях с учётом сложностей безопасности совместного полета и взаимодействия летательных аппаратов в ограниченном пространстве.

Ключевые слова: беспилотный летательный аппарат, управление, жесты, сверточная нейронная сеть, Ultralytics, интеллектуальный интерфейс, распознавание

Благодарности: Исследование выполнено за счет гранта Российского научного фонда № 21\–71\–10056, https://rscf.ru/project/21-71-10056/

Для цитирования: Абрамов Н. С., Саттарова В. В., Фраленко В. П., Хачумов М. В. Жестовое управление полетом малого беспилотного летательного аппарата // Программные системы: теория и приложения. 2024. Т. 15. № 2. С. 21–36. https://psta.psiras.ru/2024/2_21-36.

Полный текст статьи (PDF): https://psta.psiras.ru/read/psta2024_2_21-36.pdf.

Статья поступила в редакцию 09.02.2024; одобрена после рецензирования 13.03.2024; принята к публикации 17.03.2024; опубликована онлайн 22.04.2024.