Программное и аппаратное обеспечение распределенных и суперкомпьютерных систем

Обзорная статья

УДК 004.272+004.382.2+004.8+004.43
ББК 32.971.32-04
ГРНТИ 50.09
DOI 10.25209/2079-3316-2024-15-2-139-473

Новое поколение GPGPU и сопутствующего оборудования: микроархитектура и производительность вычислительных систем от серверов до суперкомпьютеров

Михаил Борисович Кузьминский

	Институт органической химии им. Н. Д. Зелинского РАН, Москва, Россия
	kus@free.net

Аннотация. Дан обзор современного состояния GPGPU с ориентацией их применения на традиционные задачи HPC (и в меньшей степени ИИ). К базовым GPGPU в обзоре отнесены Nvidia V100 и A100. В качестве GPGPU нового поколения рассмотрены Nvidia H100, AMD MI100 и MI200, Intel Ponte Vecchio (Data Center GPU Max), а также BR100 от Biren Technology. Проанализированы и сопоставлены микроархитектура и аппаратные показатели этих GPGPU, важные для задач HPC и ИИ, а также важнейших дополнительных аппаратных средств для построения вычислительных систем с применением GPGPU — центральных процессоров, специализированных для работы с GPGPU нового поколения, и межсоединений. Дается краткая информация об использующих их серверах, в том числе multi-GPU, и новых применяющих эти GPGPU суперкомпьютерах, где были получены данные о достигаемой производительности при работе с GPGPU.

Кратко рассмотрены SDK фирм-производителей GPGPU и программные средства других фирм, включая математические библиотеки. Приводятся примеры, демонстрирующие важные для достижения максимальной производительности средства широко используемых моделей программирования, способствующие при этом непереносимости программных кодов на другие модели GPGPU.

Особое внимание обращено на возможности применения тензорных ядер и их аналогов в современных GPGPU разных фирм. Это относится и к расчетам с пониженной (относительно стандартного для HPC формата FP64) и смешанной точностью, актуальным вследствие резкого роста достигаемой производительности при их использовании в тензорных ядрах GPGPU. Анализируются данные о достигаемой ими реальной производительности в тестах и приложениях для HPC и ИИ. Вкратце рассматривается и применение в GPGPU современных библиотек пакетной линейной алгебры, в том числе для HPC-приложений. (Связанные тексты статьи на русском и на английском языках).

Ключевые слова: GPGPU, V100, A100, H100, Grace, GH200 Grace Hopper, MI100, MI200, Ponte Vecchio, Data Center GPU Max, BR100, CUDA, HIP, DPC++, Fortran, производительность, HPC, ИИ, глубокое обучение

Благодарности: Автор благодарит Александра Антоновича Малявко (НГТУ) за помощь в подготовке текста статьи

Для цитирования: Кузьминский М. Б. Новое поколение GPGPU и сопутствующего оборудования: микроархитектура и производительность вычислительных систем от серверов до суперкомпьютеров // Программные системы: теория и приложения. 2024. Т. 15. № 2. С. 139–473. (Рус., англ.). https://psta.psiras.ru/2024/2_139-473.

Полный текст двуязычной статьи (PDF): https://psta.psiras.ru/read/psta2024_2_139-473.pdf (клик по флажку в верхнем колонитуле переключает язык страницы).

Статья поступила в редакцию 16.10.2023; одобрена после рецензирования 24.01.2024; принята к публикации 01.03.2024; опубликована онлайн 28.06.2024.