Пришла смена ускорителя NVIDIA T4

Последний был представлен американским производителем в 2018 году. Объединяет обе модели назначение – решение задач инференса. Среди других функций – использование при обучении небольших моделей, в качестве виртуальной рабочей станции, аналитика, транскодирование видео, VDI.

NVIDIA A2 имеет формат однослотовой HHHL-карты, имеющей пассивное охлаждение. Среди важных отличий от T4 – расширенный диапазон уровня настройки TDP – от 40 до 60 Вт. Диапазон рабочих температур – от 0 до 50 градусов (кратковременно – от -5 до +55 градусов), что позволяет размещать его на периферии, где условия далеки от благоприятных.

Технические характеристики:

• базовая частота GPU – 1140 МГц;
• величина сегментарной памяти – 16 Гбайт;
• boost – 1771 МГц;
• пропускная способность (битность) – 200 Гбайт/с (у T4, напомним, 300 Гбайт/с);
• два движка, декодирующие медиа (включая AV1);
• один движок кодировщик.

Новинка адаптирована под vGPU 14.0, CUDA 11.1, AI_Enterprise_Secure_Boot, SR-IOV (16VF).

Среди других особенностей NVIDIA A2 эксперты отмечают следующие:

• 1280 CUDA-ядер;
• 40 тензорных ядер;
• 10 RT-ядер.

Производительность FP32-вычислений – для сравнения:

• NVIDIA A2 – 4.5 Тфлопс;
• NVIDIA T4 – 8.1 Тфлопс;
• NVIDIA TF32 - 9 Тфлопс.

При этом A2 по соотношению цена/производительность в 1,6 раза превосходит T4.