EC2 Instanzen (G4) mit NVIDIA T4 Tensor Core GPUs Ab sofort verfügbar

Die NVIDIA-basierten G4-Instanzen, die AWS Anfang dieses Jahres angekündigt hatte, sind ab sofort verfügbar und können ab sofort in neun AWS-Regionen in sechs Größen verwendet werden! Nutzer können sie für maschinelles Lernen, Inferencing, Video-Transcodierung, Game-Streaming und Remote-Grafik-Workstations verwenden.

Die Instanzen sind mit bis zu vier NVIDIA T4 Tensor Core-GPUs mit jeweils 320 Turing Tensor-Kernen, 2.560 CUDA-Kernen und 16 GB Arbeitsspeicher ausgestattet. Die T4-GPUs eignen sich ideal für maschinelles Lernen, Bildverarbeitung, Videoverarbeitung sowie Sprach- und natürliche Sprachverarbeitung in Echtzeit. Die T4-GPUs bieten zudem RT-Kerne für effizientes, hardwarebetriebenes Ray-Tracing.

Die NVIDIA Quadro Virtual Workstation (Quadro vWS) ist auf dem AWS Marketplace verfügbar. Sie unterstützt Raytrace-Rendering in Echtzeit und kann kreative Workflows beschleunigen, die häufig in Medien- und Unterhaltungsunternehmen, Architektur- und Öl- und Gasanwendungen zum Einsatz kommen.

G4-Instanzen werden von AWS-spezifischen Intel® Xeon® Scalable-Prozessoren (Cascade Lake) der zweiten Generation mit bis zu 64 vCPUs betrieben und basieren auf dem AWS-eigenen Nitro-Hypervisor. Der lokale NVMe-Speicherbaustein von Nitro bietet direkten Zugriff auf bis zu 1,8 TB schnellen lokalen NVMe-Speicher. Der Netzwerk-Baustein von Nitro ermöglicht ein schnelles ENA-Netzwerk. Die Intel AVX512-Deep Learning Boost-Funktion erweitert AVX-512 um einen neuen Satz von Vector Neural Network Instructions (kurz VNNI).  Diese Anweisungen beschleunigen die Multiplikations- und Additionsoperationen geringer Genauigkeit, die sich in der inneren Schleife vieler Inferenzalgorithmen befinden.

Diese Instanzgrößen sind verfügbar

Wer Grafik-Workloads auf G4-Instanzen ausführen möchte, muss die neueste Version der NVIDIA AMIs (verfügbar auf dem AWS Marketplace) verwenden. Zusammen mit einem NVIDIA Quadro Workstation-Image, das dieses enthält, hat man Zugriff auf die erforderlichen GRID- und Grafiktreiber und damit diee neuesten Optimierungen und Patches. 

NVIDIA Gaming – Windows Server 2016
NVIDIA Gaming – Windows Server 2019
NVIDIA Gaming – Ubuntu 18.04

Die neuesten AWS Deep Learning-AMIs unterstützen G4-Instanzen. Das Team, das die AMIs produziert, hat eine g3.16xlarge-Instanz mit einer g4dn.12xlarge-Instanz verglichen. Hier einige Highlights:

MxNet-Inferenz (resnet50v2, Weiterleitung ohne MMS) – 2,03-mal schneller.
MxNet Inference (mit MMS) – 1,45-mal schneller.
MxNet-Training (resnet50_v1b, 1 GPU) – 2,19-mal schneller.
Tensorflow-Inferenz (resnet50v1.5, Vorwärtsdurchlauf) – 2,00-mal schneller.
Tensorflow Inferenz mit Tensorflow Service (resnet50v2) – 1,72-mal schneller.
Tensorflow-Training (resnet50_v1.5) – 2,00-mal schneller.
Die Benchmarks verwendeten die numerische Präzision FP32; Wenn Sie gemischte Genauigkeit (FP16) oder niedrige Genauigkeit (INT8) verwenden, können Sie einen noch größeren Boost erwarten.

Nutzer können G4-Instanzen in den Regionen USA Ost (N. Virginia), USA Ost (Ohio), USA West (Oregon), USA West (N. California), Europa (Frankfurt), Europa (Irland), Europa (London), Asien-Pazifik (Seoul) und Asien-Pazifik (Tokio) in Amazon SageMaker oder EKS starten (Stand: 1. Oktober 2019).

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht.

Diese Website verwendet Akismet, um Spam zu reduzieren. Erfahre mehr darüber, wie deine Kommentardaten verarbeitet werden.