Die protonischen Widerstände des MIT ermöglichen einen analogen Höhenflug des Deep Learning

Wir bringen analoge „Melodien“ in die Welt der digitalen Chips – mit erhöhter Leistung.

Ein Forscherteam des Massachusetts Institute of Technology (MIT) hat an einem neuen Hardware-Widerstandsdesign für die nächste Ära der Elektronikskalierung gearbeitet – insbesondere bei KI-Verarbeitungsaufgaben wie maschinellem Lernen und neuronalen Netzen.

Doch was wie ein Rückblick erscheinen mag (sofern es einen Rückblick in die Zukunft geben kann), konzentriert sich ihre Arbeit auf ein Design, das eher analoger als digitaler Natur ist. Nehmen wir protonische programmierbare Widerstände – gebaut, um KI-Netzwerke zu beschleunigen, indem sie unsere eigenen Neuronen (und ihre miteinander verbundenen Synapsen) nachahmen und gleichzeitig ihren Betrieb millionenfach beschleunigen – und das ist die tatsächliche Zahl, nicht nur eine Übertreibung.

All dies geschieht bei gleichzeitiger Reduzierung des Energieverbrauchs auf einen Bruchteil dessen, was bei Transistor-basierten Designs erforderlich ist, die derzeit für maschinelle Lernaufgaben verwendet werden, wie etwa der rekordverdächtigen Wafer Scale Engine 2 von Cerebras.

Obwohl unsere Synapsen und Neuronen aus rechnerischer Sicht äußerst beeindruckend sind, sind sie durch ihr „Wetware“-Medium eingeschränkt: Wasser.

Während die elektrische Leitung von Wasser ausreicht, damit unser Gehirn funktioniert, wirken diese elektrischen Signale über schwache Potentiale: Signale von etwa 100 Millivolt, die sich über Millisekunden durch Bäume miteinander verbundener Neuronen ausbreiten (Synapsen entsprechen den Verbindungen, über die Neuronen über elektrische Signale kommunizieren). Ein Problem besteht darin, dass sich flüssiges Wasser bei Spannungen von 1,23 V zersetzt – mehr oder weniger der gleichen Betriebsspannung, die von den derzeit besten CPUs verwendet wird. Es ist also schwierig, biologische Designs einfach für Computerzwecke „umzuwidmen“.

„Der Funktionsmechanismus des Geräts ist die elektrochemische Einfügung des kleinsten Ions, des Protons, in ein isolierendes Oxid, um dessen elektronische Leitfähigkeit zu modulieren. Da wir mit sehr dünnen Geräten arbeiten, könnten wir die Bewegung dieses Ions durch die Verwendung eines starken elektrischen Stroms beschleunigen.“ Feld und bringen diese ionischen Geräte in den Nanosekunden-Betriebsbereich“, erklärt der leitende Autor Bilge Yildiz, Breene M. Kerr-Professor in den Abteilungen Nuklearwissenschaft und -technik sowie Materialwissenschaft und -technik.

Ein weiteres Problem besteht darin, dass biologische Neuronen nicht im gleichen Maßstab wie moderne Transistoren aufgebaut sind. Sie sind viel größer und haben einen Durchmesser von 4 Mikrometer (0,004 mm) bis 100 Mikrometer (0,1 mm). Wenn die neuesten verfügbaren GPUs bereits über Transistoren im 6-nm-Bereich verfügen (wobei ein Nanometer 1.000 Mal kleiner als ein Mikrometer ist), können Sie sich den Größenunterschied fast vorstellen und wie viel mehr dieser künstlichen Neuronen auf demselben Raum untergebracht werden können .

Die Forschung konzentrierte sich auf die Entwicklung von Festkörperwiderständen, die, wie der Name schon sagt, einen Widerstand gegen den Stromdurchgang erzeugen. Sie widerstehen nämlich der geordneten Bewegung von Elektronen (negativ geladenen Teilchen). Wenn die Verwendung von Material, das der Bewegung von Elektrizität widersteht (und daher wiederum Wärme erzeugen sollte), kontraintuitiv klingt, dann ist es das auch. Aber analoges Deep-Learning bietet im Vergleich zu seinem digitalen Gegenstück zwei entscheidende Vorteile.

Beim Programmieren von Widerständen geben Sie zunächst die erforderlichen Daten für das Training in den Widerständen selbst ein. Wenn Sie ihren Widerstand programmieren (in diesem Fall durch Erhöhen oder Verringern der Anzahl von Protonen in bestimmten Bereichen des Chips), fügen Sie bestimmten Chipstrukturen Werte hinzu. Das bedeutet, dass die Informationen bereits in den analogen Chips vorhanden sind: Es besteht keine Notwendigkeit, noch mehr davon in externe Speicherbänke zu transportieren, was bei den meisten aktuellen Chipdesigns (und RAM oder VRAM) genau der Fall ist. Das alles spart Latenz und Energie.

Zweitens sind die analogen Prozessoren des MIT in einer Matrix aufgebaut (erinnern Sie sich an die Tensor-Kerne von Nvidia?). Das bedeutet, dass sie eher Ihren GPUs als Ihren CPUs ähneln, da sie Vorgänge parallel ausführen. Alle Berechnungen erfolgen gleichzeitig.

Das protonische Widerstandsdesign des MIT arbeitet bei Raumtemperatur, was einfacher zu erreichen ist als die Temperaturen unseres Gehirns von 38,5 bis 40 °C. Es ermöglicht aber auch die Spannungsmodulation, eine in jedem modernen Chip erforderliche Funktion, die es ermöglicht, die Eingangsspannung entsprechend den Anforderungen der Arbeitslast zu erhöhen oder zu verringern – mit Auswirkungen auf den Stromverbrauch und die Temperaturabgabe.

Den Forschern zufolge sind ihre Widerstände eine Million Mal schneller (wiederum eine tatsächliche Zahl) als Designs der vorherigen Generation, da sie aus Phosphosilikatglas (PSG) hergestellt werden, einem anorganischen Material, das (überraschenderweise) mit Siliziumherstellungstechniken kompatibel ist , weil es hauptsächlich Siliziumdioxid ist.

Sie haben es bereits selbst gesehen: PSG ist das pulverförmige Trockenmittel, das in den winzigen Beuteln enthalten ist, die mit neuen Hardware-Teilen geliefert werden, um Feuchtigkeit zu entfernen.

„Mit dieser wichtigen Erkenntnis und den sehr leistungsstarken Nanofabrikationstechniken, die wir am MIT.nano haben, konnten wir diese Teile zusammenfügen und zeigen, dass diese Geräte an sich sehr schnell sind und mit angemessenen Spannungen arbeiten“, sagt der leitende Autor Jesús A. del Alamo, Donner-Professor am Department of Electrical Engineering and Computer Science (EECS) des MIT. „Diese Arbeit hat diese Geräte wirklich an einen Punkt gebracht, an dem sie jetzt wirklich vielversprechend für zukünftige Anwendungen sind.“

Genau wie bei Transistoren ist die Rechendichte umso höher, je mehr Widerstände auf kleinerer Fläche vorhanden sind. Ab einem bestimmten Punkt kann dieses Netzwerk trainiert werden, um komplexe KI-Aufgaben wie Bilderkennung und Verarbeitung natürlicher Sprache zu erfüllen. Und das alles bei reduziertem Strombedarf und extrem gesteigerter Leistung.

Vielleicht kann die Materialforschung das Mooresche Gesetz vor seinem vorzeitigen Tod bewahren.

Schließen Sie sich den Experten an, die Tom's Hardware lesen, um Insider-Informationen zu PC-Tech-News für Enthusiasten zu erhalten – und das seit über 25 Jahren. Wir senden Ihnen aktuelle Nachrichten und ausführliche Rezensionen zu CPUs, GPUs, KI, Hersteller-Hardware und mehr direkt in Ihren Posteingang.

Francisco Pires ist ein freiberuflicher Nachrichtenautor für Tom's Hardware mit einem Faible für Quantencomputing.

Das Beste von Computex 2023: Es ist schön, zurück zu sein

Lüfterlose AirJet-Kühltechnologie debütiert im Zotac ZBox Mini-PC

WD Black 1 TB SN850X fällt bei Amazon auf nur 77 $

Von Brandon Hill, 2. Juni 2023

Von Francisco Pires, 02. Juni 2023

Von Stewart Bendle, 2. Juni 2023

Von Anton Shilov, 02. Juni 2023

Von Ash Hill, 2. Juni 2023

Von Zhiye Liu 02. Juni 2023

Von Zhiye Liu 02. Juni 2023

Von Sarah Jacobsson Purewal 01. Juni 2023

Von Zhiye Liu 01. Juni 2023

Von Zhiye Liu 01. Juni 2023

Von Anton Shilov, 1. Juni 2023