Deep Dive: Sind neuromorphe Chips der Schlüssel zum Energiehunger von KI?

00:00:02: Willkommen zu Deep Dive.

00:00:06: In diesem Format der MIT Technology Review geht es fachlich in die Tiefe.

00:00:11: Ein Thema, ausführlich behandelt mit einer Expertin oder einem Experten, interviewt von Redakteurinnen und Redakteuren, damit sie danach wirklich Bescheid wissen und verstehen, worum es geht.

00:00:22: Viel Spaß beim Hören.

00:00:26: Hallo und herzlich willkommen bei einer neuen Ausgabe von unserem Deep Dive.

00:00:30: Mein Name ist Wolfgang Stieler und wir tanzen heute thematisch ein bisschen aus der Reihe.

00:00:35: Unsere regelmäßigen Hörerinnen und Hörer wissen ja, dass wir normalerweise über ein Thema sprechen, das in der aktuellen Ausgabe des Magazins prominent vorkommt.

00:00:43: Aber heute ist das nicht so.

00:00:44: Heute sprechen wir über ein Dauerbrenner Thema, nämlich den wachsenden Energiehunger von KI und vor allem, was man dagegen tun kann.

00:00:52: Und dazu habe ich heute die Gelegenheit, mit einer außerordentlich kompetenten Gesprächspartnerin zu sprechen, nämlich Heike Riel von IBM Research.

00:01:00: Herzlich willkommen, Frau Riel.

00:01:02: Ja, einen wunderschönen Tag, Herr Stieler.

00:01:04: Ich freue mich dabei zu sein.

00:01:05: Frau

00:01:06: Riel, wenn ich das richtig gesehen habe, sind Sie nicht nur IBM Fellow und Leiterin der Abteilung Science of Quantum and Information Technology von IBM Research Quantum Europe.

00:01:17: Sie sind auch Expertin für Nanotechnologie und haben sich mit der sogenannten Neuromorphen-Datenverarbeitung beschäftigt.

00:01:24: Das ist mit einer der Gründe, warum wir heute sprechen.

00:01:27: Habe ich was Wichtiges vergessen.

00:01:30: Alles gut.

00:01:31: Es ist wichtig, um das Thema zu sprechen.

00:01:33: Und eben Nanotechnologie hat sich natürlich entwickelt, weil die Miniaturgestierung nicht mehr so wichtig, also sozusagen an die Grenzen gerät und in der Forschung haben wir dann angefangen, eben neue Dinge zu tun.

00:01:45: Okay, dann fangen wir vielleicht erst mal damit an, uns um das Problem zu kümmern, weil meistens, wenn man sich das Problem genau anguckt, liegt da ja schon ein Hinweis drin, wie man das lösen kann.

00:01:56: Warum ist denn...

00:01:58: K.I.,

00:01:59: also das, was wir jetzt unter K.I.

00:02:00: laufen lassen, also Maschinen lernen, die tiefe neuronale Netze, Transformatoren

00:02:07: etc.,

00:02:07: große Sprachmodelle.

00:02:08: Warum sind die so energiehungrig?

00:02:10: Warum brauchen die so viel Strom?

00:02:13: K.I.

00:02:13: arbeitet natürlich mit viel Daten und wenn man Die Modelle anschaut, die über die letzten Jahre entwickelt wurden, die ja auch erst dazu geführt haben, dass man diese Leistungseffizienzen von KI bekommt, stellt man fest, dass die unheimlich viele Parameter benötigen, unheimlich groß sind und ganz, ganz viele Matrizenmultiplikationen und Additionen, sozusagen mathematisch durchgeführt werden müssen im Computer.

00:02:41: Und das benötigt zum Trainieren extrem viel Zeit.

00:02:46: Energie und natürlich auch Kosten.

00:02:49: Was kann man tun, um das, also es gibt verschiedene Lösungsansätze, um die, um die, der klassische Ansatz, um die Zeit zu drücken, um zu sagen, okay, wir kriegen das schneller hin, ist das was, was.

00:03:03: zum Beispiel Nvidia mit seinem Beschleuniger anmacht und sagt, okay, wir machen einfach eine massive Parallelisierung.

00:03:09: Was das ändert ja aber nichts an dem Energiebedarf.

00:03:11: Im Gegenteil, es scheint den ja noch schlimmer zu machen.

00:03:13: Ja, vielleicht schauen wir auch erst mal auf ein paar Daten oder ein paar Zahlen, die wirklich die KI heute benötigt und wie der Trend auch ist, dass man sieht, wie groß die Problematik ist, die hier auf uns zukommt.

00:03:25: Und diese matrizten Multiplikationen, von denen ich gesprochen habe, die werden immer mehr für die Modelle und KI ist ja kein neues Phänomen.

00:03:34: Und in den fünftiger Jahren, als man KI das erste Mal verwendet hat, hat man sozusagen zum Trainieren von so einem Modell ca.

00:03:41: tausend Floating Point-Operationen benötigt.

00:03:44: Und heute für die aktuellen Modelle braucht man ca.

00:03:48: zehn noch vierundzwanzig Größenordnungen.

00:03:52: Einundzwanzig Größenordnungen mehr.

00:03:54: Das ist eine gigantische Zahl an Floating Point Operations Berechnungen, die man durchführen muss.

00:03:59: Und wenn man das jetzt mal näher anschaut und vereinfacht, einfach in die Energie, wie viel Energie braucht man denn dafür, dann stellt man fest, dass ein aktuelles Modellchatschee BT-III, was aber auch schon wieder veraltet ist, ca.

00:04:12: eine Million Kilowattstunden Energie braucht.

00:04:18: Ich habe mal geschaut, was das Kernkraftwerk das größte in der Schweiz an Energie liefert.

00:04:24: Dann sind es ca.

00:04:25: eine Million Watt pro Stunde.

00:04:31: Und das bedeutet, es braucht eigentlich mehr Energie zum Trainieren, als das größte Kernkraftwerk der Schweiz in einer Stunde bieten kann.

00:04:39: Und das neue Modell Chatchi BD-IV braucht schon fünfzigmal mehr.

00:04:44: Energie zum Trainieren.

00:04:47: Und wenn man das vergleicht jetzt auch nochmal mit einem typischen Haushalt in Deutschland, der dreitausendfünfhundert Kilowattstunden braucht, dann ist man schnell bei achtzehntausend Haushalten an Energieverbrauch im Jahr, die so ein Modell braucht zum Trainieren.

00:05:00: Und dann auch die Zeit, also auch hier braucht man über hundert Stunden, über hundert Tage.

00:05:06: um das zu trainieren.

00:05:07: Also das ist enorm ein Problem.

00:05:09: und wenn man die Zukunft schaut, dann stellt man fest, dass der Trend weitergeht und sich alle sechs Monate die Computerpower, die man zum trainieren braucht, eben verdoppelt.

00:05:21: Also das ist ein Problem, das wir lösen müssen und da haben wir uns natürlich nicht nur erst jetzt Gedanken gemacht, sondern eben auch schon vor mehr als zehn Jahren Gedanken gemacht und analysiert, wo liegt denn die Problematik?

00:05:34: Und eine Problematik darin liegt eben, dass man bei diesen logischen Operationen, die man durchführen muss, den Speicher braucht, weil man viele Daten benutzen muss und auch natürlich die Logik braucht.

00:05:46: Und in der heutigen Computarchitektur, die wir verwenden, die auch GPUs verwenden, die sogenannte von Neumann-Architektur, die Daten zwischen der Logik und dem Speicher immerhin und hergeschoben werden müssen und für die KI Workloads, wie man das so nennt, werden eben achtzig Prozent der Energie für dieses hin- und herschaufeln der Daten aufgeslaucht.

00:06:10: Und das ist ein Problem.

00:06:10: Das müssen wir lösen.

00:06:12: Also wäre jetzt in Bezug auf den reinen Energieverbrauch sinnvoll, die Architektur zu ändern.

00:06:22: Das sagt sich so einfach.

00:06:23: Wir müssen nur mal die Architektur von Computern ändern.

00:06:27: Das ist ein großer Sprung, oder?

00:06:30: Das ist ein Riesensprung, weil man, wie Sie sagen, von dieser von Neumann Architektur, die man ja über die letzten siebzig Jahre verwendet hat, sozusagen weggehen muss und eigentlich spezialisiertere Prozessoren bauen muss, die für KI einfach einen besseren Job machen, also plump ausgedrückt.

00:06:48: Und ich muss sozusagen Logik und Speicher näher zusammenbringen.

00:06:55: Eine andere Möglichkeit, die man vielleicht vorher noch hat, die sozusagen noch näher an der Anwendung ist, damit wir vielleicht anfangen, ist, dass wir festgestellt haben, dass man, und das ist eigentlich auch ein ganz simpler Trick, sie schauen sich ein absolut verpixeltes Bild an, zum Beispiel von der Mona Lisa und dann stellen sie schon auf den ersten Blick eigentlich fest, das ist die Mona Lisa, auch wenn sozusagen vielleicht nur zwanzig Prozent des Bilds sie sehen.

00:07:20: Und das ist natürlich auch, was die KI macht, sie macht Mustererkennung.

00:07:24: Und das heißt können wir auch Chips bauen, die jetzt keine sixty-fünf-Bit-Präzision brauchen, sondern weniger und dieses Bild noch erkennen, damit die gleiche Genauigkeit auch erzielen können.

00:07:35: Also die Idee ist, kann ich die Präzision während der Berechnung reduzieren, aber trotzdem die gleiche Genauigkeit im Ergebnis erzielen.

00:07:44: Und das ist natürlich schwieriger für... Banktransaktionen, wo man wirklich auch während der gesamten Berechnungen die sixty-fünf-Bit braucht, um die in der Kommastelle wirklich genau zu sein.

00:07:57: Aber für die künstliche Intelligenz ist das nicht so wichtig.

00:08:00: Und da konnten wir zeigen, dass wir so ein approximate Computing nutzen können, also man kann es auch sagen, Nährungsberechnungen, um während der Berechnung eben die Präzision zu reduzieren.

00:08:14: und aber die gleiche Genauigkeit zu halten.

00:08:16: Und wir können in der Forschung zeigen, dass wir das sozusagen für Training von Modellen bis auf vier Bit reduzieren können und für Inference sogar auf zwei Bit reduzieren können.

00:08:26: Und aus dieser Erkenntnis haben wir dann sozusagen auch einen neuen Chip gebaut, der schon in unseren Produkten auch verfügbar ist und genutzt wird und darauf beruht, dass man eben natürlich dann wenn man von sixty-viert mit runtergehen kann, weniger Fläche braucht und auch natürlich weniger Energie braucht, um die gleiche Berechnung durchzuführen.

00:08:49: Und dieser Chip ist jetzt schon, wie gesagt, in unseren Mainframes drin und macht da auch tolle Leistungen, dann man kann damit sozusagen diese KI, die man zum Beispiel bei Kreditkarten, Transaktionen testen möchte, ist es fraud, ist es Betrug oder ist es nicht Betrug, kann man hier so dann diese... Anwendungen beschleunigen und kann es in Real-Time machen, weil man durch diesen Tipp sowohl eine bessere Effizienz bekommt und auch schneller in der Latenz ist.

00:09:23: Also ich kann schneller die KI dann auch für Inferenz benutzen und dann in Real-Time feststellen, ist das jetzt ein Kreditkartenbetrug oder ist das eine richtige Transaktion und damit eben auch viel, natürlich viel Verlust verhindern und so dann auch wirtschaftlichen Erfolg

00:09:40: bringen.

00:09:43: Einfach mit mit mit kürzeren zahlen zu rechnen sage ich jetzt mal ganz

00:09:46: ganz

00:09:49: plump.

00:09:51: Um dadurch den rechenaufwand zu verringern habe ich auch schon bei großen sprachmodellen gesehen es gibt ja sozusagen runtergestrippte versionen von diesen großen sprachmodellen die man dann auch quantisiert die man dann zum beispiel auch auf seinem eigenen pc laufen lassen kann.

00:10:12: du muss ich aber sagen im test hat sich dann gezeigt naja Dieses kleine Modell, was ich dann auf meinem PC hier laufen lasse, das ist zwar ein ganz nettes Spielzeug, aber das macht schon viel mehr Fehler als das große Sprachmodell, der große Bruder sozusagen, der auf irgendeinem Server zum Beispiel bei OpenAI läuft.

00:10:33: Wie kann ich denn sicher sein, dass dieses Approximate Computing die Ergebnisse liefert die ich tatsächlich auch brauche?

00:10:44: also gerade bei credit card fraud muss ich ja mit einer gewissen Sicherheit auch sagen können, das ist jetzt ein Betrug oder das ist kein Betrug und ich möchte auch natürlich um die Kunden nicht unnötig zu verärgern, möglichst wenig falsch positive haben.

00:10:59: Genau, da kann man sich hier vorstellen, dass es bei uns extrem getestet wird, weil das Z-System, unser Flagship-System, Mainframe ist ein ganz wichtiges System, was gerade für Banken und für Mission Critical, wie man so schön sagt, Geschäftsprozesse eingesetzt wird und darf da keine Fehler machen.

00:11:17: Der Trick besteht darin, dass es wirklich auch ein Co-Design ist von dem Prozessor und natürlich auch wesentliche algorithmische Verbesserungen während des berechnensenthält, also in der gesamten Architektur des Chips hinweg, dass man hier die Modellgenauigkeit auch erhalten kann.

00:11:38: Und das haben wir natürlich in der Forschung und Entwicklung extrem getestet.

00:11:42: Das ist die Voraussetzung, ansonsten hilft ja die ganze Nährung nichts, wenn nicht mein Ergebnis dann schlechter ist.

00:11:48: Also das wurde getestet auf Herzonieren.

00:11:51: und dann eben auch in die erste ZC-XVI schon eingeführt und getestet und für, sagen wir, einen limitierten Anwendungszweck getestet, wo es aber extremer gute Leistung gebracht hat.

00:12:06: Und jetzt in der ZC-XIV auch wieder als Teleum-Chip auf der einen Seite integriert in den Prozessor, aber auch, wir haben jetzt eine Spire-Card entwickelt, die heißt Aiu-Spire-Card, wo man sozusagen auch ein System und Chip generiert hat und damit auch dann System und Chip mit Compiler, mit Runtime, also wirklich die gesamten Stack natürlich geändert hat dafür und damit dann diese Karten erzielen kann mit.

00:12:38: Es wurde in der Fünftanometer-Prozess-Technologie auch gebaut und hat damit diese Beschleunigung auch auf den Karten, den man dann auch neben die ZEB noch mal stellen kann und hier noch mal für bestimmte AI Workloads eine Verbesserung erhält.

00:12:51: Lässt sich das irgendwie beziffern, was sie da für eine Energieersparnis erzielen mit diesen Karten?

00:12:57: Für typische Anwendungen?

00:12:59: Oder ist das zu sehr spezifisch auf die jeweilige Anwendung?

00:13:04: Es ist eben schwierig da ein generelles Benchmark zu machen, weil es doch spezialisiert ist, auf dann die Anwendungen, die speziell mit der Z auch gemacht werden.

00:13:13: Und da haben wir sowohl eine Geschwindigkeitsverbesserung, wie gesagt, die Latents haben wir da auf kleiner fünf Millisekunden reduziert, wo man zu den Kreditkartenbetrug dann auch feststellen kann und eben auch eine höhere Energieeffizienz gewonnen.

00:13:27: Wir haben vorhin gesagt, dass IBM dann natürlich schon relativ lange dran arbeitet.

00:13:34: Im Vorgespräch haben sie auch einen spezialisierten Chip erwähnt, von dem ich glaube ich auch das erste Mal vor, weiß ich nicht, sechs, sieben, acht Jahren gelesen habe, diesen North Pole Chip, der auch dafür da ist.

00:13:50: Schnell, Energieeffizienz, KI-Modelle laufen zu lassen, Mustererkennung laufen zu lassen, können Sie dazu noch ein bisschen mehr sagen?

00:13:58: Sehr gerne.

00:13:59: North Pole, wie Sie sagen, ist auch ein Chip, den wir schon länger angefangen haben zu entwickeln und auch schon mehrere Prototypen verbessert haben, mehrere Versionen verbessert haben in dem Chip.

00:14:12: Und der ist jetzt auch... in einer Erhältlichkeit getestet werden, der ist spezif, also der nächste Trick hier ist, jetzt die reduzierte Präzision zu nutzen, aber auch dann noch einen zusätzlichen Schritt zu machen, indem ich den Speicher und die Logik sehr nahe aneinanderbringe im Chip.

00:14:35: Die sind dann wesentlich näher zusammen als im Fall von approximate.

00:14:40: Computing.

00:14:42: Man kann es auch ein Extremes Beispiel für einen Near-Memory-Computen nennen.

00:14:47: Man hat hier eine enorme On-Chip-Speicherbandbreite von drei Zentimeter pro Sekunde, die dann dazu führt, dass man eben auch hier wesentlich schneller und energieeffizienter AI Workloads durchführen kann.

00:15:05: Man benutzt SRAM, der sehr eng mit der Logik verknüpft ist.

00:15:09: Und ich kann vielleicht nur ein paar Zahlen nennen.

00:15:11: Der würde in der Neue, den wir letztes Jahr gezeigt haben, der wurde in der zwölf Nanometer-Technologie gebaut.

00:15:18: Silizium-Technologie, der hat Zweiundzwanzig Milliarden Transistoren auf einer Fläche von ca.

00:15:24: Achthundert Quadraten Millimetern.

00:15:27: Und arbeitet auch eben bei acht Bit in der Genauigkeit.

00:15:34: Die Anwendungsfälle, die hier vor allem angeschaut werden, sind Computerwischen, schnelle Patternerkennung in Bildern und sozusagen auch für die Unterstützung von Large Language Models eingesetzt werden kann.

00:15:46: Und auch hier.

00:15:47: Da läuft lokal ein Large Language Model drauf?

00:15:50: Genau.

00:15:51: Und man kann dann mit diesem Chip, auch wieder, wir haben da verschiedene Anwendungsfälle getestet, die für uns wichtig sind vom Benchmarking und für unsere Kunden.

00:16:02: konnte man zeigen, dass man mit dem Chip siebzigmal energieeffizienter ist, als mit der GPU, die die nächst niedrigere Latenz hat und fünfundzwanzigmal energieeffizienter als eine gängige.

00:16:15: zwölf Nanometer GPU und vierzehn Nanometer CPU.

00:16:18: Also auch hier.

00:16:19: Man die Latenz ist bei dem Chip extrem wichtig und man vergleicht es natürlich dann auch mit der entsprechenden GPU.

00:16:25: Ich habe vor ein paar Jahren mal so eine Demo gesehen, wo so ein North Pole Chip in so einem fliegenden Quadcopter verwendet worden ist in so einem autonomen System.

00:16:36: Das ist aber wie gesagt, das war wahrscheinlich schon eine Vorgänger-Version für alle, für alle die da nicht so tief drin sind.

00:16:44: Wir hatten mal einen extra Dieb-Dive dazu.

00:16:47: zu dieser Chipfertigung, zwölf Nanometer, fünf Nanometer, anyway, was sie gerade genannt haben, generell gibt so die Daumregel, je kleiner diese Strukturen auf den Chips sind, desto schneller können die Transistor anscheiden, desto leistungsfähiger sind sie und natürlich auch desto schwieriger herzustellen und die

00:17:18: Aber auch Energieeffizienter.

00:17:20: Aber

00:17:21: auch Energieeffizienter.

00:17:23: Und die Leading Edge ist so roundabout.

00:17:29: Das wissen Sie wahrscheinlich besser, aber bei einigen Nanometer, wobei diese zwei, drei, zwei Nanometer vielleicht als die führenden Prozesse, wobei jetzt die Bezeichnung für die Prozestechnologie ein bisschen abweicht von dem, was man tatsächlich auf dem Chip findet.

00:17:48: Aber Roundabout kann man sagen, hey, fünf Nanometer ist schon ganz schön weit vorne.

00:17:54: Ist das soweit richtig dargestellt?

00:17:56: Das haben Sie richtig dargestellt.

00:17:57: Genau.

00:17:58: Es geht immer kleiner in den Zahlen, um die nächste bessere Technologie aufzuzeigen, die eben, wie Sie sagen, kleiner, energieeffizienter, mehr Transistoren pro Fläche hat.

00:18:08: Und die... die zwei, drei Nanometer, bei denen wir uns jetzt im Augenblick in der Produktion befinden, die entsprechen sozusagen nicht mehr der Kanallänge, wie das früher der Fall war beim Transistor, weil die sozusagen, ja, etwas geblieben ist bei denen dann bei circa zehn Nanometern, aber man führt das weiter, sozusagen, jetzt spricht nicht mehr wirklich physikalischen Zahl im Transistor, wie Sie schon sagen.

00:18:36: Aber ... Wie gesagt, der NOSBOL ist im Augenblick in der zwölf Nanometer Technologie gebaut, also nicht in der Leading Edge Nanotechnologie.

00:18:44: Und es zeigt auch, dass man hier noch weiteres Potenzial hat, um noch mehr Energieeffizienz dann rauszuholen, wenn man dann in der nächsten und übernächsten Generation fertig

00:18:55: ist.

00:18:55: Das hört sich jetzt so an.

00:18:57: Das ist wahnsinnig.

00:18:58: Ich finde es schwer beeindruckend, wenn ich mir vorstelle, dass so ein Large Language Model, auch die Latentszeiten, die sie da genannt haben, auf einem Chip, On-Broad sozusagen, auf einem... mobilen Chip läuft und das das siebzigmal energieeffizienter ist als mit vergleichbaren GPUs.

00:19:21: Aber an der Stelle stelle ich immer gerne die umgekehrte Frage, was kann das Ding denn nicht?

00:19:26: Also Sie haben ja damit noch nicht alle Probleme des modernen KI-Einsatzes gelöst.

00:19:33: Ich meine, das ist auch die Herausforderung, glaube ich, in der Zukunft insgesamt, dass die Chips natürlich wesentlich spezialisierter werden.

00:19:41: Und dadurch manchmal auch das, es ist nicht mehr der generelle Prozessor wie in der von Neumann Architektur, wo man eben durch dieses Trennung von Logik und Memory diese unheimliche Flexibilität hat.

00:19:52: Sondern man, um diese Energieeffizienz und Performance rauszuholen, muss man jetzt immer spezifischer für die Anwendungen wickeln.

00:20:01: Und deshalb ist zum Beispiel jetzt North Pole auch nicht gedacht, jetzt um wirklich Billionen oder Trillionen von parametertiefen Modellen zu nutzen und zu trainieren, sondern für spezifische Anwendungen.

00:20:16: In dem Fall ist es wirklich für Computerwischen, also kann ich Elemente in sofort sehr schnell mit sehr niedriger Latents erkennen und auch bei niedriger einer bei hoher Energieeffizienz oder niedriger Energieverbrauch.

00:20:33: Das ist die Spezialität von dem Chip.

00:20:35: Von der AIU ist es eben gedacht, dass man hier wirklich auch Energieeffizienz, also vielleicht nochmal zum Air North Pole, das ist auch für mobile Anwendungen natürlich, das hat sehr sehr gut geeignet.

00:20:48: Während eine TPU für mobile Anwendungen ist natürlich jetzt nicht so gut geeignet.

00:20:53: Und deshalb hat man auch eben gerade in den mobilen Fällen hier einen extrem guten und großen Vorteil.

00:21:00: Bei der AIU geht es eben darum, dass man ja auch Energieeffizienz gewinnt und auch dann für Modelle, die man im Business-Bereich ernutzen wird für unsere Anwendungen oder für unsere Anwendungen unserer Kunden.

00:21:16: Und das sind jetzt auch Anwendungen, die jetzt auch nicht in den in den ganz, ganz hohen, breiten Modellbereich gehen, weil es ist auch für Business-Anwendungen, wie auch die letzten Modelle zeigen oder auch was China ja gezeigt hat, dass man mit kleineren Modellen.

00:21:39: zum Teil spezifischere Modellen für die Anwendung, die man braucht, sogar noch bessere Ergebnisse auch in der Genauigkeit zählen kann, aber eben auch in der Energieeffizienz in den Kosten.

00:21:49: Die Kosten sind ja auch für unsere Kunden wichtig.

00:21:51: Wie schnell kann ich das Modell auch wieder trainieren?

00:21:54: Weil bei Chatchi before habe ich hundert Tage, bis ich das neu trainiert habe.

00:21:58: Wenn ich da was neu machen möchte, ist es auch schwierig.

00:22:01: Und deshalb ist es eben hier auch in den Business Anwendungen auf besser eben diese Foundation Models zu nutzen und dann die als Grundlage zu nutzen und dann mit den eigenen Daten dann sozusagen für die eigene Anwendung das nochmal zu spezifizieren.

00:22:16: Und dafür, genau dafür bauen wir dann eigentlich auch unsere Hardware entsprechen.

00:22:22: Nicht zu vergessen natürlich, dass man um diese großen Modelle zu trainieren auch die entsprechende Rechenkapazität erst mal zur Verfügung haben muss.

00:22:31: Das ist vielleicht für IBM nicht so ein Problem, aber für kleinere Firmen ist es ein Problem.

00:22:36: Also eigentlich können das nur einige wenige große Player tatsächlich.

00:22:40: Ich erinnere mich nur bei DeepSync war das ja so, dass dann darüber gerätet worden ist, wie die das geschafft haben, tatsächlich auch das entsprechende Comput bereitzustellen.

00:22:50: Das Modell, das Vollervermodell, was dann das kleine Modell trainiert hat.

00:22:54: Ich glaube, das ist ein guter Punkt.

00:22:55: Vielleicht kann

00:22:57: ich da noch mal ganz kurz einhaken, weil ich glaube, das ist ein ganz guter Punkt, den Sie da erwähnen.

00:23:04: Für viele Business-Anwendungen kann man eben zeigen, dass man mit diesen kleineren Modellen sogar noch eine bessere Präzision bekommt bei höherer Energieeffizienz und damit auch für weniger Kosten für den Kunden.

00:23:18: Und das ist natürlich sehr attraktiv für die wirklich wirtschaftliche Anwendung dann auch.

00:23:22: Ich wollte jetzt nochmal, weil das jetzt gerade nochmal wieder gekommen ist und weil wir das auch gleich nochmal brauchen für Inmemory Computing nochmal zwei, drei Sätze sagen zu dieser von Neumann Architektur, dass immer so ein bisschen darüber schwebt.

00:23:35: für alle, die das jetzt nicht so präsent haben, versuche ich das jetzt nochmal kurz und knapp.

00:23:41: für nichtfach Leute runterzubrechen was ist ein computer?

00:23:45: als die angefangen haben die computer pioniere digitale rechner zu bauen haben sich überlegt wie muss so ein ding aufgebaut sein und sie haben sich dabei sehr stark an so einem sehr theoretischen modell von ellen turing orientiert und gesagt okay was muss ich tun?

00:24:01: ich brauche ich habe irgendwelche daten die hole ich aus dem speicher raus in ein register.

00:24:08: Dann habe ich eine Logikeinheit, die die Daten in dem Register irgendwie miteinander verknüpft.

00:24:15: Entsprechend der Anweisung, die in meinem Programmspeicher liegen.

00:24:20: Und dann schreibe ich das Ergebnis wieder zurück.

00:24:22: Und das ist alles, was der Computer macht, eins nach dem anderen.

00:24:25: Ich hole Daten raus, ich gucke nach, was ist in meinem Programmsprecher, wie muss ich diese Daten irgendwie prozessieren.

00:24:33: Und das Ergebnis leg ich wieder ab und dann mache ich den nächsten Zyklos.

00:24:36: Das ist im Grunde genommen die Idee von einem von Neumann Computer, was aber bedeutet, ich muss Daten immer reinschaufen in das Register, ich muss sie bearbeiten und wieder rausschaufen.

00:24:45: Habe ich das richtig dargestellt?

00:24:47: Sie haben das wunderbar dargestellt und ich kann jetzt vielleicht noch hinzufügen, was heißt das dann wirklich auch in einem Prozessor?

00:24:52: In einem Prozessor heißt es, dass ich natürlich Transistoren dann schalten muss und ich muss auch den Speichel sozusagen mit Eins und Nullen füllen und ich muss auch die Leitungen und die Kapazitäten sozusagen auch dann aufladen.

00:25:08: Das heißt, ich muss Elektronen hin und her schaufeln und das kommt der Energie.

00:25:13: Und natürlich mit einer großen Anzahl von Transistoren und auch den Kapazitäten, die größer werden und den Widerständen, die größer werden, wird sozusagen diese Energie auch zum Teil dann mehr.

00:25:26: Und die Idee von dem In-Memory-Computing ist jetzt, die Berechnung nicht außerhalb zu machen, sondern in... dem Speicher Diskomputer.

00:25:34: Wie kann so was funktionieren?

00:25:36: Kann ich mir erst mal so nicht vorstellen?

00:25:38: Ja, das ist auch auf der einen Seite schwierig vorzustellen, weil man sagt jetzt, ich vereinige den Memory und Logik miteinander und das kann man natürlich, wenn man die als separate Elemente anschaut, kann man sich das schwierig vorstellen.

00:25:51: Der Trick dahinter ist eigentlich, dass man, wie gesagt, festgestellt hat, wir müssen ja diese Matrizenmodifikationen durchführen.

00:25:58: Und eine Matrix hat ja verschiedene Einträge in zwei Dimensionen.

00:26:07: Genau, genau.

00:26:08: Und die möchte man sozusagen berechnen.

00:26:10: Und deshalb kann man sich vorstellen, man könnte jetzt auch eine sogenannte Crossbar Architektur verwenden.

00:26:15: Eine Architektur, wo man vertikale Linien hat und horizontale Leitungsbahnen und einen Kreuzungspunkten hat man non-volatile oder nicht volatile Speicherelemente.

00:26:27: Und diese Speicherelemente, die an denen kann man einen bestimmten Widerstand einstellen, der auch bestehen bleibt und dieser Widerstand entspricht dann dem Element in der Matrix.

00:26:38: Und jetzt kann ich eine Spannung anlegen an die horizontalen Leiterbahnen.

00:26:44: Und jetzt kommt wieder ein bisschen Elektrotechnik.

00:26:47: Wenn man dann sozusagen das omische Gesetz und kirchoffisches Gesetz anschaut, dann addieren sich einfach im Prinzip die Ströme auf entsprechend der Spannung und dem Widerstand.

00:26:59: Und damit kann man diese Matrizenmultiplikation eigentlich parallel durchführen.

00:27:03: auch sehr einfach durchführen und die Gewichte, die bleiben in diesem Element dem Kreuzungspunkt bestehen und die muss man nicht dann wieder hin und her laden.

00:27:11: Und wenn ich jetzt so sagen, natürlich trainieren möchte, kann ich die auch ändern.

00:27:14: Also ich kann diese Widerstände ändern, aber die bleiben sozusagen fixer, zeitlich gesehen, wenn ich sie nicht bewusst ändere.

00:27:23: Und dies, man nennt es auch Analog Computing oder In-Memory Computing, weil ich wirklich jetzt meine Berechnung mit diesem Speiche-Element, wo ich das Gewicht auch Speicherer durchführen kann.

00:27:38: Also wir reden jetzt nicht mehr über, also Analog heißt in diesem Fall, wir reden nicht über Null und Einsinn.

00:27:45: Ein bestimmter Spannungswert repräsentiert eine Null oder eine Eins, sondern das Rechenergebnis ist sozusagen dann ein Spannungswert oder ein Stromwert.

00:27:56: Genau,

00:27:57: das ist halt genau.

00:28:00: Mit weiter digital rechnen will wieder eine digitale zahl aus null und einsen wieder.

00:28:07: Sie haben das jetzt schon genau auch richtig erkannt.

00:28:10: diese digitale analoge Umsetzung ist eben dann auch da wo man aufpassen muss weil das energie kostet.

00:28:15: das heißt man muss eigentlich die berechnung wirklich im analogen.

00:28:19: durchführen und dann schauen, dass man möglichst wenige Analog-Digitalumwandlungen durchführt, weil die kosten auch wieder Energie.

00:28:26: Und man hat das auch schon diese Ideen vor über zehn Jahren gehabt.

00:28:31: Aber es braucht natürlich auch dann noch geschickte Umsetzung, damit ich sozusagen nicht Energie verliere an dieser Analog-Digitalwandlung und so weiter.

00:28:41: Da haben wir sozusagen den letzten Jahre darauf geforscht, auch die Speicherelemente, diese non-volatilen Speicherelemente, die jetzt hier verwendet werden für die Speicherung von den Matritzenelementen oder Gewichten in den neuronalen Netzwerken, die mussten auch optimiert werden.

00:28:58: die früher schon bekannt waren, aber da nur als Eins und Nullen fungiert haben.

00:29:04: Aber jetzt muss man sozusagen mehrere Werte in diesen Elementen abspeichern können.

00:29:09: Und man muss, wenn man es zum Trainieren verwendet, der Modell, natürlich dann auch sozusagen auf der einen Seite den Wert größer machen können, aber auch kleiner machen können.

00:29:19: Und das sind Dinge, die natürlich auch sozusagen von der Material- und Bauelementseite auch entwickelt werden mussten.

00:29:25: Und da wollte ich jetzt aber gerade nochmal darauf zurückkommen.

00:29:28: Also wir haben diese diese nicht flüchtigen Speicherlemente.

00:29:30: Da speichern wir die die Gewichte von unserem von unserem Modell im Prinzip von der Matrix Zahlenwerte drin.

00:29:38: Wie mache ich das technisch?

00:29:41: Sie haben im Vorgespräch gesagt, es gibt zwei verschiedene Möglichkeiten, entweder ich nehme völlig neue Bauelemente oder ich nehme bekannte digitale Bauelemente, nutze sie aber anders.

00:29:50: Vielleicht können Sie das nochmal erklären.

00:29:53: Also man kann für dieses Speicherelement dann auch integriert, einen normalen Speicher nehmen, aber muss dann eben dann in dieser Funktion in der Architektur verwenden.

00:30:04: Das ist eine Möglichkeit, das erlaubt natürlich Baulimente zu verwenden, die jetzt schon heute in Speicherelementen verwendet werden.

00:30:12: Aber auf der anderen Seite hat man hier dann noch einen Verlust, weil die nicht volatil sind.

00:30:18: Also die muss man immer wieder, nach mehreren Millisekunden muss man die wieder aufladen.

00:30:25: Und bei den Elementen, die ich gerade genannt habe, da kann man zum Beispiel diese Phasenwechselmaterialien gibt es da.

00:30:32: Das sind eigentlich ganz spannende Materialien, die auch auf der CD verwendet wurden früher.

00:30:37: Weil man hat ein Material, das Kristallin und Amorph sein kann.

00:30:42: Und da ändert sich der Widerstand.

00:30:44: Und je nach dem Volumenverhältnis von Amorph im Material zu Volumenmaterial, kann man den Widerstand einstellen.

00:30:52: Und das muss man natürlich kontrollieren können.

00:30:55: Bei Nullen und Einzen ist es immer einfach, weil da kann ich alles Amorph oder alles Kristallin machen.

00:31:01: Und wenn ich aber Zwischenzustände haben möchte, dann bedarf das natürlich einer weiteren Entwicklung, damit man das kontrollieren kann und auch zeitlich sich stabil verhält.

00:31:10: Und diese Materialien, die hat man auch über die letzten Jahre entwickelt und die haben wir auch schon zeigen können, dass man diese In-Memory Computing verwenden kann, diese Face Change oder Phasenwechsel Materialien und die ja auch einen Vorteil haben.

00:31:25: Jetzt kann man noch mal ein tiefer reingehen, weil diese Fastenwechsel Materialien haben aber noch einen Nachteil und aus dem Nachteil kann man sie eben nur für Inference benutzen, aber nicht für Training.

00:31:38: Aber Influence ist natürlich, was im Augenblick extrem stark benutzt wird.

00:31:41: Influence heißt, ich hab das Modell trainiert und gibt eben jetzt neue Daten und es soll beispielsweise klassifizieren, soll sagen, ist das ein Hund oder ist das eine Katze?

00:31:51: oder soll sagen, ist das Betrug oder kein Betrug oder sowas in der Art, oder das nächste Wort.

00:31:56: Also ich gebe einen unverschämten Satz und das spuckt das nächste Wort aus.

00:31:59: Richtig, das heißt, das Modell wird irgendwo anders trainiert, zum Beispiel auf der ARU.

00:32:03: auf der Spire-Karte und dann kannst du dann zurückgebracht werden in die Speicherung dieser Widerstände, die vorher berechnet wurden.

00:32:14: Und die können dann eben auch eingestellt werden und sind stabil und dann kann es benutzt werden.

00:32:18: Man kann es dann auch wieder ändern.

00:32:20: Ich kann also ein neues Modell auch draufschreiben und kann es nutzen.

00:32:25: Aber ist FaceChanged Memory Materialien haben sie nicht so gut geeignet, sozusagen für Trainieren, dass ich also im Chip dann auch in diesem In-Memory-Computing-Teil dann auch trainieren kann.

00:32:36: Und da wir müssen die Bau-Elemente noch bessere Eigenschaften haben und da haben wir auch über die letzten fünf, sechs Jahre neue Materialien entwickelt und getestet und auch optimiert für diese Anwendung für Training und das sind sogenannte resistive RAM.

00:32:55: Das sind Metalloxidmaterialien, das geht natürlich jetzt schon tief rein, aber da kann man auch den Widerstand einstellen.

00:33:00: Es funktioniert physikalisch etwas anders, aber man kann den Widerstand eben so einstellen, dass man symmetrisch den Widerstand erhöhen kann oder auch symmetrisch reduzieren kann und mit denen kann man dann auch trainieren.

00:33:15: Und das ist aber auch noch in der Forschung und Entwicklung, aber wir haben mittlerweile eben die Spezifikationen erfüllt, die man braucht, um dieses Training.

00:33:23: durchzuführen, auch am Chip.

00:33:25: Das wäre jetzt meine nächste Frage.

00:33:27: Das hört sich ja alles noch sehr nach Forschung und Entwicklung an.

00:33:33: Wie weit ist das in Memory Computing?

00:33:35: Was kann man damit im Moment zeigen?

00:33:38: Was kann man damit im Moment machen?

00:33:40: Ist es schon praxisreif oder noch weit davon weg?

00:33:45: Also eben das In-Memory-Computing, weil man jetzt die klassischen Memory-Elemente verwendet, wie ich vorhin gesagt habe, die SRAM, die man dann zwar immer wieder nachladen muss, weil sie nicht komplett non-volatile sind.

00:34:02: Die sind sozusagen schon in der Prototypen-Entwicklung, und zwar sind es schon näher dran.

00:34:09: Die PCMs sind sozusagen auch in der, haben wir sehr, sehr gute Ergebnisse und auch schon Modelle laufen lassen, also auch schon für Mobilanwendungen, wo man zeigen konnten, die FaceChange, also die Phasenwechsel-Materialien, wo man zeigen konnten, dass die auch mit Modellen für Mobiltelefone zum Beispiel bärt und wie sie alle heißen, da auch schon Vorteile bieten können.

00:34:30: Und die Resistifram, die sind jetzt wirklich noch, wo man der nächsten Schritt ist, sozusagen die Integration dann mit dem Prozessor unten drunter.

00:34:39: Also man hat ja auf der einen Seite die Ansteuerung und der nächste Schritt ist sozusagen hier einen Prototypen zu bauen, wo man dann diese Modelle auch testen kann.

00:34:50: Und Sie sehen schon, wir haben es wirklich an etwas, was schon in der Produktion ist, diese A.I.U.

00:34:57: Spire und Telum.

00:34:59: Auf der anderen Seite haben wir die Dinge, die North Pole sind, die sozusagen schon jetzt auch in dem Test sind mit Anwendungen und dann kommt sozusagen die Analog in Memory.

00:35:10: Danach richtet sich natürlich auch die Verbesserung, die man erzielen kann.

00:35:15: Das Potenzial für diese Analoge, Architektur ist natürlich nochmal einen Schritt größer als für die anderen Architekturen.

00:35:28: Was wir jetzt gerade lang und breit diskutiert haben, nämlich wir versuchen eine bestehende Technologie durch eine bessere neue Technologie zu ersetzen, hat immer einen großen Nachteil, dass die bestehende Technologie sich ja auch weiterentwickelt.

00:35:41: Das ist so, ich sage immer, das ist ein Moving Target.

00:35:44: Wir hatten das an verschiedenen Stellen.

00:35:46: Mit den Displays war das so, dass lange halt die OLEDs, also die organischen Displays nicht hinterhergekommen sind, weil einfach die klassischen LC-Displays auch sehr schnell, sehr viel besser und sehr viel biniger geworden sind.

00:35:58: Und manchmal verliert die neue Technologie auch das Rennen, weil die bestehende Technologie sich so schnell, so weit entwickelt hat, dass es sich einfach nicht lohnt, was Neues einzuführen.

00:36:10: Wie entscheiden Sie das?

00:36:12: Also das ist jetzt mehr so ein Meta-Ding.

00:36:13: Wann sagen Sie, wir ziehen jetzt die Notbremse oder wann sagen Sie, hey, da müssen wir noch mehr Ressorts noch einstecken.

00:36:19: Das lohnt sich wirklich da, was Neues auf den Markt zu bringen.

00:36:24: Also die Frage, die Sie jetzt ansprechen, ist natürlich die Crux in der Forschung und Entwicklung.

00:36:30: Wann stoppe ich ein Projekt?

00:36:34: Oder vielleicht habe ich doch noch eine Idee, wie ich das komplett disruptiv noch mal angehe und auch die Die Annahmen, die man reinsteckt, wenn man sich sozusagen was überlegt und vielleicht berechnet und so weiter, kann man auch die Annahmen dann nochmal ändern.

00:36:53: Und sie hatten OLEDs angesprochen.

00:36:57: Ich habe ja meine wissenschaftliche Karriere, sozusagen der Laufbahn mit OLEDs auch begonnen.

00:37:03: Ich habe meine Doktorarbeit in OLEDs gemacht.

00:37:06: Da war es immer, wie Sie sagen, der Wettstreit mit Liquid Crystal Displays.

00:37:10: Also die waren da vorne.

00:37:12: IBM hat die auch selber entwickelt.

00:37:14: Wir waren ja die größten Displays, die höchste Auflösung, die weitesten Viewing Engels und so weiter.

00:37:22: Und OLED hat natürlich den Vorteil, aber die waren schädig umzusetzen.

00:37:27: Und wir hatten auch intern ein White Paper, was gesagt hat, man wird nie OLEDs Displays bauen können, basierend auf Amorphen Silicium Transistor.

00:37:37: Und wir haben es aber dann fünf Jahre später zeigen können, dass es doch geht.

00:37:41: Weil wir eben die Annahmen dieses White Papers geändert haben.

00:37:44: Also es ist schon auch gut zu wissen, was die Annahmen sind und kann ich diese Annahmen ändern.

00:37:49: Und wir konnten dann zeigen, dass man eben hohe Lebensdauern, hohe Effizienzen erreichen kann.

00:37:56: Und das war natürlich auch... Im wissenschaftlichen Feld, es kamen bessere Materialien, es kamen neue Ideen, wir hatten neue Ideen, wie man Licht auskoppeln kann, wie man auch effizienter werden kann.

00:38:07: Und auf der anderen Seite hatten die Amorphentransistoren, die Amorphen-Silizentransistoren auch Verbesserung.

00:38:12: Die haben sozusagen das erste Mal reingeschaut, wie kann ich wirklich Strom rausbekommen?

00:38:16: Und wie kann ich Strom rausbekommen, ohne dass die kaputt gehen?

00:38:19: Auf gut Deutsch.

00:38:21: Und das zusammenzubringen, haben wir dann auch als... IBM-Projekt gehabt, mit Kollegen in Japan, hier in Zürich und in Yorktown haben sich es um die Amorphentransistoren gekümmert und da hat man am Jahr, um den Jahr, um den Jahr, um die Jahr, um die Jahr, um die Jahr, um die Jahr, um die Jahr, um die Jahr, um die Jahr, um die Jahr, um die Jahr, um die Jahr, um die Jahr, um die Jahr, um die Jahr, um die Jahr, um die Jahr, um die Jahr, um die Jahr, um die Jahr, um die Jahr, um die Jahr, um die Jahr, um die Jahr, um die Jahr, um die Jahr, um die Jahr, um die Jahr, um die Jahr, um die Jahr, um die Jahr, um die Jahr, um die Jahr, um die Jahr, um die Jahr, um die Jahr, um die Jahr, um die Jahr, um die Jahr, um die Jahr, um die Jahr, um die Jahr, um die Jahr, um die Jahr, um die Jahr, um die mit Nanodräten.

00:38:53: Also Nanodräte ist eine Architektur für Transistoren, wo ich Skate sozusagen komplett um den Kanal wickele.

00:39:02: Und es hat Vorteile, dass sich die Elektronen wesentlich besser kontrollieren kann.

00:39:06: Und es ist eigentlich die Technologie, die auch heute eingesetzt wird und verwendet wird.

00:39:10: Und auch da war man sehr skeptisch, als man in den Jahr vier angefangen hat, das zu entwickeln.

00:39:16: Und man kann dann auch immer mal wieder mit neuen Technologien.

00:39:18: Jetzt mache ich FinFETs und die FinFETs sind besser.

00:39:20: Aber zum Schluss kam man dann doch zu den Nano-Wires oder zu den Nano-Sheets, wie man das heute nennt.

00:39:26: Aber es gibt natürlich auch Dinge, wo es mal nicht funktioniert.

00:39:29: Und wir hatten auch mal einen Speicher, wo wir gedacht haben, der ist die beste, höchste Dichte, die man wirklich erzielen kann und hat dann sich überlegt, wie kann ich das umsetzen?

00:39:42: Und es wurde dann nix, weil man eben eine andere Technologie gefunden hat, die weniger aufwendig zu bauen war und eben auch eine... dass man eine gute Entwicklung hatte, sich regelmäßig zu verbessern.

00:39:55: Und das gerade in den Speichertechnologien, wenn man vor fünf oder zwanzig Jahre zurückgeht, da waren wir froh, wenn man einen Gigabyte speichern konnte auf einem mobilen Speicher.

00:40:05: Und das ist der erste Mini Hard Disk im Prinzip, die einen Gigabyte Microdrive, wenn Sie

00:40:12: das

00:40:12: noch wissen.

00:40:13: Und dann kamen, man dachte am Anfang, man kann das vielleicht in diesem Konzept weitertreiben, aber das hat nicht funktioniert.

00:40:20: Und dann kamen natürlich die Speicher, wo man stecken konnte.

00:40:23: Und dann kann man natürlich über die dritte Dimension geht, natürlich auch viel zulegen.

00:40:28: Und die existieren ja heute noch, die werden verwenden wir noch.

00:40:33: Aber man ist mittlerweile, dass man über tausend solcher, oder vierhundert bis tausend solcher Speicherlemente dann übereinander speichern kann.

00:40:40: Das heißt, man ... muss es immer schauen, dass man immer aktuell bleibt, immer den auch beobachtet, was ist möglich und auch immer wieder die Annahmen hinterfrägt.

00:40:49: Und manchmal aber auch natürlich die Reißleine ziehen muss.

00:40:54: Okay, das war jetzt ein sehr kurzer, kompakter Überblick über die Frage, wie kann ich eigentlich energiesparsamere KI-Chips bauen?

00:41:03: Haben wir was Wichtiges vergessen?

00:41:04: Sollten wir noch irgendwas ergänzen oder noch erwähnen?

00:41:07: Ich habe jetzt eigentlich nichts mehr, was, glaube ich, noch fehlt.

00:41:10: Das ist super, diesen Satz möchte ich eigentlich immer am Ende eines Gesprächs hören.

00:41:15: Frau Riel, dann danke ich Ihnen nochmal sehr, sehr, dass Sie die Zeit gefunden haben, uns das alles zu erläutern.

00:41:24: Und

00:41:26: ja, mir bleibt nur zu sagen, das war unser aktueller Deep Dive von der deutschen Ausgabe von Technology Review.

00:41:34: Mein Name ist Wolfgang Stieder und bleiben Sie uns gewohnt.

00:41:39: Lesen Sie natürlich und empfehlen Sie auch das Heft weiter.

00:41:42: Wir hören uns dann in circa sechs Wochen wieder.