Weekly #148: Claude Mythos Preview und Auswirkungen auf Cybersecurity

00:00:00:

00:00:02: Herzlich willkommen zu Weekly,

00:00:04: dem Nachrichten-Podcast der deutschen MIT Technology Review.

00:00:08: Darin wollen wir jede Woche Nachrichten aus Technik und Wissenschaft einordnen um einfach besser zu verstehen was hinter der Nachricht steckt.

00:00:15: Und jetzt geht es los mit Weekly!

00:00:18: Heute gibt es eine neue Folge hier bei uns in unserer kleinen gemütlichen Runde.

00:00:23: Zusammen mit meinem Kollegen Wolfgang Stieler spreche ich über das KI-Modell Cloud Mythos Preview von Anthropic und das hat eine neue Debatte an Cybersecurity ausgelöst, und Wolfgang hat sich da ein bisschen eingelesen und gibt da einen Überblick!

00:00:39: Ich habe dann noch im weitesten Sinne einen Medientipp für euch.

00:00:43: Das ist diesmal ein Instagram-Account von Prof.

00:00:46: Dr.

00:00:46: Alke Martens und warum ich den interessant finde, erzähle ich zum Schluss.

00:00:51: Alle relevanten Links zu dem Thema der Sendung findet ihr in den Shownotes.

00:00:56: Mein Name ist Jenny Lipis, ich bin Redakteurin für das Magazin MRT Technology Review und einmal pro Woche darf ich diesen abgesicherten Podcast moderieren.

00:01:05: Viel Spaß beim Zuhören!

00:01:09: Wir sprechen hier natürlich sehr oft über KI und die neuesten Modelle.

00:01:14: Und heute werfen wir aber ein besonderes Licht darauf, denn es soll im Zusammenhang zu Cyber Security oder Sicherheit eben gehen.

00:01:23: Der Aufhänger dafür ist ein Produkt das eigentlich gar nicht öffentlich zugänglich ist.

00:01:27: Die Rede ist von Claude Mythos Preview – Das neue große Sprachmodell.

00:01:34: Es wurde zwar irgendwie angekündigt, aber auch nicht so richtig.

00:01:37: Denn es ist eben nicht veröffentlicht für die breite Masse.

00:01:41: Es wurde lediglich die sogenannte Systemcard bereitgestellt – also sozusagen diese Trumpf-Karte des Modells würde ich jetzt mal sagen mit den wichtigsten Testergebnissen.

00:01:52: und als Begründung für diese Nichtveröffentlichung hat Anthropic geschrieben dass es um erheblich erweiterte Funktionen gibt.

00:02:00: Und da fühlte ich mich so ein bisschen an den Fall GPD-Zwei, das war im Jahr zwei Tausend Neunzehn.

00:02:06: Da hatte OpenAI sein Modell auch erst mal nicht veröffentlicht.

00:02:09: weil man befürchtete es könnte zu mächtig sein haben sie geschrieben angeblich aber kurz danach erschienen das Modell doch und... Ich nehme an, er hat sich gefreut dass die Medien voll so groß berichtet hatten.

00:02:24: Ja ich musste auch sofort an dieses Beispiel denken.

00:02:27: also das ist ja dann viel zitiert worden als ein Beispiel für einen Entwickler von einem großen KI-Modell generierte Hype in dem er behauptet, das ist wahnsinnig gefährlich.

00:02:40: deswegen können wir es jetzt nicht veröffentlichen und müssen erst mal ausführlich testen aber kann halt weil das nicht veröffentlicht wird, nicht überprüft werden.

00:02:49: diese Behauptung erzeugt aber viel Aufmerksamkeit.

00:02:53: Und das bei Anthropic riecht für mich auch so ein bisschen danach ehrlich gesagt nach dieser Strategie allerdings ist der Fall vielleicht noch etwas größer gefasst denn Anthropic gibt ja an dass Mythos Preview tausende Schwachstellen in allen wichtigen Browsern und Betriebssystemen gefunden hat und an sich ist das Auffinden von Schwachställen ja erstmal... nicht so das Problem.

00:03:15: und Mythos Preview ist auch sicherlich nicht das erste Modell, dass jetzt so krasse Funktionen hat.

00:03:22: Aber du hast sich da näher eingelesen rund um diese KI-Modelle.

00:03:27: was ist denn bisher über MythosPreview überhaupt zu sagen?

00:03:32: Nicht so wahnsinnig viel also.

00:03:33: die Einschätzung variieren, die einen finden das Wahnsinnig gefährlich und alarmierend.

00:03:40: Das hört sich dann alle schon bisschen panisch an, nach dem Motto IT Security ist jetzt kaputt.

00:03:49: Funktioniert überhaupt nicht mehr?

00:03:51: Die anderen sagen aber das ist alles nicht so schlimm!

00:03:55: Das ist nichts Neues.

00:03:56: im Grunde genommen... Es ist sehr schwer da überhaupt irgendeine fundierte Einschätzung zu gewinnen weil die Faktenlage einfach sehr dünn ist.

00:04:10: es soll Diese Woche noch ein Paper geben von der Deutschen Forschungsgruppe, was dann erst mal als Prieprint veröffentlicht wird.

00:04:20: Die ebenfalls über ihre Erfahrungen mit dem preview also einzelne Forschungsgruppen haben halt vorab zugriff bekommen aber sehr limitierten Zugriff auf das modell berichten und auch Ergebnisse davon veröffentlichte wollen.

00:04:35: Aber auch dieses paper ist noch nicht draußen müssen mal schauen genau,

00:04:40: aber was ist das große problem dabei an diesem?

00:04:45: An dem Modell.

00:04:46: Dazu müssen wir ein kleines bisschen ausholen, ich denke eine Tatsache die an der Stelle wirklich sehr wichtig ist von wem kommt das Modell?

00:04:54: Also aus was vom Steil sozusagen und Entrophic ist ja bekannt mit den mit der Cloth-Modellreihe auch für gute Codingmodelle.

00:05:05: Das heißt sie haben große Sprachmodelle Und das ist halt immer so bei großen Sprachmodellen die Fähigkeiten sehr davon abhängen, in was für Daten wie gut die Daten sind.

00:05:19: Wie das trainiert worden ist also weniger die Architektur sondern viel auch eben der Trainingsdatensatz mit sehr sehr vielen Coding-Baspielen und offensichtlich eben auch nicht nur mit irgendwelchen Schrott sondern auch mit oder zumindest mit gut anotierten Coding Beispielen trainiert.

00:05:37: so darauf haben sie aufgebaut und da haben Sie dann Zusatzfunktion noch implementiert und müssen dann offensichtlich auch so Sachen dazu gepackt haben in ihren Trainingsdaten, wie das ist Code der ist angreifbar weil.

00:05:54: Das ist eine bekannte Schwachstelle.

00:05:56: es gibt halt Datenbanken auch offene Datenbanten wo so allgemein bekannten Schwachstellen und Fehler ins Software dokumentiert sind.

00:06:09: Es gibt Open Source Tools, die regelbasiert Code überprüfen und auch da gibt es dann Datenbanken und lange Listen von Schwachstellen.

00:06:21: Wo man dann sehen kann dieser Code ist eine schwachstelle.

00:06:25: Weile ja.

00:06:27: und also diese Sachen und natürlich Informationsdienste, die über spezialisierte IT Sicherheits Informationsdienste, die eben über neue gefunden Schwachstellen informieren und mit all diesen Beispielen hat Antrophic offensichtlich sein neues Modell trainiert.

00:06:48: Und dann gibt es natürlich noch so Dinge Zusatzfunktion wie prüfen ob das überhaupt eine Schwachstelle ist?

00:06:58: Das sieht aus wie eine Schwachtstelle aber ich muss jetzt mal gucken Ist das eine?

00:07:02: Dann kannst du so Sachen wie Testmechanismen etablieren.

00:07:04: Du kannst erstmal ein Stück Code in der Sandbox kompilieren, gucken läuft der überhaupt, produziert den Fehler.

00:07:12: Was passiert wenn ich da nicht den vorgesehenen Input sondern irgendwelchen Input reintuhe und da sozusagen kräftig am Tor rüttle und das Ding bombardiere mit irgendwelche unsinnigen Inputs?

00:07:26: Und solche Sachen gibt es auch schon vereinzelt als spezialisierte Tools, als spezialisierte automatische Test-Tools.

00:07:35: Aber das haben sie offensichtlich mit eingebaut.

00:07:37: Genau sagen Sie es nicht, was Sie da gemacht haben.

00:07:41: und das nette ist dann halt ein großes Modell, dass eben auch viel Kontext mit einem beziehen kann.

00:07:51: Das heißt, das Modell kann man an einem Beispiel, wo jetzt noch etwas darüber geschrieben worden ist, bezieht offensichtig den großen Kontext in einen und guckt in dem Softwarepaket sind noch folgende Bibliotheken mit eingebaut und die Bibliotheken haben folgendem kannte Schwachstellen.

00:08:10: Und das könnte dazu führen, dass und macht relativ gute Zusammenfassungen und Vorhersagen also Formuliert Hypothesen darüber was passieren könnte und prüft sie dann auch so.

00:08:25: und all Das ist jetzt kein sieht für mich nicht aus wie ein qualitativer Sprung Also wie, was das vorher überhaupt noch nicht gab.

00:08:36: Fast aber viel zusammen von dem, was es gab und in seiner Gesamtreit ist es schon auch ein sehr mächtiges Tool.

00:08:42: muss man sagen ob das jetzt wirklich die Cyber Security kaputt macht oder nicht?

00:08:48: Das hängt von vielen verschiedenen Faktoren ab unter anderem eben auch wieder Zugriff darauf geregelt wird, wie der allgemeine technische Stand sein wird usw.

00:08:56: Genau du meintest ja vorhin dass gibt's so alarmierende Stimmen Das kommt in die Hände von Kriminellen oder... Genau.

00:09:05: Da ist

00:09:05: aber auch was, was man im Moment überhaupt nicht weiß.

00:09:08: also wenn du so ein Modell hast dann kannst du natürlich einerseits deinen Code analysieren oder irgendwelchen Code den du von irgendwo her kriegst woher auch immer.

00:09:20: das kann natürlich auch geklauter Code sein und kannst es nutzen um Sicherheitslücken zu stopfen weil das Modell dann auch gleich Vorschläge macht für Patches.

00:09:36: Du kannst es aber natürlich auch benutzen, um einfach automatisch Explorz schreiben zu lassen und dem zu sagen hier such mal nach unbekannten Sicherheitslippen und mache Vorschlage dafür wie man die ausnutzen kann und wie man darüber Zugriff auf das System oder sogar Privilegiertenzugriff hat, was es oft das System bekommen kann.

00:09:59: Das ist normalerweise abgefangen natürlich einerseits durch die Nutzungsrichtlinie entschaff ich sage du das darfst du nicht.

00:10:06: aber das Modell wird auch darauf trainiert solche Anfragen nicht zuzulassen.

00:10:10: die Frage ist wie leicht kann man es dazu bringen dass trotzdem zu tun je bisherigen Erkenntnisse in dieser Richtung sind mich so ermutigend.

00:10:21: Also im Prinzip kann man sowas natürlich auch mit GPT-Fünf machen.

00:10:27: Im Prinzip, kann man so was auch mit anderen mit Codecode oder sonst irgendwelchen Modellen mit Gemini machen die alle darauf trainiert worden sind solche Anfragen abzubloppen.

00:10:40: aber es gibt halt Jay Breaks Methoden mit denen man diese Sicherungen aushebeln kann und gibt viele verschiedene Versuche, in denen Forschungsgruppen immer wieder gezeigt haben.

00:10:52: Die bisher implementierten Sperren sind nicht ausreichend und das lässt halt befürchten dass wenn so ein mächtiges Modell auf dem Markt ist, was ja tatsächlich passiert auch Cyberkriminelle hingehen irgendwelche Scheinkonten aufmachen und unter fadenscheinigen Gründen fadentscheinige Gründungen halt da kriminellere Tools entwickeln lassen oder Code Clown Modelle auf ihren eigenen Rechnern laufen lassen, irgendwo abgesicherten dunklen Bereichen und das dann eben offen auch für kriminelle Zwecke nutzen.

00:11:36: Beides ist schon passiert.

00:11:38: Das sind dann eher Open Source-Modelle die man dazu benutzt und die hat vielleicht sogar Feintune noch mit Common Exploits oder so.

00:11:46: Das gibt es durchaus.

00:11:47: Und dann muss man das halt irgendwie über das Darknet laufen lassen und muss nur irgendwie dafür sorgen, dass man nicht so leicht gefunden werden kann.

00:11:57: Deine Zahlungswege irgendwie absichert.

00:12:01: Auch das.

00:12:02: Also Leute, die so was machen, kennen sich in der Regel gut genug damit aus.

00:12:05: Wahrscheinlich

00:12:06: ja!

00:12:07: Dass sie das auch können.

00:12:08: Genau.

00:12:09: Was wäre denn der Ausweg als so einem Sicherheitsdilemma?

00:12:12: Malte es eben schon in die Nutzungsbedingungen schreiben hier...

00:12:17: Das ist jetzt ein bisschen das Dilemma vor dem Entschofik auch steht und insofern ist es natürlich gut dass diese Frage noch mal wieder zur Diskussion steht.

00:12:29: Lustigerweise ist es ja tatsächlich auch so, dass es Gerüchte und Diskussionen darüber gibt.

00:12:36: Dass in den USA dann doch eine entsprechende Regulierung für große KI-Modelle geben wird Und die Idee im Moment ist das sie dann vorab geprüft werden von irgendeiner Behördestelle die einen offiziellen Regierungsauftrag dazu hat, um sicherzustellen dass sie nicht missbräuchlich verwendet werden können oder wenn sie missbräuschlich verwenden werden.

00:13:04: Dass sie keinen riesigen Schaden verursachen.

00:13:07: und die Spekulation ist das viel eben mit Claude Mythos zu tun hat.

00:13:11: also dass die US-Regierung Angst davor hat dass wenn dieses Modell einfach ohne jede Regulierung wie es bisher der Fall ist weil bisher war die Doktrinheit Technischer Fortschritt erstmal veröffentlichten technische Fortsschritt zuerst US Leadership in Global Technology.

00:13:30: Das dann gravierende Sicherheitsvorfall in den USA stattfindet und sie dann dafür verantwortlich gemacht werden, das wäre dann richtig belöht.

00:13:39: deswegen ja im Moment so die Diskussion kriegen wir es irgendwie eingehegt.

00:13:47: trotzdem wird sich was ändern müssen, denke ich.

00:13:49: Insofern ist es ganz interessant was Bruce Schneier und sein Kollege Berthes Rackwahn geschrieben haben auf IEEI Spektrum.

00:14:00: Bruce Schneyer ist ein britischer Security-Experte der schon seit ewigen Zeiten im Geschäft ist und viele Bücher darüber geschrieben hat.

00:14:09: Die haben immer normalerweise so ein bisschen globaler Umblick.

00:14:12: Was passiert also?

00:14:13: nicht die technischen Einzelheiten?

00:14:16: Und die sind jetzt davon ausgegangen.

00:14:18: Na ja, das Ding ist in der Welt und es gibt sowas wie eine schleichende Verschiebung der Schwelle sozusagen oder des allgemeinen Niveaus.

00:14:30: Ja okay.

00:14:32: Das bedeutet selbst wenn so etwas wie Mythos nicht allgemein zugänglich ist und streng limitiert wird kannst du davon ausgehen Das, was sie da machen ist keine Zabereien.

00:14:46: Das können auch andere und das allgemeine Niveau auch anderer Tools wird immer höher.

00:14:51: Und irgendwann wird es auch einfach allgemein verfügbare Tools geben die etwa sowas in der Art können.

00:14:58: Na ja, und der zweite Grundsatz den Schneier schon immer propagiert hat ist Es hat keinen Sinn zu versuchen ein Deckel auf Technologie zu setzen und dafür zu sorgen dass die bösen Jungs das nicht in die Finger kriegen und zwei für zwei kriegen die das früher als alle anderen.

00:15:14: Und das bedeutet, du musst davon ausgehen dass es so eine Art.

00:15:18: Wettrennen gibt immer Katzen Maus Spiel und dass die Tools da sind und dass es sowohl natürlich Software Entwickler gibt diese Tools nutzen um ihren eigenen Code zu scannen als auch bösartige Akteure heißt es immer so schön

00:15:35: die

00:15:36: darauf aus sind diese tut zu missbrauchen und damit sicherheitslücken zu finden und explode schreiben zu lassen.

00:15:44: Das ist einfach so.

00:15:45: gehen wir einfach mal davon aus und das bedeutet du musst eher dir überlegen was gibt es für systeme die ich also?

00:15:55: oder wie ist meine software?

00:15:58: oder wie is der einsatz zweck für meine software?

00:16:00: habe ich ein system?

00:16:01: was ich leicht patchen kann, dann kann ich mich auf diesen Wettlauf irgendwie einlassen.

00:16:11: Dann kann ich sagen okay ich muss halt regelmäßig meine Sicherheitsüberprüfung machen und muss einfach sehen dass ich da hinterher komme.

00:16:20: das ist nicht so dramatisch.

00:16:23: oder habe ich einen System nur schlecht oder schwer patchen kann, irgendwelche Software in Autos zum Beispiel wird normalerweise nicht ständig aktualisiert.

00:16:41: Da musst du erst aktiv eine Verbindung herstellen.

00:16:43: oder Home Appliance ist so ein typisches Beispiel.

00:16:48: da ist in der Regel irgendwelches Software drin die auf Open Source Komponenten beruht, die zu dem Zeitpunkt als das geschrieben worden es aktuell war.

00:16:54: aber wenn der Kühlschrank dann zehn Jahre alt ist dann ist da kein Patchmare gemacht worden.

00:17:00: Und das identifizieren sie eher als problematisch, weil... Da muss man davon ausgehen dass es dann irgendwie Explods gibt und man nur zukünftig eher zusehen solche Systeme nicht einfach so ins Internet zu hängen sondern mehr abzukapseln.

00:17:17: Also eher eine Systemanalyse

00:17:19: zu machen.

00:17:20: Was habe ich für eine Software, wofür wird die eingesetzt?

00:17:24: Mit was ist sie vernetzt?

00:17:25: wie leicht kann ich die patchen.

00:17:27: Und Software, die stark vernetzt ist aber schwer zu patchen ist kriegt dann halt plötzlich jetzt eine höhere Risiko einstufen.

00:17:34: Das war vorher nicht so weil er hat sich für Kühlschränke interessiert.

00:17:38: Also das ist ihr Vorschlag!

00:17:40: Das fand ich interessant.

00:17:42: Du hast ihn ja schon mal interviewt ne?

00:17:44: Ja und ich habe auch eine Anfrage gestellt und es soll auch laufen.

00:17:50: Ich weiß aber noch nicht was... Wann?

00:17:51: Jetzt im nächsten Jahr.

00:17:52: bald werde ich dazu nochmal weitere Details erfahren, hoffe ich von Herrn Schneier.

00:17:57: Aber bisher habe ich noch keinen Termin.

00:18:00: das ist ein bisschen ja.

00:18:01: Ja aber hoffen wir mal dass es zustande kommt.

00:18:04: Das wäre cool.

00:18:05: genau der ist ein bekannter Name irgendwie.

00:18:07: ich lese den auch oft in der US Ausgabe von TR.

00:18:10: da schreibt er auch ab und zu mal was.

00:18:12: Ich hatte im Vorfeld, in der Vorbereitung auch noch Texte von unserem T-III-Kollegen Florian Zand dazu gelesen.

00:18:20: Der hat auch noch Stücke über Mythos Preview geschrieben und so ein bisschen ob das Hype ist oder Panik mache oder echte Gefahr.

00:18:30: genau die Texte verlinke ich auch gerne nochmal zusammen natürlich mit dem Kommentar von Bruce Schneier.

00:18:37: erst mal vielen Dank Wolfgang.

00:18:39: Ja für unseren Medientipp bleiben wir jetzt beim Thema KI aber ein bisschen andere Darstellungsform sozusagen.

00:18:46: Auf Instagram folge ich nämlich schon seit einiger Zeit der Professorin Alke Martens, sie arbeitet an der Universität Rostock und lehrt da Praktische Informatik und die Daktik der Informatika.

00:18:57: kennst du sie?

00:18:58: Ich kenne die lustig aber auch.

00:19:00: Also nicht direkt persönlich, aber ich kenne auch ihren Instagram-Tit.

00:19:03: Ja genau!

00:19:05: Und irgendwie fand ich den immer sehr nett gemacht.

00:19:07: einfach sehr vielfältige Videos in denen sich etwa so aktuelle Meldungen jetzt kürzlich zu diesem US-Routerverbot aufklärt erklärt auch so verschiedene Begriffe, Microtargeting oder Techno-Optimism.

00:19:25: Zum Beispiel haben wir hier auch schon mal diskutiert und sie verbindet das Ganze dann immer sozusagen mit dem Einbezug der Instagram-Nutzerinnen und Nutzer bietet an sich in den Kommentaren zu beteiligen.

00:19:38: Und wenn man die Kommentare auch immer so durchliest finde ich ist das ganze noch seriös.

00:19:42: also es wird sich da unterhalten im Prinzip und sie reagiert dann da auch immer noch mal drauf.

00:19:48: Sie hat auch noch so eine Rubrik, jeden Donnerstag meine ich ist das die heißt Alke denkt anders und es eben die Abkürzung Ada also Ada Lovelace danach benannt die große Pionieren in der Programmierwelt sozusagen die erste Programmierung der Welt.

00:20:05: Und da ja thematisiert sie immer so Fragen Die sie interessieren und wo sie ein bisschen anderen Denkanntsatz fordert oder auch sich selber so präsentiert, was sie so denkt.

00:20:19: Zum Beispiel letztens über KI wie das unser Denken wiederum beeinflusst wenn man zum Beispiel immer wieder KI Texte liest die halt immer gleichförmig sind oder immer irgendwie so ein besonderes Schema verfolgen homogenisierter sind, wie Sie es nennen und sie fragt sich ob das dann auch Auswirkungen auf unsere denken hat, ob wir denn immer so im Mittel denken sozusagen und genau, und fordert dann eben auch wieder auf sich in den Kommentaren dazu zu beteiligen.

00:20:50: Und insgesamt ist das so ein ganz unaufgeregter Account mit unaufgeregten Videos ohne super schnelle Schnitte oder sowas und es hat eine sehr angenehme Stimme finde ich und vermittelt dann eben so schön Basiswissen über KI und Ethik.

00:21:06: Ich hatte schon oft überlegt, ob man sie mal hier als Interviewgast und für den Podcast.

00:21:12: Genau, finde ich irgendwie auch ganz nett.

00:21:13: oder auch so fürs Heft.

00:21:15: da fehlte mir bis dann nur die Zündi-Idee aber kommt bestimmt noch.

00:21:18: vielleicht hört ihr das ja hier genau.

00:21:21: Ja, wir folgen dem Account also von daher unsere wärmste Empfehlung dafür.

00:21:28: Wir sind damit auch am Ende unserer Folge hier.

00:21:32: Wir hören uns dann voraussichtlich in der nächsten Woche wieder bis dahin.

00:21:35: Mach das gut.

00:21:36: Du hast noch was vergessen?

00:21:37: Was

00:21:37: habe ich vergessen, oh Gott!

00:21:38: Du

00:21:38: hast zu erwähnen... Vergessen zu erwänen dass wir jetzt wieder einen Heft zur Druckerei geschickt haben.

00:21:42: Stimmt

00:21:43: ja genau weil es nämlich am Zweihnzwanzigsten Mai herauskommt ist es nämlich in der übernächsten Woche.

00:21:50: Genau richtig aber da dürfte schon gespannt sein.

00:21:54: das große Titelthema is KI in der Medizin.

00:21:57: Jetzt sind wir aber am Ende dieser Folge.

00:22:00: Wir hören uns dann in den nächsten Wochen wieder, macht es gut!

00:22:02: Tschüss.