KI auf dem Schlachtfeld: Wie das Silicon Valley den Iran-Krieg durchdringt

00:00:02: Hallo zusammen, ich bin Mali Nöler und gehör zum Podcastteam von NCZ Geopolitik.

00:00:09: Bevor es mit der neuen Folge losgeht habe ich eine Frage an euch.

00:00:13: Denkt ihr auch manchmal im Nahen Osten gibt es eigentlich nie Ruhe, nie Frieden?

00:00:19: Und wie soll es in dieser Region nach dem Iran-Krieg überhaupt weitergehen?

00:00:25: Wir wollen Antworten von einem, der in Nahen Osten und v.a.

00:00:28: Israel wie kaum ein anderer kennt – dem langjährigen Nauss-Korrespondent Richard C Schneider.

00:00:35: Am XXI.

00:00:36: April spricht mein Kollege David Vogel mit ihm bei NZZ Geopolitik Live im Bernhard Theater in Zürich.

00:00:43: Tickets & Infos findet ihr auf live.nz.ch oder in den Shownotes dieser Folge.

00:00:51: Wär schön euch da zu sehen!

00:00:53: am XXI.

00:00:54: April im Bernhard-Theater in Zürich.

00:00:58: und jetzt kommt David mit einer neuen Folge von NCZ Geopolitik.

00:01:08: Der Iran Krieg war kaum ein paar Stunden alt, da gab es seine folgenschwere Explosion in einer kleinen Stadt im Süden des Iran in Minab.

00:01:21: Getroffen wurde eine Mädchenschule.

00:01:23: über hundertsechzig Menschen sterben, die meisten der Opfer waren zwischen sieben und zwölf Jahre alt.

00:01:32: Sicher ist das Gelände sollte angegriffen werden.

00:01:35: es war kein Fehlschlag einer einzigen Rakete denn auf Satellitenbildern lassen sich mindestens acht Einschläge erkennen was man weiß.

00:01:46: früher befand sich auf dem Gelände in Manib ein Stützpunkt der iranischen Revolutionsgarten Und die NSZ und viele weitere Medien konnten belegen, dass das Gelände aber seit zehn Jahren zivil genutzt wurde.

00:02:01: Deswegen deutet vieles darauf hin, dass dieses militärische Ziel eigentlich gar kein militärisches Ziel ist, sondern von einer KI aufgrund veralterter Militärdaten ausgesucht wurde.

00:02:13: Elke!

00:02:14: Diese Schule war eines von insgesamt... Tausend Zielen, dass die Israelis und Amerikaner am ersten Tag ihres Krieges gegen den Iran angegriffen haben.

00:02:25: Was sagt denn dieser Angriff über die Verwendung von KI in diesem Krieg aus?

00:02:31: Genau weiß man natürlich nicht ob diese Fehlentscheidung die Schule anzugreifen aufgrund einer KI oder auf Grund menschlichen Versagensberut Aber man kann durchaus sagen, dass in diesem Konflikt die Parameterumfang und Geschwindigkeit, also Speed- und Scale wirklich in den Vordergrund gerückt wurden.

00:02:55: Wenn denn in den ersten vierundzwanzig Stunden tatsächlich eintausend Ziele angegriffen wurden dann bedeutet das eigentlich, dass vermutlich viel mehr Ziele vorgeschlagen wurden – vermutlich von einem das KI-System unterstützt.

00:03:08: Und das bedeutet dann, dass die Menschen, die in dieser Aktionsschlaufe stecken, relativ schnell entscheiden mussten, welche Ziele tatsächlich legitime Ziele sind und wo Zivilisten sein könnten usw.

00:03:22: Was heißt Schnell?

00:03:24: Das weiß er aus, behauptet ja, dass in den letzten fast fünf Wochen elftausend Ziele angegriffen wurde.

00:03:30: Man weiß nicht genau, welche ziele ... Aber es bedeutet, pro Tag dreihundert Ziele angegriffen wurden, vierzehn Ziele pro Stunde also in der Zielentscheidung alle fünf Minuten.

00:03:42: Also der Krieg selbst verändert sich nicht durch die KI.

00:03:46: das geht immer brutal zu es geht immer ums Töten und zerstören.

00:03:49: aber was in der Kriegsführung durch KI priorisiert wird diese Geschwindigkeit unter Umfang das verändert sich gerade massiv.

00:03:58: Das ist NZZ Geopolitik dass große ganze verstehen Die künstliche Intelligenz spielt eine wichtige, vielleicht sogar die entscheidende Rolle in der modernen Kriegsführung.

00:04:10: KI verändert aber nicht nur die Geschwindigkeit des Krieges – KI verändert auch die Haltung einer Partei zum Krieg an sich!

00:04:19: Und das bereitet meinem Gast der Politologin Elke Schwarz von der Londoner Queen Mary Universität große Sorgen.

00:04:27: Mein Name ist David Vogel und damit herzlich willkommen ElkeSchwarz.

00:04:30: Hallo

00:04:33: Ganz ehrlich Elke, ich benutze KI wahrscheinlich so wie viele andere auch.

00:04:37: Einfach um mir das Leben ein bisschen zu erleichtern mal im Beruf und das Gespräch mit dir vorzubereiten mal privat um einen netten Brief noch netthaft zu formulieren.

00:04:47: Krieg Und KI, das fällt mir ein bisschen schwer mir vorzustellen.

00:04:51: Es gibt alte Filme mit Terminator-Killerroboter wie Hollywood es erschaffen hat.

00:04:57: Das wird es ja wohl nicht sein.

00:04:59: Wie muss ich mir KI im Krieg vorstellen?

00:05:01: Ja, tatsächlich ist diese Idee des Terminators etwas schräghaft natürlich.

00:05:09: Aber die Systeme von welchen wir sprechen sind wesentlich unsichtbarer und komplex.

00:05:17: Aber vielleicht nicht weniger schreckhaft in ihrer Auswirkung eventuell.

00:05:20: So KI in der Kriegsführung kann verschiedene Formen annehmen, das ist ganz klar.

00:05:25: also KI kann eine Anzahl von verschiedenen Aufgaben im militärischen Bereich erfüllen Logistik Übersetzungen Transport alles was von Effizienz und Optimierung quasi profitieren könnte.

00:05:39: Für das bietet sich die KI als Unterstützungstechnologie wunderbar an.

00:05:43: Also rein, wenn es um Materialien geht, Logistikobjekte ist alles gar nicht so problematisch.

00:05:48: aber wenn dieses Effizienz- und Optimierungsmandat dann auf die Zielsetzung übergreift also damit hilft was oder wer angegriffen werden soll mit Waffen Dann sind die ethischen Probleme natürlich wesentlich größer.

00:06:06: Und dass passiert dabei?

00:06:08: Kriegsparteien setzen KI ein und diese KI macht Vorschläge.

00:06:14: Wen sie treffen sollen, wo Sie treffen sollen?

00:06:16: Genau!

00:06:17: Also die KI-Systeme von denen wir die letzten Jahre am meisten gesprochen haben und welche eben diese ethischen Fragen aufwerfen das sind diese sogenannten KI, Entscheidungsunterstützungssysteme also AI decision support Systems wie man in Englisch so schön sagt und die werden dazu eingesetzt verschiedene Datensätze demografische Daten, Daten von sozialen Online-Medien, Radiodaten.

00:06:42: Alle möglichen Datensätze die einfach so zur Verfügung stehen auszuwerden zu bearbeiten und anhand dieser Daten dann Ziele zu finden, möglicherweise zu entdecken, möglichweise Ziele die schon vorgegeben wurden also diese Ziele dann quasi festzulegen und den Menschen rein theoretisch dabei helfen eine bessere Entscheidung treffen zu können Hat aber eine längere Geschichte.

00:07:06: Das ist jetzt nicht was ganz Extrem Neues, sondern diese Idee auch der Wunsch, Informationstechnologien einzusetzen in der Kriegsführung und auch nicht zu.

00:07:15: letzter Ziel Identifizierung.

00:07:17: Das gibt es schon ziemlich lange.

00:07:19: Da wurde der Begriff künstliche Intelligenz zum ersten Mal genannt oder ernannt oder ins Leben gerufen sozusagen.

00:07:28: Und das war natürlich zu dem Zeitpunkt noch nicht so effizient möglich.

00:07:33: Die Systeme waren wesentlich fehlerhafter.

00:07:36: Die Rechenvorgänge gingen noch nicht so schnell, die Systeme selber haben auch wahnsinnig viel Rechenkapazität gebraucht und so weiter.

00:07:42: also es waren dann nicht so sanft und reibungslos wie wir uns das heute vorstellen.

00:07:47: aber die Idee hat sich auf jeden Fall festgesetzt und es hat sich dann auch über die Jahre ein bisschen verfestigt.

00:07:53: Zusammenhang mit den algorithmischen Zielsetzungen in den Drohnenkriegen, Jahrzehnteilzehn bis Zehnteilszehn, vierzehn.

00:08:01: Hat man das ja auch gesehen?

00:08:02: Wo man anhand von diesen sogenannten Pattern of Life-Analysen, anhand welchen man dann versucht hat zu entdecken wäre als Terrorist oder als Verdächtiger gelten kann und dann auf eine sogenannte Kill List gesetzt werden kann, hat man dort schon entwickelt.

00:08:19: Also da ging es nicht nur um die Drohnen selbst sondern auch dieses algorithmische System was dann die Verdächtigen errechnet hatten sozusagen.

00:08:28: aber im realen hat sich das erste Platz so richtig ein bisschen erst im Zusammenhang mit Russland-Ukraine gewendet.

00:08:37: Wird ja auch regelmäßig als Schlachtfeldlabor bezeichnete, Ukraine Krieg?

00:08:42: Genau so!

00:08:43: Das wissen wir auch, dass ganz viele neue Systeme von Startupfirmen über verschiedene Wege in die Ukraine kommen um dort ausgetestet zu werden.

00:08:52: Auf der einen Seite ist es ganz gut weil die Ukraine damit bewaffnet wird und verschiedene Möglichkeiten hat sich zu verteidigen auch mit sehr interessanten und effektiven Systemen.

00:09:02: Auf der anderen Seite ist es natürlich immer problematisch, weil viele von den Systemen gar nichts taugen, auseinanderbrechen oder relativ schnell veraltet sind sagen wir mal Müll in den Krieg sozusagen reinkommt und das hat natürlich verschiedene Konsequenzen.

00:09:19: Auf der einen Seite ist es immer die Gefahr, dass Zivilisten zu Schaden kommen.

00:09:24: auf der anderen Seite ist auch die Gefahre, dass sich die Ukraine dennoch nicht so richtig effizient verteidigen kann was der Vorteil für die Firmen ist, dass sie dann sagen können ja unsere Systeme sind kriegserprüft ist natürlich von Vorteil für die Firmen und deren Wertschätzung.

00:09:44: Hab ich das jetzt aber richtig verstanden?

00:09:45: Du sprichst von Start-ups, die neuartige Kriegssysteme produzieren nicht von traditionellen Rüstungsfirmen wie zum Beispiel Reinmetall oder so.

00:09:56: Auf jeden Fall haben wir das in den letzten zehn Jahren gesehen – wie verschiedene Interessenten, also Startups, Technologiefirmen aber auch deren Finanzgeber sich mehr und mehr an der Verteidigung als Markt interessieren.

00:10:14: Also der Einzug von Silicon Valley ins militärische Geschehen vollzieht sich schon seit einiger Zeit und man sieht ja auch dass mittlerweile alle größeren und kleineren Technologieunternehmen sich sehr um lukrative Regierungsaufträge bemühen.

00:10:30: wir haben ja letzten Monat erst dieses ganze Spektakel zwischen Anthropic und den Pentagon sehr prominent wahrgenommen.

00:10:39: Vielleicht lasst mich kurz erklären, also Anthropic hat sich geweigert seine Nutzungsbedingungen quasi frei zu geben oder zurückzuziehen damit das Pentagon eigentlich machen und tun kann was es will mit der KI-Klot?

00:10:52: Ja genau so!

00:10:54: Anthropic gesagt wir haben zwei rote Linien und die müssen wir bewahren weil Natürlich ist auch eine wichtige Aussage.

00:11:03: Claude, noch nicht ganz so leistungstüchtig ist wie man sich das erhofft von der Zukunft.

00:11:08: und diese roten Linien waren zum einen die Massenüberwachung von Amerikanern US-Bürgern und zum anderen die Benutzung von Claude von diesem großen Sprachmodell für vollautonomer Waffen.

00:11:20: Jetzt sind diese Roten Linie aber sehr weit unten angesetzt muss man schon sagen.

00:11:25: und man könnte auch durchaus argumentieren wenn dieses Sprachmodell-Cloat nicht für Vollautonomie eignet, dann eignete es sich mit größer Wahrscheinlichkeit auch nicht für KI Zielvorschläge oder Zielfindungsaktionen sozusagen.

00:11:41: Aber was heißt das konkret wenn du sagst dass Silicon Valley Firmen den Verteidigungsmarkt für sich entdeckt haben?

00:11:49: Also man muss ja wirklich sehen der globale Markt für KI Militär ist sehr lukrativ und es ist ein wachsender Markt.

00:11:57: also geschätzt wurde er auf knapp zehn Milliarden US-Dollar.

00:12:02: Und das soll nach verschiedenen Schätzungen bis zu fünfzig Milliarden US Dollar ansteigen, auch die Militärhaushalte steigen ja weltweit eigentlich an und dieser Markt wird ein sehr großer Markt und ist natürlich damit auch extrem attraktiv für verschiedene Finanzgeber, die sich davon natürlich auch so ein bisschen Teil dieses Marktes erhoffen.

00:12:26: also Also es ist schon auch so, dass wirklich die neuen Technologiefirmen diese Start-ups das Tempo vorgeben und auch die Narrative was gemacht werden muss ein bisschen beeinflussen.

00:12:40: Man hört ja wirklich ganz prominent, dass die Akquise viel zu langsam ist, dass alles schneller gehen muss, dass eine größere Risikobereitschaft bei den Verteidigungsorganisationen auch bereit sein muss größere Gefahren bestehen.

00:12:56: Also das wirklich so ein Druck dann schlussendlich irgendwie herrscht, dass man dieses KI militärische KI-Rennen nicht verlieren darf.

00:13:03: also es entsteht so einen Druck, so ein Handlungszwang dann schlußendlich auch in diesem Wirtschaftsbereich KI im Militär.

00:13:13: Was ich noch nicht verstanden habe ist zu welcher Veränderung führt das denn auf dem Schlachtfeld?

00:13:19: Was ich zwischen den Seiten von dir verstehe ist, dass quasi die Silicon Valley-Mentalität ins Pentagon und in die traditionellen Rüstungsfirmen hineingekommen ist.

00:13:29: Was hat aber dieser Kulturwandel dann bewirkt?

00:13:32: letztlich im Krieg?

00:13:34: Im Krieg selbst kann man sagen das dieses Mandat zur größeren Risikobereitschaft sich etwas verfestigt hat.

00:13:45: Und es bedeutet schlussendlich eine größere Bereitschaft zu diesem Prototyping, also diesen Live-Testen von Barfensystemen die vielleicht relativ jung sind aber die am besten dann in diesen Livekonflikten eingesetzt werden um aus diesen Konfliktern lernen zu können.

00:14:02: das bedeutet man hat ein relativ ungetestetes System für einer Firma die dies vielleicht erst seit dem Jahr die aber schon Verträge mit dem Verteidigungsministerium hat, damit die Produkte, die ja auch noch nicht so besonders ausgereift sind dann schlussendlich in Kriegen eingesetzt werden können.

00:14:22: und so lernen die Technologieunternehmen ihre Produkte zu verfeinern oder zu verbessern.

00:14:28: Und da kommt natürlich immer ein gewisses Risiko damit ins Spiel und wer dieses Risiko trägt ist dann immer eine Frage.

00:14:35: Die andere Sache ist auch dass man Die Produkte, die die Technologieindustrie natürlich sehr gut produzieren kann und welche auch bedeuten es solche Start-ups schneller wachsen können.

00:14:46: Also Mass, Masse, dass solche Produkte dann anfangen im Vordergrund zu stehen.

00:14:53: Und solche Produkte, die wirklich ja die Idee von Silicon Valley implizit in sich tragen, ob das jetzt move fast break things ist oder ob es wirklich zur schnellen Handlung hinführt.

00:15:06: Dass solche Systeme mit dieser Silicon Valley-Logik dann schlussendlich auch die Ideologie zu einem gewissen Maße im Schlachtfeld oder in der Kriegsführung beeinflussen.

00:15:21: Also es ist ein totaler Mentalitätswandel?

00:15:23: Ja genau so!

00:15:25: Die Idee, dass man innerhalb fünf Wochen elftausend Ziele angreift oder die Idee, das man innerhalb von vierundzwanzig Stunden eintausend Zielen angreifen.

00:15:35: Das sind Zahlen, die sind im Vergleich zu dem was vorher passiert ist exorbitant.

00:15:41: Vorher hatte mein Teams von zweihundert Leuten gebraucht um irgendwelche Ziele zu verifizieren.

00:15:46: jetzt braucht man wohl zwanzig.

00:15:47: Das Stichwort lautet ja Krieg mit Maschinengeschwindigkeit also war Machine Speed.

00:15:55: Und das entsetzt viele von uns, die diese Sache schon länger beobachten.

00:16:03: Dass ich das relativ schnell und auch ohne große Hindernisse so schnell auf diesen großen Umfangsbereich zentrieren konnte.

00:16:11: Es entsetzt uns natürlich weil ja genau im Krieg immer... es geht ja immer um Menschenleben.

00:16:17: Wir wissen genau dass in den Kriegen immer die Zielbevölkerung gleitet.

00:16:21: Deshalb gibt es ja auch verschiedene Regelwerke, die dazu dienen sollen genau dieses Leid einschränken zu können.

00:16:27: Und damit das nicht komplett ausufert – man hat sich da auch international über Jahre darauf geeinigt dass diese Regelwerker sehr wichtig sind.

00:16:35: und dazu genau dazu braucht es eben dieses menschliche Urteilsvermögen welches in dieser Systemlogik immer ein bisschen hinterher hinken muss.

00:16:43: Und dieses menschen urteils Vermögen braucht es hier auch Weil nur der Mensch kann verstehen, was Leiden im Krieg überhaupt bedeutet.

00:16:51: Und genau da wird es eben mit diesen Parametern Speed und Scale eng wenn das im Vordergrund steht.

00:17:03: Wir sind gleich

00:17:04: zurück!

00:17:08: Guten Tag.

00:17:09: ich bin Peter Raschoni.

00:17:11: Ich leite zusammen mit meinem Kollegen Peter Fischer Das Team von NCZ Pro Der Premium Ausgabe der NCZ.

00:17:18: wir versuchen Mit unserer langjährigen journalistischen Arbeit die Welt besser zu verstehen.

00:17:24: Wir liefern euch zusammen mit den Redaktoren und Korrespondenten der NCZ für tiefere Analysen und Hintergründe zu Geopolitik, Weltwirtschaft und Sicherheitspolitik.

00:17:34: Wenn ihr einen noch tieferen Einblick in das verwirrende Weltgeschehen gewinnen möchtet dann abonniert NCZ Pro das Premium-Abonnement der NC Z. Den Link dort hin findet ihr in den Show Notes dieser Podcast Episode.

00:17:47: wir freuen uns auf euch!

00:17:56: Also wir haben in diesem aktuellen Krieg gerade am ersten Tag, neunhundert Angriffe an den Tag.

00:18:02: Neunhunder bis tausend je nach Quelle.

00:18:05: und wenn man sich das mal ausrechnet wie viele Angrife die KI quasi vorgeschlagen hat da muss ja der Mensch, der dahinter steht muss immer sagen finde ich einen guten Vorschlag oder finde ich einem schlechten Vorschlag?

00:18:18: Und früher nur schon vor zwanzig Jahren saßen ganze Teams über die Karten gebeugt und haben entschieden Das greifen wir an, das greifen nicht an.

00:18:27: Und jetzt wird einem das ja vorgeschlagen und da bleiben ja nur – so liest man – wenige Sekunden zum Teil um zu entscheiden, setzen wir um oder nicht?

00:18:37: Zu was hat das jetzt geführt?

00:18:39: diese Schnelligkeit bezüglich dem moralischen und ethischen Verhalten bei Armeen die jetzt diese KI anwenden?

00:18:49: Ja!

00:18:49: Man muss ja immer sehen dass der Mensch eingebettet ist ein gewisses System einer gewissen Logik.

00:18:56: Und eingebattet in diese sehr schnellen Strukturen muss man sich wirklich realistisch fragen, welche Handlungsfähigkeit, moralische Handlungsähigkeit hat der Mensch denn eigentlich noch?

00:19:10: In dieser Schnittstelle Menschmaschine.

00:19:12: also der Mensch ist kognitiv dem Entscheidungsprozess der KI gar nicht gleichgestellt und das ist ja auch die Absicht.

00:19:19: Hat aber die Tendenz, die Entscheidung der Maschine nicht zu hinterfragen?

00:19:24: Auch gar nicht die Kapazität oder die Zeit oder die Wissensgrundlage ist so richtig gründlich.

00:19:29: zur Hinterfrage Und da sind wir bei diesem sogenannten Automation Bias Da gibt es zahlreiche Studien dazu, genau diese Tendenzen belegen dass wir einfach nicht so gut damit ausgerüstet sind Die Maschinenentscheidung zu hinter fragen.

00:19:44: Es ist schwierig, da zu sagen ja der Mensch hat völlige Kontrolle über das System ganz speziell wenn natürlich das System ohnehin hierarchisch dem Menschen übergeordnet ist.

00:19:59: Es ist immer so dass man das Gefühl hat es gibt die KI die KI wird eingesetzt weil wir als menschen ja eigentlich viel zu langsam sind.

00:20:06: also das heißt zusammengefasst aber wenn du das mit dem automation bayes gesagt hast also es ist wirklich ein abschieben der verantwortung

00:20:13: Ja, zu einem gewissen Maß auf jeden Fall.

00:20:15: Also es ist auch so dass man weiß das wenn der Mensch in einer Systemlogik quasi eingebettet ist, dass man sich eher von dem moralischen distanzieren kann.

00:20:27: Dass man das Gefühl hat gut man ist Teil einer Entscheidungskette aber man spürt den Moment der moralischen Entscheidung einfach nicht mehr sondern man ist teil einer funktionellen Kette sozusagen.

00:20:40: Also das ist schon auch immer so, dass man da eingebettet ist.

00:20:44: und wenn man eingebattet ist es wieder das Problem, dass die Systemlogik wahrscheinlich dominant wird.

00:20:51: also eingebättet in diese digitalen Strukturen muss man hinterfragen zu welchem Maß wir die Technologie überhaupt... also diese spezielle Technologie als pures Instrument benutzen können oder inwieweit unser eigenes Handeln, unser Denken unsere Vorstellungen auch Rechtfertigung zu den Handlungen von den technologischen Strukturen und Logiken also hier die KI geformt werden.

00:21:17: Oder beeinflusst werden zumindest zu einem gewissen Maß.

00:21:20: man kennt es ja aus der Philosophie der Technologie dass wir wissen das alle Instrumente Technologien mit denen wir uns umgeben auf eine gewisse Art auch wieder beeinflussen.

00:21:32: Also sie machen manche Sachen möglich und manche Dinge unmöglich, bei der KI ist es gar nicht anders vielleicht sogar noch viel mehr aktuell weil die ja quasi ein Aspekt des Menschen Denkens sozusagen übernimmt obwohl die KI selber nicht denkt wie ein Mensch.

00:21:50: Was man ja auch dazu sagen muss ist, wenn ich das richtig verstehe, dass bei westlichen Armeen oder vor allem in NATO-Strukturen ist es so, dass die Kommandostruktur sehr dezentral organisiert ist.

00:22:01: Man will eigentlich, dass wenn ein Kommandeur auf dem Feld einen Befehl erhält, dass er diesen Befeil theoretisch hinterfragt und eine Diskussion entsteht.

00:22:15: KI ist wie quasi... Nicht in dieser Struktur integriert.

00:22:18: Das führt ein Eigenleben und führt dazu, dass man es dann irgendwie wie akzeptiert?

00:22:23: Ja die Welt für einen KI-System ist eine Welt der Objekte ob das jetzt Menschen sind oder ob das Panzer sind oder Bäume.

00:22:32: Es geht um Datenpunkte, es geht um Umrisse.

00:22:35: alle Ziele müssen buchstäblich objektiviert werden.

00:22:40: also es sind keine Menschen sondern Musterdaten.

00:22:42: basierende Parameter sind da im Vordergrund gerückt und das entfremdet natürlich den Kontext.

00:22:51: Und wenn dann die Hierarchie so angesetzt ist, dass die KI-Entscheidung als besser wahrgenommen wird als die menschliche Entscheidung aber die KI Entscheidungen kann ja nur verdinglichen sozusagen also alles als Objekt erkennen und keine Zusammenhänge die wir als bedeutungsvoll erkennen würden.

00:23:10: Genau, viel Distanz.

00:23:11: Dann

00:23:12: menschliche Beziehungen oder politische Gruppen oder irgendwas was wichtig wäre um moralischer Handlung entscheiden zu können oder Entscheidung treffen zu können all das kann die KI nicht wird aber gesehen als könnte sie es.

00:23:29: und genau da ist wieder dieses dieses Umschwänken zur Priorisierung von der Systemlogik am Laufen und dann birgt quasi die Gefahr, dass Gewaltanwendung als Workflow-Management missverstanden wird.

00:23:46: Dass es darum geht mehr Ziele anzugreifen, dass sich plötzlich um Zielquoten geht, dass plötzlich darum geht das Ziele nicht ausgehen in Anführungszeichen also was das Ziel schlussendlich bedeutet wird zur Nebensache Und das ist so ein ganz abstrierte und vielleicht auch ein bisschen subvertierte Art der Kriegsführung, die dann schlussendlich meines Erachtens dazu führt, dass die Gewalt im Krieg ausgeweitet wird.

00:24:14: Dass sie in größerem Umfang und zu einem großen Maß erlaubt wird und dadurch die Kriege der Zukunft brutaler und tödlicher

00:24:25: werden.".

00:24:27: Also KI macht die Welt nicht sicherer?

00:24:30: Nein, also man muss auch sehen was man so in den letzten fünf Jahren gesehen hat.

00:24:34: Das ist tatsächlich nach wie vor so dass die Anzahl der zivilen Todesopfer in den Kriegen in den Letzten fünf Jahren sehr hoch ist.

00:24:42: ob das jetzt Israel-Gaser ist wo es natürlich extrem hoch angesetzt ist Ob das jetzt Russland und Ukraine ist was auch ein extrem brutaler Krieg ist das darf man nicht missverstehen.

00:24:54: hinter all dem ja Ideen der Innovation in der Kriegsführung und der Effizienz der Drohnen.

00:24:59: Es ist nach wie vor geht es um Menschenleben, viele Menschen sind dort verstorben.

00:25:04: Es gibt auch viele Verletzte

00:25:06: usw.,

00:25:06: die Brutalität des eigentlichen Krieges muss man nach wie vorher sehen und seit die KI irgendwie ins Spiel kam hat sich das auch nicht verbessert.

00:25:16: also dieses Argument dass Algorithmen rationaler sind als Menschen und dadurch der Krieg weniger schlimm wird oder gar Menschlicher wird es für mich nicht nur ein Irrglaube, sondern ist irgendwie auch ein Ablenkungsmanöver.

00:25:30: Es gibt keine solide Beweislage dafür.

00:25:33: Zweitens sind immer wieder Menschen die solche Systeme ja schlussendlich einsetzen und diese Systeme machen schlossendlich das Töten einfacher.

00:25:41: also in dem Sinne muss man wirklich mit sich selbst ehrlich sein und muss auch gucken was die letzten fünf Jahre so passiert ist.

00:25:48: wir sind jetzt im zweiten Jahrzehnte der digitalen Technik.

00:25:51: Wir wissen, dass es Algorithmen verwaffnete Systeme eigentlich schon länger gibt.

00:25:56: Aber immer wieder sehen wir das es nicht ethischer zugeht sondern dass es größere moralischen Herausforderungen bringt und dass es uns kollektiv Unsicherer macht.

00:26:10: Aber Elke, das schreit ja nach Reguliero!

00:26:13: Absolut Ja.

00:26:15: Was muss jetzt dringendst?

00:26:17: Ich sage jetzt einfach mal dringends geklärt werden?

00:26:20: in den nächsten Jahren, deiner Meinung

00:26:21: nach?

00:26:22: Auf jeden Fall braucht es einen ganz robusten relativ schnell agilen multilateralen Ansatz.

00:26:29: Es kann nicht so sein dass die USA selbst und die US-Technologiefirmen das für uns alle entscheiden wo die roten Linien gesetzt werden und welche Richtlinie wir brauchen bindenden Regelwerke es geben muss.

00:26:44: Ansonsten ist es wirklich so, dass die Technologiebranche eine unglaubliche Macht auch über einzelne Staaten bekommen könnte eventuell welche diese Produkte benutzen aber auch benutzen müssen und denn eigentlich nicht genug Einfluss haben darauf ja welche Grenzen gesetzt werden sollen.

00:27:01: also es braucht verschiedene Foren zusammen.

00:27:04: mit autonomen Waffen geht das schon seit zehn Jahren Bereich von den CCW, das kann ich wie es auch Deutsch heißt, in Genf.

00:27:12: Konventionelle Waffen?

00:27:14: Genau!

00:27:15: Zweimal im Jahr trifft man sich dort um das Thema Fallout-Nummer-Waffen zu besprechen.

00:27:20: Man macht... Ja, Fortschritte sind sehr langsam ist es sehr politisch natürlich aber es gibt verschiedene Foren.

00:27:25: Es gibt internationale Foren wie das Responsible AI and the Military Domain Reaim dass sich jetzt dieses Jahr im dritten Jahr getroffen hatte.

00:27:34: verschiedenen Staaten kommen dann zusammen um zu besprechen, welche Prinzipien man verfolgen möchte wenn es darum geht wirklich verantwortungsvolle KI fürs Militär zu machen.

00:27:45: Es sind aber alles ja volontäre Aktionen.

00:27:49: das ist jetzt nicht so dass man ein Regelwerk hat was dann ordentlich rechtlich bindend ist.

00:27:54: aber es ist ganz wichtig diese Normen zu setzen.

00:27:56: vielleicht kann man einfach sagen man möchte kollektiv vielleicht vermeiden, dass KI-Systeme eingesetzt werden menschliche Ziele zu erfassen und vorzuschlagen.

00:28:05: Und dann auch schnell zu bearbeiten.

00:28:07: Man muss sich darauf einigen zu sagen, vielleicht sollte man keine KI Systeme dafür verwenden das Massenüberwachung gemacht werden soll weil genau eines führt dann zum anderen und dann wird alles schneller als Handlungsgebiet gesehen wo man eingreifen muss.

00:28:22: also man hat da schon verschiedene Ideen

00:28:25: Wie man

00:28:26: KI regulieren könnte, man sagt zum Beispiel auch es sollte viel transparenter zugehen.

00:28:29: Man muss verfolgen können welche Datensätze benutzt wurden auf welche Datensätzen verschiedene Entscheidungsvorschläge beruhen.

00:28:38: KI-Systeme sollten auf jeden Fall auch einschränkbar sein.

00:28:43: also es gibt da verschiedene Arten und Weisen auf welchen man sagen kann hier setzen wir an auf jeden fall normativ gesehen wo man sagt das möchten wir eigentlich nicht für unsere kollektive Zukunft.

00:28:55: Aber wenn ich jetzt dir so zuhöre und mir das so vorstelle, wie man über Prinzipien diskutiert irgendwo in Genf.

00:29:02: Und gleichzeitig an die Schnelligkeit denke, wie die Industrie- und Silicon Valley da gepusht und ständig neue Produkte herausbringt, dann sehe ich eine große Diskrepanz.

00:29:13: Ja, absolut.

00:29:13: Und die Ideengrundlage von Silicon Valley an den Technologieunternehmen ist auf jeden Fall auch Geschwindigkeit und neue Produkte auf den Markt bringen war schon immer die Essens also das Grundlagenpräzit von Silicon valley.

00:29:27: Das weiß man nur.

00:29:28: dadurch können eben diese Returns diese Profite entstehen.

00:29:32: in der Zwischenzeit ich sage in der zwischenzeit aber es geht auch schon seit zwei Jahrzehnten so dass man weiß dass verschiedene Konzerne um verschiedene Firmen sehr prominente Firmen ganz speziell darauf ausgelegt haben, die Staaten zu beeinflussen in ihrer Perspektive und dass eben diese Idee des Mandats der Geschwindigkeit sich jetzt auch fest setzt wo die Staate selbst dann sagen oder wir müssen es unbedingt machen.

00:29:58: Wir müssen schnell die Akquise ändern.

00:30:01: Wir brauchen Systeme relativ schnell also.

00:30:05: es wurde zwanzig Jahre lang auf jeden Fall zehn jahrelang große Lobbyarbeit geleistet Initiativen ist Leben gerufen, um diese Narrative zu produzieren.

00:30:15: Dass die Zukunft des Krieges KI ist und dass jeder auf jeden Fall jetzt diesen digitalen Tsunami ernst nehmen muss und idealerweise meistern kann.

00:30:27: Was es aber bedeutet wenn man so sich ein bisschen raus nimmt?

00:30:30: Und welche Art der Zukunftsvision das für uns vorbereitet?

00:30:35: Das ist eine wichtige Frage, die oftmals gar nicht mehr gestellt wird.

00:30:38: Die Frage wird ja auch nicht mehr so sehr gestellt, wie man mit seinen Feinden ohne Gewaltanwendung klarkommen kann.

00:30:46: Welche anderen politischen Möglichkeiten es eigentlich gibt damit Konflikt vermieden werden kann bevor er überhaupt entsteht sodass keine Gewalt angewendet werden muss.

00:30:56: also diese Ideen drücken immer mehr in den Hintergrund und zum Teil wird das auch von diesen sehr prominenten Firmen unterstützt, dass diese Ideen der Nichtgewaltanwendung in den Hintergrund rücken und der Krieg oder der Konflikt vielleicht sogar schon zelebriert wird.

00:31:16: Okay das sind sehr, sehr deutliche Aussagen von dir eine klare Haltung von dir.

00:31:21: ich bin sicher, dass die Leute im Silicon Valley dem auch widersprechen würden.

00:31:27: was ich mich am Ende trotz allem frage wir haben jetzt Eine gute halbe Stunde, sehr kritisch über die Verwendung von KI im Krieg gesprochen.

00:31:36: Ich weiß das würde jetzt eine ganze Sendung öffnen aber vielleicht zum Schluss damit wir auch etwas Positives mitnehmen.

00:31:43: gibt es denn etwas wo du sagst hier hilft KI in Krieg?

00:31:50: Also ich möchte auf jeden Fall sagen dass es ganz tolle Anwendungen von KI gibt auch im militärischen Bereich und man muss dazu sagen wenn man die Systeme kennenlernt kann man gut einschätzen, wozu die KI total toll ist und wozu nicht.

00:32:04: Also man kann sich sehr gut vorstellen dass zum Beispiel der Sprachaustausch mit KI-Übersetzung einfacher wird.

00:32:11: also gibt es sicher unzählige Anwendungen und ich möchte auch ganz klar betonen das ich die Startups in Silicon Valley auch nicht alle übereinkamischieren möchte.

00:32:20: da gibt's ganz tolle Firmen, gibt's unglaublich interessante Innovationen auch nicht nur im KI Bereich aber das ist ganz klar und das ist auch wahnsinnig wichtig das zu erwähnen.

00:32:30: Und es gibt auch unglaublich wichtige neue Startups, die essentiell sind oder waren für den Ukraine-Russland Krieg oder für Ukraine darin, dass sie sich verteidigen kann – auch Ukraine selbst hat unglaublich interessante Startups!

00:32:44: Das möchte ich gar nicht über einen Kamm scheren.

00:32:46: Aber man sieht natürlich auch sehr starke Stimmen immer wieder prominent diese Diskussion zum Konflikt, zur Technologie zu diesem Arms-Race.

00:32:57: Zu dem Druck das man schnell handeln muss.

00:33:00: Die sieht man auch immer wieder prominent und da setze ich meine Kritik hauptsächlich an aber generell die KI interessant solang wir als Menschen unsere Grenzen kennen und wir als menschen auch die Grenzen der KI kennen.

00:33:14: Liebe Elke vielen Dank für deine Ausführungen sehr interessant und ich glaube werden uns in den nächsten Monaten ja noch sehr, sehr intensiv mit dem Thema auseinandersetzen müssen.

00:33:23: Ich

00:33:23: fühle dich da auch!

00:33:24: Danke liebe Grüße nach London.

00:33:26: Okay danke!

00:33:30: Das war NZZ Geopolitik das große ganze Verstehen heute zur Frage welche Folgen der Einsatz von KI im Krieg hat.

00:33:39: ein Gast war die Ökonomien und Politphilosophin Elke Schwarz von der Queen Mary Universität in London.

00:33:47: Der Iran-Krieg und seine Folgen werden sicher auch Thema sein wenn wir mit dem Naostexperten Richard Schneider eine Folge live aufnehmen.

00:33:56: Ich hoffe, wir sehen uns dann am XXI.

00:33:58: April im Berner Theater in Zürich.

00:34:00: Den Fuss dazu findet ihr in den Shownotes.

00:34:04: Bis dahin und danke fürs Zuhören sagt David Vogel.