WEBVTT 00:00:05.810 --> 00:00:09.650 Herr Mondschein, bevor wir anfangen, muss ich Ihnen etwas gestehen. 00:00:10.000 --> 00:00:11.350 Das klingt nach Smart Home. 00:00:11.700 --> 00:00:13.510 Es ist nicht das Smart Home. 00:00:13.510 --> 00:00:14.830 Also, nicht direkt. 00:00:14.830 --> 00:00:16.700 Es ist meine neue Türklingel. 00:00:16.700 --> 00:00:21.490 Die hat eine Kamera mit KI-Gesichtserkennung und ist mit dem Türschloss verbunden. 00:00:21.490 --> 00:00:24.950 Wenn ich nach Hause komme, erkennt sie mich und macht auf. 00:00:24.950 --> 00:00:26.770 Nie wieder Schlüssel suchen! 00:00:27.120 --> 00:00:28.060 Und? 00:00:28.410 --> 00:00:31.930 Und seit Dienstag erkennt sie meinen Paketboten als Bewohner. 00:00:33.180 --> 00:00:33.880 Sie meinen … 00:00:33.960 --> 00:00:35.130 Sie macht ihm auf. 00:00:35.130 --> 00:00:37.720 Er stellt die Pakete jetzt direkt in den Flur. 00:00:37.720 --> 00:00:39.700 Ehrlich gesagt: ein super Service. 00:00:40.050 --> 00:00:41.000 Herr Sommer. 00:00:41.000 --> 00:00:49.040 Sie haben gerade in einem öffentlich zugänglichen Podcast erzählt, dass Ihre Haustür jeden hereinlässt, der Ihrem Paketboten ähnlich sieht. 00:00:49.890 --> 00:00:50.310 … 00:00:50.310 --> 00:00:53.330 Ich habe sie heute Morgen abgeschaltet. 00:00:53.680 --> 00:00:54.220 Sicher? 00:00:54.570 --> 00:00:55.480 Ziemlich sicher. 00:00:56.530 --> 00:00:57.390 Wahrscheinlich. 00:01:03.550 --> 00:01:11.770 Herzlich willkommen zu „Pro und Contra“, dem Podcast, in dem wir jede Woche die KI- und IT-Nachrichten von zwei Seiten betrachten. 00:01:11.770 --> 00:01:15.180 Ich bin Sommer, und ich schaue auf die Sonnenseite. 00:01:15.530 --> 00:01:17.190 Und ich bin Mondschein. 00:01:17.190 --> 00:01:18.920 Ich schaue auf den Rest. 00:01:19.270 --> 00:01:27.780 Wir haben uns wie immer angeschaut, welche Themen in den letzten sieben Tagen die meisten Wellen geschlagen haben, in den Medien und in den sozialen Netzwerken. 00:01:27.780 --> 00:01:31.750 Und diese Woche, Herr Mondschein, das muss man sagen, war keine leichte. 00:01:32.100 --> 00:01:32.530 Nein. 00:01:32.530 --> 00:01:34.300 Ausnahmsweise übertreiben Sie nicht. 00:01:34.650 --> 00:01:41.520 Wir sprechen heute über einen Chatbot, der beinahe einen Zwischenfall zwischen den USA und China ausgelöst hätte. 00:01:41.520 --> 00:01:46.070 Über einen UN-Bericht, in dem es um KI bei der Zielauswahl im Krieg geht. 00:01:46.070 --> 00:01:49.680 Das ist ein ernstes Thema, und wir nehmen uns dafür Zeit. 00:01:49.680 --> 00:01:54.700 Dann über KI-Agenten, die für rund 25 Dollar pro Ziel in Online-Shops einbrechen. 00:01:54.700 --> 00:01:57.730 Über die Frage, ob der KI-Boom eine Blase ist … 00:01:57.810 --> 00:01:58.410 Ist er. 00:01:58.750 --> 00:02:00.170 Dazu kommen wir noch. 00:02:00.170 --> 00:02:03.920 Und zum Schluss: Google will Rechenzentren ins Weltall schießen. 00:02:04.270 --> 00:02:05.820 Natürlich will Google das. 00:02:06.170 --> 00:02:06.980 Los geht's. 00:02:15.310 --> 00:02:20.500 Wir fangen mit der Geschichte an, die diese Woche am meisten Staub aufgewirbelt hat. 00:02:20.500 --> 00:02:21.140 Am 18. 00:02:21.140 --> 00:02:32.220 September hat CNN exklusiv berichtet, gestützt auf vier anonyme Quellen: Im Frühjahr, mitten im Iran-Krieg, hätte das US-Militär beinahe ein chinesisches Schiff im Nahen Osten geentert. 00:02:32.220 --> 00:02:36.890 Bewaffnete Kräfte standen bereit, Militärflugzeuge waren schon in der Luft. 00:02:36.890 --> 00:02:43.130 Laut einem Geheimdienstbericht sollte das Schiff Komponenten für ein Atomwaffenprogramm an Bord haben. 00:02:43.480 --> 00:02:45.740 Und das stimmte nicht. 00:02:46.090 --> 00:02:47.230 Das stimmte nicht. 00:02:47.230 --> 00:02:51.310 Ein Analyst hatte einen Chatbot zu Meldungen über das Frachtmanifest befragt. 00:02:51.310 --> 00:02:58.180 Der Chatbot hat öffentlich zugängliche Informationen mit geheimer Funkaufklärung verknüpft und daraus einen falschen Schluss gezogen. 00:02:58.180 --> 00:03:00.280 Er hat halluziniert, wie man so sagt. 00:03:00.630 --> 00:03:01.330 Und dann? 00:03:01.680 --> 00:03:09.100 Und dann hat der Analyst die KI ein zweites Mal benutzt, um aus dem Ergebnis einen ordentlichen Geheimdienstbericht zu machen. 00:03:09.100 --> 00:03:11.990 Im Standardformat, so wie Militärs ihn kennen. 00:03:11.990 --> 00:03:13.520 Und dem sie vertrauen. 00:03:14.770 --> 00:03:16.360 Die Maschine irrt sich. 00:03:16.360 --> 00:03:21.990 Dann bügelt dieselbe Maschine den Irrtum glatt, zieht ihm eine Uniform an und schickt ihn los. 00:03:21.990 --> 00:03:26.420 Ein Fachmagazin hat das „Authority Laundering“ genannt, Autoritätswäsche. 00:03:26.420 --> 00:03:30.680 Der Fehler wird so lange gewaschen, bis er aussieht wie eine Tatsache. 00:03:31.030 --> 00:03:34.270 Aber, Herr Mondschein, und jetzt kommt mein Punkt … 00:03:34.350 --> 00:03:35.680 Ich wusste, dass das kommt. 00:03:36.030 --> 00:03:37.260 Natürlich kommt das! 00:03:37.260 --> 00:03:38.500 Weil es wichtig ist. 00:03:38.500 --> 00:03:39.830 Es ist nicht passiert. 00:03:39.830 --> 00:03:44.520 Kurz vor der geplanten Operation haben sich Verantwortliche den Bericht genauer angesehen. 00:03:44.520 --> 00:03:48.220 Sie haben gemerkt, dass er mit KI erzeugt war, und die Sache gestoppt. 00:03:48.220 --> 00:03:50.980 Die menschliche Kontrolle hat am Ende funktioniert. 00:03:51.330 --> 00:03:54.190 Herr Sommer, „beinahe“ ist kein Sicherheitskonzept. 00:03:54.190 --> 00:03:56.740 Ich war lange genug Sicherheitsadministrator. 00:03:56.740 --> 00:04:06.290 Wenn bei uns jemand gesagt hätte: „Der Server ist beinahe gehackt worden, aber am Ende hat es der Praktikant noch gemerkt“, dann hätte niemand gesagt: Prima, das System funktioniert. 00:04:06.290 --> 00:04:09.150 Wir hätten gefragt: Warum hing das am Praktikanten? 00:04:09.500 --> 00:04:13.230 Aber die Alternative ist doch nicht, dass Menschen fehlerfrei sind. 00:04:13.230 --> 00:04:15.820 Geheimdienste haben sich auch ohne KI geirrt. 00:04:15.820 --> 00:04:16.860 Denken Sie an … 00:04:16.940 --> 00:04:19.220 1993. 00:04:19.570 --> 00:04:21.640 Ich wollte eigentlich Irak sagen. 00:04:21.990 --> 00:04:24.490 Den Irak hätte ich Ihnen auch gegeben. 00:04:24.490 --> 00:04:26.120 Aber 1993 passt besser. 00:04:26.120 --> 00:04:30.720 Da hat die US-Marine das chinesische Containerschiff „Yinhe“ festgehalten. 00:04:30.720 --> 00:04:36.260 Nach Geheimdienstinformationen sollte es Vorprodukte für Chemiewaffen in den Iran bringen. 00:04:36.260 --> 00:04:38.180 Das Schiff lag 24 Tage fest. 00:04:38.180 --> 00:04:39.930 Gefunden hat man: nichts. 00:04:40.280 --> 00:04:41.920 Ganz ohne KI. 00:04:42.270 --> 00:04:43.360 Ganz ohne KI. 00:04:43.360 --> 00:04:52.460 Chinesische Medien haben diese Woche genau diesen Fall wieder hervorgeholt: Der Yinhe-Zwischenfall, schreiben sie, hätte sich beinahe wiederholt. 00:04:52.810 --> 00:04:55.180 Na bitte, das ist doch mein Argument. 00:04:55.180 --> 00:04:57.050 Menschen halluzinieren auch. 00:04:57.050 --> 00:04:59.360 Sie nennen es nur „Lagebeurteilung“. 00:04:59.710 --> 00:05:01.070 Das ist gut. 00:05:01.070 --> 00:05:03.300 Das ist sogar sehr gut. 00:05:03.300 --> 00:05:06.170 Aber es gibt einen Unterschied. 00:05:06.170 --> 00:05:10.950 Einen Analysten kann man fragen: Wie kommen Sie darauf? 00:05:10.950 --> 00:05:12.470 Welche Quelle? 00:05:12.470 --> 00:05:14.540 Wer hat gegengelesen? 00:05:14.540 --> 00:05:22.990 Hier weiß man bis heute nicht einmal, welcher Chatbot es war, ein kommerzieller oder ein staatlicher. 00:05:22.990 --> 00:05:26.740 Und wissen Sie, was mich am meisten stört? 00:05:26.740 --> 00:05:29.690 Das Wort „Halluzination“ selbst. 00:05:30.040 --> 00:05:32.810 Wieso das? 00:05:33.160 --> 00:05:34.610 Weil es so harmlos klingt. 00:05:34.610 --> 00:05:35.500 So menschlich. 00:05:35.500 --> 00:05:38.300 Als hätte die Maschine mal einen schlechten Tag gehabt. 00:05:38.300 --> 00:05:43.300 Ein Fehler, der beinahe einen Zwischenfall zwischen zwei Atommächten auslöst, ist keine Halluzination. 00:05:43.300 --> 00:05:44.750 Das ist ein Produktfehler. 00:05:45.100 --> 00:05:45.630 Da … 00:05:45.630 --> 00:05:46.230 okay. 00:05:46.230 --> 00:05:48.000 Da haben Sie einen Punkt. 00:05:48.000 --> 00:05:49.780 Das Wort ist zu niedlich. 00:05:49.780 --> 00:05:51.030 Das gebe ich zu. 00:05:51.380 --> 00:05:52.450 Notieren Sie das bitte. 00:05:52.800 --> 00:05:53.700 Ist notiert. 00:05:53.700 --> 00:05:57.700 Aber lassen Sie mich eine Gegenfrage stellen: Was ist die Alternative? 00:05:57.700 --> 00:06:03.940 Satellitenbilder, Schiffsbewegungen, abgefangene Kommunikation: Diese Datenmengen kann kein Mensch mehr sichten. 00:06:03.940 --> 00:06:08.200 Wenn man die KI da herausnimmt, dann sieht man nicht mehr, sondern weniger. 00:06:08.550 --> 00:06:12.950 Das ist das stärkste Argument, das Sie haben, und ich nehme es ernst. 00:06:12.950 --> 00:06:19.240 Aber dann muss man ehrlich sagen, wofür die KI da ist: als Filter, der sagt „Schau hier genauer hin“. 00:06:19.240 --> 00:06:22.870 Nicht als Quelle, die sagt „Hier ist Atomwaffentechnik“. 00:06:22.870 --> 00:06:24.710 Das eine ist ein Spürhund. 00:06:24.710 --> 00:06:26.610 Das andere ist ein Richter. 00:06:26.960 --> 00:06:28.420 Spürhund, nicht Richter. 00:06:28.420 --> 00:06:30.140 Das unterschreibe ich sofort. 00:06:30.490 --> 00:06:33.060 Da sind wir uns ja erstaunlich schnell einig. 00:06:33.060 --> 00:06:37.390 Nur hat das Pentagon im Januar eine Strategie ausgerufen, die „AI-first“ heißt. 00:06:37.390 --> 00:06:41.720 Die neuesten Modelle sollen binnen 30 Tagen nach ihrem Erscheinen bereitstehen. 00:06:41.720 --> 00:06:47.810 Gleichzeitig gibt es laut CNN keinen einheitlichen Standard dafür, wie man prüft, was diese Werkzeuge ausspucken. 00:06:47.810 --> 00:06:52.290 Eine Quelle hat es so gesagt: Mit KI kommt man schneller zu einer schlechten Idee. 00:06:52.640 --> 00:06:54.530 Moment, jetzt kommt mein Pro. 00:06:54.530 --> 00:06:56.800 Der Vorfall ist öffentlich geworden. 00:06:56.800 --> 00:07:01.450 Drei US-Senatoren verlangen jetzt, dass die Generalinspekteure das untersuchen. 00:07:01.450 --> 00:07:02.840 So entstehen Regeln. 00:07:03.190 --> 00:07:04.680 So entstehen Regeln, ja. 00:07:04.680 --> 00:07:07.830 Meistens nach dem Unfall, nicht nach dem Beinahe-Unfall. 00:07:07.830 --> 00:07:10.860 Man sagt, das Luftfahrtrecht ist mit Blut geschrieben. 00:07:10.860 --> 00:07:14.260 Ich hätte gern, dass das KI-Recht mit Tinte geschrieben wird. 00:07:14.610 --> 00:07:17.300 Das ist ein schöner Satz. 00:07:17.650 --> 00:07:19.530 Den habe ich mir vorher aufgeschrieben. 00:07:19.880 --> 00:07:21.050 Ehrlich wenigstens. 00:07:21.050 --> 00:07:26.460 Und fairerweise muss man sagen: Die ganze Geschichte beruht auf anonymen Quellen einer einzigen Redaktion. 00:07:26.460 --> 00:07:28.420 Das Pentagon hat nicht geantwortet. 00:07:28.420 --> 00:07:32.460 Und Chinas Außenministerium sagt: „Mir ist nicht bekannt, wovon Sie sprechen.“ 00:07:32.810 --> 00:07:36.360 Wissen Sie, welcher Tag gestern war, Herr Sommer? 00:07:36.710 --> 00:07:37.390 Samstag? 00:07:37.740 --> 00:07:38.440 Der 26. 00:07:38.440 --> 00:07:39.330 September. 00:07:39.330 --> 00:07:39.970 Am 26. 00:07:39.970 --> 00:07:45.970 September 1983 meldete das sowjetische Frühwarnsystem fünf anfliegende amerikanische Atomraketen. 00:07:45.970 --> 00:07:50.910 Der diensthabende Offizier hieß Stanislaw Petrow, und er hat es nicht geglaubt. 00:07:50.910 --> 00:07:56.840 Ein Erstschlag mit nur fünf Raketen ergab für ihn keinen Sinn, und das Bodenradar zeigte nichts. 00:07:56.840 --> 00:07:59.370 Es waren Sonnenreflexionen auf Wolken. 00:07:59.720 --> 00:08:01.940 Ein Mensch, der gesagt hat: Moment. 00:08:02.290 --> 00:08:04.700 Ein Mensch, der Zeit hatte, „Moment“ zu sagen. 00:08:04.700 --> 00:08:05.740 Das ist der Kern. 00:08:05.740 --> 00:08:07.590 KI macht Entscheidungen schneller. 00:08:07.590 --> 00:08:09.620 In der Wirtschaft ist das ein Vorteil. 00:08:09.620 --> 00:08:14.020 Im Militär ist Langsamkeit manchmal das Einzige, was zwischen uns und einem Krieg steht. 00:08:14.970 --> 00:08:20.080 Die Senatoren sprechen in ihrem Brief übrigens von zwei solchen Fällen allein in diesem Jahr. 00:08:20.080 --> 00:08:22.740 Und damit sind wir leider beim nächsten Thema. 00:08:22.740 --> 00:08:25.770 Denn der andere Fall ist nicht „beinahe“ ausgegangen. 00:08:27.120 --> 00:08:27.790 Am 28. 00:08:27.790 --> 00:08:37.000 Februar, dem ersten Tag des Iran-Kriegs, hat ein amerikanischer Tomahawk-Marschflugkörper eine Grundschule in Minab getroffen, im Süden des Iran. 00:08:37.000 --> 00:08:39.520 Vormittags, während des Unterrichts. 00:08:39.520 --> 00:08:42.220 Mindestens 156 Menschen sind gestorben. 00:08:42.220 --> 00:08:44.250 Rund 120 davon waren Kinder. 00:08:45.500 --> 00:08:50.310 Mitte September hat die UN-Untersuchungsmission zu Iran ihren Bericht vorgelegt. 00:08:50.310 --> 00:08:58.730 Das ist ein Gremium des UN-Menschenrechtsrats, eingesetzt 2022 nach der Niederschlagung der Proteste im Iran, inzwischen mit erweitertem Mandat. 00:08:58.730 --> 00:09:05.180 Die Mission sieht hinreichende Gründe für die Annahme, dass die USA hier ein Kriegsverbrechen begangen haben. 00:09:05.530 --> 00:09:09.430 Die Schule gehörte früher zu einem Gelände der Revolutionsgarden. 00:09:09.780 --> 00:09:10.470 Früher. 00:09:10.470 --> 00:09:14.130 Sie war spätestens seit etwa 2016 baulich davon abgetrennt. 00:09:14.130 --> 00:09:18.530 In der Zieldatenbank stand sie trotzdem weiter als militärisches Objekt. 00:09:18.530 --> 00:09:25.610 Auf kommerziellen Satellitenbildern von 2018 sieht man bunt bemalte Mauern, einen Fußballplatz, Spielplatzmarkierungen. 00:09:25.610 --> 00:09:28.810 Die UN-Mission sagt: Die Schule war klar erkennbar. 00:09:28.810 --> 00:09:33.620 Und dass niemand die Daten aktualisiert hat, sei mehr als bloße Fahrlässigkeit. 00:09:33.970 --> 00:09:38.570 Und dann kommt der Teil, der uns in diesem Podcast betrifft. 00:09:38.920 --> 00:09:39.360 Ja. 00:09:39.360 --> 00:09:40.760 Bloomberg hat am 18. 00:09:40.760 --> 00:09:45.790 September aus einer internen, unveröffentlichten Untersuchung des Pentagon berichtet. 00:09:45.790 --> 00:09:48.760 Demnach gab es eine Kaskade vermeidbarer Fehler. 00:09:48.760 --> 00:09:57.090 Einer davon: Das Personal hat sich zu stark auf Maven verlassen, das KI-System der Firma Palantir, das dem US-Militär bei der Zielauswahl hilft. 00:09:57.090 --> 00:10:02.340 Die Leute gingen davon aus, dass Maven veraltete Daten oder Widersprüche markieren würde. 00:10:02.340 --> 00:10:05.030 Dafür war das System aber gar nicht gebaut. 00:10:05.380 --> 00:10:08.070 Herr Mondschein, ich sage es ganz offen. 00:10:08.070 --> 00:10:11.660 Das ist das Thema, bei dem mir meine Rolle schwerfällt. 00:10:12.010 --> 00:10:13.050 Das dürfen Sie sagen. 00:10:13.400 --> 00:10:15.780 Ich soll hier die Pro-Seite vertreten. 00:10:15.780 --> 00:10:19.250 Und ich will das auch, weil ich glaube, dass es eine gibt. 00:10:19.250 --> 00:10:23.280 Aber es fühlt sich falsch an, bei 120 toten Kindern „aber“ zu sagen. 00:10:23.630 --> 00:10:25.220 Dann sagen Sie kein „aber“. 00:10:25.220 --> 00:10:26.770 Sagen Sie, was Sie denken. 00:10:27.920 --> 00:10:36.420 Was ich denke, ist: Der falsche Eintrag stammte aus einer Datenbank des Militärgeheimdienstes, die jahrelang niemand aktualisiert hatte. 00:10:36.420 --> 00:10:41.720 Laut CNN gab es im Zielsystem sogar Warnhinweise, dass die Aufklärung veraltet ist. 00:10:41.720 --> 00:10:45.220 Kommandeure haben sie übergangen, aus Zweckmäßigkeit. 00:10:45.220 --> 00:10:47.030 Das ist kein Algorithmus. 00:10:47.030 --> 00:10:48.410 Das sind Menschen. 00:10:48.410 --> 00:10:51.310 Und veraltete Daten gab es auch vor der KI. 00:10:51.310 --> 00:10:57.150 1999 hat die NATO in Belgrad die chinesische Botschaft bombardiert, wegen veralteter Karten. 00:10:57.500 --> 00:10:58.460 Das stimmt alles. 00:10:58.810 --> 00:11:04.090 Und ich glaube, ich glaube wirklich, dass gut gebaute Systeme so etwas verhindern könnten. 00:11:04.090 --> 00:11:10.090 Palantir sagt, man habe Maven inzwischen genau darum ergänzt: Daten erneut prüfen, Widersprüche melden. 00:11:10.090 --> 00:11:17.310 Aktuelle Satellitenbilder mit einer Zieldatenbank abzugleichen, das kann eine Maschine besser als ein Mensch unter Zeitdruck. 00:11:18.360 --> 00:11:19.980 Aber ich will ehrlich sein. 00:11:19.980 --> 00:11:25.150 Ich habe nach Belegen gesucht, dass KI im echten Einsatz zivile Opfer tatsächlich verringert hat. 00:11:25.150 --> 00:11:26.620 Ich habe keine gefunden. 00:11:26.970 --> 00:11:28.400 Danke, dass Sie das sagen. 00:11:28.750 --> 00:11:30.450 „Gut gebaut.“ Ich weiß. 00:11:30.450 --> 00:11:32.220 An dem Wort hängt alles. 00:11:32.570 --> 00:11:34.190 An diesem Wort hängt alles. 00:11:34.190 --> 00:11:36.820 Und ich will Ihnen sagen, was mir Sorgen macht. 00:11:36.820 --> 00:11:38.840 Nicht, dass die Maschine sich irrt. 00:11:38.840 --> 00:11:42.580 Sondern was mit den Menschen passiert, die neben der Maschine sitzen. 00:11:42.580 --> 00:11:46.720 In den ersten 24 Stunden dieses Kriegs wurden über tausend Ziele angegriffen. 00:11:46.720 --> 00:11:50.200 Maven hat die Zielaufbereitung von Stunden auf Minuten verkürzt. 00:11:50.200 --> 00:11:56.470 Und gleichzeitig wurden die Teams, die zivile Schäden verhindern sollen, laut Bloomberg um rund 90 Prozent verkleinert. 00:11:56.470 --> 00:11:59.750 Beim zuständigen Regionalkommando von zehn Leuten auf einen. 00:12:01.000 --> 00:12:02.330 Von zehn auf einen. 00:12:02.680 --> 00:12:05.110 Mehr Tempo, weniger Prüfung. 00:12:05.110 --> 00:12:10.130 Das ist keine technische Entscheidung, das ist eine politische. 00:12:10.130 --> 00:12:19.800 Wenn Ihnen ein System tausend Ziele vorschlägt und fast alle stimmen, dann hören Sie irgendwann auf, jedes einzelne zu prüfen. 00:12:19.800 --> 00:12:21.790 Das ist keine Bosheit. 00:12:21.790 --> 00:12:23.560 Das ist menschlich. 00:12:23.910 --> 00:12:25.110 Automation Bias. 00:12:25.110 --> 00:12:28.520 Man vertraut der Maschine, weil sie meistens recht hat. 00:12:28.870 --> 00:12:29.470 Genau. 00:12:29.470 --> 00:12:32.070 Und dann verschiebt sich die Verantwortung. 00:12:32.070 --> 00:12:36.520 Palantir sagt, man sei nicht verantwortlich für die zugrunde liegenden Daten. 00:12:36.520 --> 00:12:39.660 Das Pentagon veröffentlicht seine Untersuchung nicht. 00:12:39.660 --> 00:12:42.970 Das Weiße Haus nennt den UN-Bericht „unseriösen Unsinn“. 00:12:42.970 --> 00:12:49.540 Rechtliche Folgen hat der Bericht zunächst keine, die USA sind nicht Mitglied des Internationalen Strafgerichtshofs. 00:12:49.540 --> 00:12:56.210 Und nach dem Drohnenangriff in Kabul 2021, zehn Zivilisten tot, darunter sieben Kinder, wurde am Ende niemand belangt. 00:12:56.210 --> 00:12:58.380 Am Ende ist niemand verantwortlich. 00:12:58.380 --> 00:12:59.950 Und die Kinder sind tot. 00:13:01.200 --> 00:13:04.870 Das ist das stärkste Argument gegen KI im Krieg, das es gibt. 00:13:04.870 --> 00:13:06.590 Diese Verantwortungslücke. 00:13:06.590 --> 00:13:08.820 Darauf habe ich keine gute Antwort. 00:13:09.170 --> 00:13:10.280 Ich auch nicht. 00:13:10.280 --> 00:13:16.230 Ich habe nur eine Forderung: Wer ein solches System verkauft, muss auch für seine Fehler geradestehen. 00:13:16.230 --> 00:13:18.060 Nicht nur für seine Erfolge. 00:13:18.060 --> 00:13:24.230 Und dann lese ich, was Joe Lonsdale, einer der Mitgründer von Palantir, diese Woche zu Reuters gesagt hat. 00:13:24.230 --> 00:13:26.850 Es sei sehr leicht, von außen zu urteilen. 00:13:26.850 --> 00:13:34.350 Vielleicht habe jemand 99 sehr gute Entscheidungen getroffen und dann eine schlechte, und die habe zu etwas Schrecklichem geführt. 00:13:35.600 --> 00:13:37.740 Neunundneunzig gute Entscheidungen. 00:13:37.740 --> 00:13:39.440 Ich verstehe, was er meint. 00:13:39.440 --> 00:13:43.500 Und trotzdem: Wer die Werkzeuge baut, muss die Folgen aushalten können. 00:13:43.500 --> 00:13:45.470 Und muss sie aussprechen können. 00:13:45.470 --> 00:13:47.120 Da bin ich ganz bei Ihnen. 00:13:47.470 --> 00:13:49.470 Eins noch, für alle, die zuhören. 00:13:49.470 --> 00:13:54.710 Im November treffen sich die Vertragsstaaten der UN-Waffenkonvention zur Überprüfungskonferenz. 00:13:54.710 --> 00:13:59.220 Dort soll entschieden werden, ob über Regeln für autonome Waffen verhandelt wird. 00:13:59.220 --> 00:14:00.890 Über 70 Staaten wollen das. 00:14:01.240 --> 00:14:05.640 Wobei Maven nach amerikanischer Lesart gar keine autonome Waffe ist. 00:14:05.640 --> 00:14:07.620 Nur eine Entscheidungshilfe. 00:14:08.670 --> 00:14:13.030 Ich glaube, mehr müssen wir dazu nicht sagen. 00:14:29.600 --> 00:14:33.790 Wir bleiben bei KI, die Schaden anrichtet, aber auf einem ganz anderen Feld. 00:14:33.790 --> 00:14:36.490 Herr Mondschein, das ist eigentlich Ihr Revier. 00:14:36.840 --> 00:14:38.480 Dann erzähle ich diesmal. 00:14:38.480 --> 00:14:43.250 Die Sicherheitsfirma Gambit Security hat am Dienstag einen Bericht veröffentlicht. 00:14:43.250 --> 00:14:50.320 Ein einzelner Angreifer, der seine Anweisungen auf Chinesisch gegeben hat, hat Online-Händler und andere Firmen angegriffen. 00:14:50.320 --> 00:14:51.850 Allein zwischen dem 10. 00:14:51.850 --> 00:14:52.730 und dem 15. 00:14:52.730 --> 00:14:59.090 September wurden mindestens 27 Unternehmen kompromittiert, darunter laut Gambit eine große US-Fluggesellschaft. 00:14:59.090 --> 00:15:01.660 Auf rund 120 Websites fand sich Schadcode. 00:15:01.660 --> 00:15:05.940 Und aus nur zwei Unternehmen stammen über 600.000 Kreditkartendatensätze. 00:15:06.290 --> 00:15:07.210 Wie? 00:15:07.560 --> 00:15:09.240 Mit sogenannten Skimmern. 00:15:09.240 --> 00:15:13.850 Das ist Code auf der Bezahlseite, der beim Bezahlen die Kartendaten mitliest. 00:15:13.850 --> 00:15:14.920 Ein alter Hut. 00:15:14.920 --> 00:15:21.100 Das hatten wir 2018 schon, bei British Airways: 22 Zeilen JavaScript, am Ende 20 Millionen Pfund Bußgeld. 00:15:21.450 --> 00:15:23.520 Klassisch so weit. 00:15:23.870 --> 00:15:25.120 Klassisch so weit. 00:15:25.120 --> 00:15:29.120 Neu ist, wer die Arbeit gemacht hat: drei frei verfügbare KI-Agenten. 00:15:29.120 --> 00:15:33.330 Einer sucht Schwachstellen, einer nutzt sie aus, einer steuert das Ganze. 00:15:33.330 --> 00:15:38.630 Dahinter stecken Sprachmodelle, GLM und DeepSeek aus China und Claude Opus 4.6 von Anthropic. 00:15:38.630 --> 00:15:43.390 Der Mensch gab kurze Anweisungen, danach arbeiteten die Agenten stundenlang allein. 00:15:43.390 --> 00:15:49.070 Und jetzt kommt die Zahl, die ich mir gemerkt habe: im Schnitt rund 25 Dollar Modellkosten pro Ziel. 00:15:49.420 --> 00:15:52.210 25 Dollar. 00:15:52.560 --> 00:15:56.290 Das ist weniger, als ein Handwerker für die Anfahrt nimmt. 00:15:56.290 --> 00:16:00.550 Die ganze Kampagne hat geschätzt 12.000 bis 18.000 Dollar gekostet. 00:16:00.550 --> 00:16:01.970 Für 600.000 Karten. 00:16:02.320 --> 00:16:03.990 Okay, das ist bitter. 00:16:03.990 --> 00:16:04.690 Aber … 00:16:04.770 --> 00:16:07.060 Aber Anthropic hat den Account gesperrt. 00:16:07.060 --> 00:16:07.780 Ich weiß. 00:16:08.130 --> 00:16:08.780 Das auch. 00:16:08.780 --> 00:16:14.490 Und die neueren Claude-Modelle haben die Anfragen verweigert, der Angreifer musste auf eine ältere Version ausweichen. 00:16:14.490 --> 00:16:16.210 Die Leitplanken haben gegriffen. 00:16:16.210 --> 00:16:18.530 Aber mein eigentlicher Punkt ist ein anderer. 00:16:18.530 --> 00:16:19.460 Kennen Sie VLC? 00:16:19.810 --> 00:16:22.130 Den Videoplayer mit dem Verkehrshütchen. 00:16:22.130 --> 00:16:22.900 Natürlich. 00:16:23.250 --> 00:16:28.520 VLC hat am selben Dienstag ein Update veröffentlicht, das über 130 Sicherheitslücken schließt. 00:16:28.520 --> 00:16:29.590 Hundertdreißig! 00:16:29.590 --> 00:16:38.050 Und die Entwickler sagen selbst, dass diese Rekordzahl wahrscheinlich daran liegt, dass Sicherheitsforscher mit Sprachmodellen nach Fehlern gesucht haben. 00:16:38.400 --> 00:16:39.450 Hm. 00:16:39.800 --> 00:16:42.230 Das ist dieselbe Technik, Herr Mondschein. 00:16:42.230 --> 00:16:49.840 Dieselbe Art Werkzeug, die für den Angreifer Lücken in Shops findet, findet für die Verteidiger Lücken in Software, bevor jemand sie ausnutzt. 00:16:49.840 --> 00:16:51.490 Das ist ein Wettrüsten, ja. 00:16:51.490 --> 00:16:54.900 Aber eines, in dem die Verteidiger die gleichen Waffen haben. 00:16:55.250 --> 00:16:57.740 Die gleichen Waffen, aber nicht die gleiche Lage. 00:16:57.740 --> 00:16:59.680 Der Angreifer muss eine Lücke finden. 00:16:59.680 --> 00:17:01.570 Der Verteidiger muss alle schließen. 00:17:01.570 --> 00:17:02.850 Das war schon immer so. 00:17:02.850 --> 00:17:06.540 Und was passiert mit den 130 VLC-Lücken, jetzt, wo sie veröffentlicht sind? 00:17:06.890 --> 00:17:10.370 Die Leute installieren das Update. 00:17:10.720 --> 00:17:11.320 Manche. 00:17:11.320 --> 00:17:13.520 Die anderen haben jetzt eine Einladung. 00:17:13.520 --> 00:17:22.770 Wie schnell das gehen kann, haben wir diese Woche bei WordPress gesehen: Eine kritische Lücke wurde am Dienstag geschlossen, und rund fünf Stunden später kamen die ersten Angriffe. 00:17:22.770 --> 00:17:26.320 Die Angreifer haben einfach nachgeschaut, was der Patch verändert. 00:17:26.320 --> 00:17:29.370 Da war nicht einmal KI im Spiel, das ist altes Handwerk. 00:17:29.370 --> 00:17:33.570 Und jetzt stellen Sie sich dieses Handwerk mit Agenten vor, die nicht schlafen. 00:17:33.920 --> 00:17:35.780 Das ist ein ernstes Argument. 00:17:35.780 --> 00:17:38.790 Und trotzdem: Wer ist denn am stärksten betroffen? 00:17:38.790 --> 00:17:40.320 Der kleine Online-Shop. 00:17:40.320 --> 00:17:42.400 Der Handwerksbetrieb mit Webshop. 00:17:42.400 --> 00:17:44.700 Die haben keine Sicherheitsabteilung. 00:17:44.700 --> 00:17:47.210 Und genau für die kann KI ein Segen sein. 00:17:47.210 --> 00:17:51.700 Ein Agent, der jede Nacht den eigenen Shop prüft, für ein paar Euro im Monat. 00:17:51.700 --> 00:17:54.710 So etwas konnten sich bisher nur Konzerne leisten. 00:17:55.960 --> 00:17:58.300 Da haben Sie recht, und das ärgert mich. 00:17:58.300 --> 00:17:59.710 Wenn es so etwas gibt. 00:17:59.710 --> 00:18:01.630 Und wenn die Betriebe es nutzen. 00:18:01.980 --> 00:18:02.970 Das wird es geben. 00:18:02.970 --> 00:18:03.960 Da bin ich sicher. 00:18:03.960 --> 00:18:04.950 Das ist ein Markt. 00:18:05.300 --> 00:18:08.490 Sehen Sie, da ist wieder der Unterschied zwischen uns. 00:18:08.490 --> 00:18:10.330 Sie sagen: Das wird es geben. 00:18:10.330 --> 00:18:13.300 Ich sage: Die 600.000 Karten sind jetzt schon weg. 00:18:13.300 --> 00:18:20.120 Spaniens Datenschutzbehörde hat Mitte des Monats den ersten Datenschutzvorfall gemeldet, den ein KI-Agent verursacht hat. 00:18:20.120 --> 00:18:27.360 Der Agent hat mit gültigen Zugangsdaten selbstständig nach Lücken gesucht, persönliche Daten verändert und Rechnungen eingesehen. 00:18:27.360 --> 00:18:29.150 Die Angriffe sind Gegenwart. 00:18:29.150 --> 00:18:30.990 Die Verteidigung ist Zukunft. 00:18:32.240 --> 00:18:34.880 Das ist leider gut formuliert. 00:18:35.230 --> 00:18:35.790 Danke. 00:18:36.140 --> 00:18:37.670 Aber ich halte dagegen. 00:18:37.670 --> 00:18:42.380 Aufgedeckt hat das Ganze eine Sicherheitsfirma, zusammen mit Betrugsspezialisten. 00:18:42.380 --> 00:18:44.680 Die Kartenherausgeber wurden gewarnt. 00:18:44.680 --> 00:18:47.630 Und ich habe übrigens das Kleingedruckte gelesen. 00:18:47.980 --> 00:18:48.450 Sie? 00:18:48.800 --> 00:18:49.330 Ich. 00:18:49.330 --> 00:18:55.510 Gambit verkauft selbst Software für Cyber-Resilienz, der Bericht ist also auch ein bisschen Werbung. 00:18:55.510 --> 00:19:00.450 In der Überschrift steht „Hunderte Online-Händler“, belegt sind 27 Unternehmen. 00:19:00.450 --> 00:19:07.040 Und dass der Angreifer aus China kommt, schließt man bisher nur daraus, dass er Chinesisch geschrieben hat. 00:19:08.290 --> 00:19:12.090 Herr Sommer, ich bin beeindruckt. 00:19:12.440 --> 00:19:17.030 Und jetzt kommt etwas, das ich an Ihnen wirklich schätze, Herr Mondschein. 00:19:17.380 --> 00:19:17.960 Oh nein. 00:19:18.310 --> 00:19:23.380 Sie haben mir letzte Woche von Ihrem neuen Rezept für Zwiebelkuchen erzählt. 00:19:23.730 --> 00:19:25.720 Das hat mit dem Thema nichts zu tun. 00:19:26.070 --> 00:19:30.700 Die Zutatenliste war exakt so formatiert, wie ChatGPT das macht. 00:19:30.700 --> 00:19:31.970 Mit Fettdruck. 00:19:31.970 --> 00:19:33.040 Und Emojis. 00:19:34.290 --> 00:19:35.170 Feindaufklärung. 00:19:35.520 --> 00:19:36.700 Feindaufklärung! 00:19:36.700 --> 00:19:39.220 Und wissen Sie was: Genau das meine ich. 00:19:39.220 --> 00:19:42.810 Man muss die Werkzeuge kennen, um sich gegen sie zu wehren. 00:19:42.810 --> 00:19:44.880 Und dafür muss man sie benutzen. 00:19:45.230 --> 00:19:47.940 Der Zwiebelkuchen war übrigens hervorragend. 00:19:47.940 --> 00:19:50.420 Das werde ich nicht weiter kommentieren. 00:19:58.740 --> 00:20:01.470 Von 25 Dollar zu den ganz großen Zahlen. 00:20:01.470 --> 00:20:05.590 Herr Mondschein, auf dieses Thema haben Sie sich gefreut, oder? 00:20:05.940 --> 00:20:07.710 Ich freue mich nie. 00:20:07.710 --> 00:20:10.140 Ich sehe mich nur bestätigt. 00:20:10.490 --> 00:20:24.100 Stijn Van Nieuwerburgh, Finanzökonom an der Columbia Business School, hat für eine Konferenz der Brookings Institution in Washington ein Papier geschrieben: „Financing the AI Buildout“, die Finanzierung des KI-Ausbaus. 00:20:24.100 --> 00:20:26.420 Vorgestellt hat er es am Freitag. 00:20:26.420 --> 00:20:35.820 Er hat fast 3.000 Rechenzentrumsprojekte in den USA ausgewertet: Von 2025 bis 2032 fließen rund 10,3 Billionen Dollar in amerikanische Rechenzentren. 00:20:35.820 --> 00:20:40.090 Das sind im Schnitt 3,6 Prozent der gesamten Wirtschaftsleistung. 00:20:40.090 --> 00:20:42.100 Jedes Jahr, acht Jahre lang. 00:20:42.450 --> 00:20:45.050 3,6 Prozent des Bruttoinlandsprodukts. 00:20:45.050 --> 00:20:49.280 Der Eisenbahnboom zwischen 1870 und 1890 lag bei gut 2,2 Prozent. 00:20:49.280 --> 00:20:57.920 Das Wall Street Journal schreibt, der KI-Ausbau sei auf dem Weg, die größte wirtschaftliche Wette der amerikanischen Geschichte zu werden. 00:20:58.270 --> 00:21:07.230 Und die Zahl, die heise in die Überschrift gesetzt hat: Damit sich das refinanziert, müsste der KI-Umsatz jedes Jahr um 80 Prozent wachsen. 00:21:07.580 --> 00:21:08.420 Jedes Jahr. 00:21:08.420 --> 00:21:09.520 Achtzig Prozent. 00:21:10.570 --> 00:21:12.480 Herr Sommer, ich bin alt genug. 00:21:12.480 --> 00:21:16.880 Im Februar 2000 ging Pets.com an die Börse, ein Online-Händler für Tierbedarf. 00:21:16.880 --> 00:21:20.900 Die haben Tierfutter für rund ein Drittel des Einkaufspreises verkauft. 00:21:20.900 --> 00:21:22.440 Im November war Schluss. 00:21:22.440 --> 00:21:27.260 Und das Argument damals lautete: „Das Internet verändert alles.“ Das stimmte übrigens. 00:21:27.260 --> 00:21:30.710 Und trotzdem haben viele Menschen ihre Ersparnisse verloren. 00:21:31.060 --> 00:21:33.220 Und genau das ist mein Argument! 00:21:33.220 --> 00:21:35.440 Das Internet hat alles verändert. 00:21:35.440 --> 00:21:40.750 Die Blase ist geplatzt, aber die Glasfaserkabel aus dieser Zeit lagen danach im Boden. 00:21:40.750 --> 00:21:44.200 Darauf liefen später YouTube, Netflix, Videotelefonie. 00:21:44.200 --> 00:21:49.680 Die Investoren haben Geld verloren, aber die Gesellschaft hat die Infrastruktur behalten. 00:21:50.030 --> 00:21:52.750 Jetzt kommt die Eisenbahn. 00:21:53.100 --> 00:21:54.810 Jetzt kommt die Eisenbahn! 00:21:54.810 --> 00:21:55.420 Im 19. 00:21:55.420 --> 00:21:58.720 Jahrhundert haben sich Investoren reihenweise ruiniert. 00:21:58.720 --> 00:22:02.680 Aber die Schienen lagen danach da und haben ganze Länder verbunden. 00:22:02.680 --> 00:22:13.240 Wenn in zehn Jahren die Rechenzentren stehen und Rechenleistung so billig ist wie Strom aus der Steckdose, dann hat das Folgen für jede Schülerin, jede Arztpraxis, jeden Handwerksbetrieb. 00:22:13.590 --> 00:22:14.940 Mit einem Unterschied. 00:22:14.940 --> 00:22:16.680 Schienen halten hundert Jahre. 00:22:16.680 --> 00:22:18.220 Glasfaser hält Jahrzehnte. 00:22:18.220 --> 00:22:23.390 Ein KI-Chip ist nach drei bis sechs Jahren wirtschaftlich überholt, das schreibt die Studie selbst. 00:22:23.390 --> 00:22:27.860 Amazon hat die Nutzungsdauer seiner Server wegen des KI-Tempos schon wieder verkürzt. 00:22:27.860 --> 00:22:31.690 Und rund zwei Drittel der Investitionen stecken genau in dieser Technik. 00:22:31.690 --> 00:22:36.420 Wenn diese Blase platzt, liegt da keine Infrastruktur für die nächste Generation im Boden. 00:22:36.420 --> 00:22:38.850 Dann stehen da Hallen voller Elektroschrott. 00:22:40.100 --> 00:22:42.400 Da haben Sie recht, und das ärgert mich. 00:22:42.400 --> 00:22:44.280 Das habe ich nicht kommen sehen. 00:22:44.280 --> 00:22:47.950 Aber die Gebäude, die Stromanschlüsse, die Kraftwerke, die bleiben. 00:22:48.300 --> 00:22:53.260 Und der zweite Unterschied ist der eigentliche Kern der Studie: wie das finanziert wird. 00:22:53.260 --> 00:23:00.710 Die fünf Großen, also Amazon, Microsoft, Alphabet, Meta und Oracle, investieren dieses Jahr voraussichtlich über 800 Milliarden Dollar. 00:23:00.710 --> 00:23:04.920 Das ist zum ersten Mal mehr, als sie aus dem laufenden Geschäft einnehmen. 00:23:04.920 --> 00:23:12.270 Der Rest kommt über Leasing, Zweckgesellschaften, Anleihen und Private-Credit-Fonds, also Geldgeber außerhalb der klassischen Banken. 00:23:12.270 --> 00:23:17.860