Im Laufe der Zeit fühlt es sich immer vergeblicher an, einfach ‚Nein‘ zur KI zu sagen. Cloudflare kündigt jedoch einige weitere Werkzeuge für Ihr Anti-KI-Arsenal an, die Ihnen wieder etwas Macht in die Hand geben. Cloudflare bietet eine Reihe von Netzwerkdiensten an, von Domainregistrierung und Content Delivery bis hin zur Abwehr von DDOS-Angriffen. Zu diesem Portfolio fügt Cloudflare das scharfe und spitze Pay Per Crawl-Schema hinzu, das darauf abzielt, KI-Unternehmen, die Online-Inhalte scrapen, dort zu treffen, wo es weh tut – nämlich in ihren tiefen Taschen.
Letztes Jahr begann Cloudflare damit, Kunden die Möglichkeit zu geben, mit einem Klick KI-Bots von ihren Websites zu blockieren. Dieses AI Audit-Tool ermöglicht es den Benutzern auch, auszuwählen, welche Bots sie blockieren möchten, und bietet Einblicke, welche LLM oder gen-AI ihre Inhalte wiederkäuen. Jetzt wurde angekündigt, dass AI-Crawler standardmäßig blockiert werden, was als «der erste Schritt in Richtung einer nachhaltigeren Zukunft für sowohl Inhaltsersteller als auch KI-Innovatoren» beschrieben wird.
Benutzer, die möchten, dass ihre Inhalte kostenlos gescrapt werden, können diese Standardeinstellung weiterhin deaktivieren, aber die zweite Ankündigung von Cloudflare scheint die Frage zu stellen: ‚Warum sollten Sie das wollen?‘
Pay Per Crawl, ein letztes Jahr angekündigtes Schema, das es Benutzern ermöglicht, KI-Unternehmen, die ihre Inhalte scrapen wollen, in Rechnung zu stellen, befindet sich jetzt in der Beta-Phase. Bis heute hat Cloudflare die Namen der Teilnehmer an Pay Per Crawl nicht bekannt gegeben, abgesehen von ProRata, dem Startup hinter der KI-Suchmaschine Gist.AI.
Gründer und CEO Bill Gross äußerte sich im Rahmen der Ankündigung von Cloudflare zu den KI-Crawlern und sagte: «Unsere gesamte Mission ist es, menschliche Kreativität im KI-Zeitalter zu schützen und zu fördern. Deshalb sind wir stolz darauf, eines der ersten KI-Unternehmen zu sein, das an Cloudflares Initiative teilnimmt, um ein neues, genehmigungsbasiertes Modell für das Internet zu schaffen. Wir glauben, dass Schöpfer und Verleger fair für den Wert, den sie bringen, entschädigt werden sollten, und wir freuen uns, Cloudflare dabei zu unterstützen, diese Vision Wirklichkeit werden zu lassen.»
Es scheint nicht unwahrscheinlich, dass größere KI-Unternehmen ein solches Schema in Betracht ziehen würden. Schließlich hat OpenAI bereits Content-Partnerschaften mit einer Reihe von Medienunternehmen geschlossen, darunter auch mit dem Mutterunternehmen von PC Gamer, Future. Pay Per Crawl fühlt sich an wie ein Versuch, das Spielfeld zu ebnen und kleineren Inhaltserstellern eine Chance zu geben, die ansonsten einfach nicht über ein gesamtes Team verfügen würden, um die Bedingungen einer Content-Partnerschaft auszuhandeln.
Aber lassen Sie uns einen Moment zurückgehen, besonders weil nicht alle Webcrawler schlecht sind. Zum Beispiel ist die Erhaltungsarbeit des Internet Archive besonders stark auf sie angewiesen. Letztes Jahr stellte das Pew Research Center fest, dass ein Viertel aller Webseiten, die zwischen 2013 und 2023 existierten, jetzt nicht mehr zugänglich sind. Webcrawler sind eine Möglichkeit, solche Seiten zu bewahren, bevor sie in einem Hauch von kaputten Links und längst vergessenen Hosting-Diensten verschwinden.
AI-Crawler hingegen sind ein wenig eine Plage, da sie ohne Erlaubnis des Inhaltsbesitzers scrapen und die Server übermäßig belasten können, indem sie sich nicht unähnlich einem DDOS-Angriff verhalten. Wie bereits erwähnt, ist Cloudflare mit DDOS-Angriffen vertraut und berichtete letzten Monat, dass ihr Netzwerk etwa ‚225.000.000.000 Angriffe pro Tag‘ blockiert. Das Unternehmen teilte auch mit, dass sein Netzwerk kürzlich den größten jemals aufgezeichneten Angriff abgewehrt hat, bei dem eine einzelne IP-Adresse mit 37,5 TB Daten innerhalb von 45 Sekunden bombardiert wurde.
Daher nutzen die KI-Blockierungstools von Cloudflare eine Mischung aus maschinellem Lernen und Verhaltensanalyse, um zwischen diesen beiden Arten von Webcrawlern zu unterscheiden. Cloudflare hat auch einige Erfolge dabei erzielt, unartige Bots zu identifizieren, indem sie KI-Webcrawler in ein Kaninchenloch aus KI-generierten Seiten führten. Das nenne ich, mit Feuer gegen Feuer kämpfen… oder ein Schlammschlacht. Wie auch immer, wäre es naiv, ein wenig optimistisch über Cloudflares Vorstoß für ein ‚Genehmigungsbasiertes Modell für das Internet‘ zu sein? Die Zeit wird es zeigen.