Noch wird es ein "Experiment" genannt, welches in einer "private Beta" vergangene Woche gestartet ist. Cloudflare, der Infrastruktur-Gigant, der rund 20 % des Webs mit Infrastruktur versorgt, möchte mit seinem neuen Marktplatz "Pay per Crawl" Publisher und Webseitenbetreiber für das Scrapen von Webseiten (z.B. AI-Bots) bezahlen. Eine Idee, die das Potenzial hat, die Spielregeln für die Monetarisierung von Inhalten komplett neu zu schreiben.
Warum ist das wichtig?
Bisher war der Deal klar: Google und Co. durchsuchen Websites und liefern Traffic. Im Zeitalter der KI-Chatbots funktioniert dieses Modell nur noch bedingt. Die Bots beschaffen sich die Informationen von den Websites, die Nutzer bekommen ihre Antwort direkt im Chat und besuchen die ursprüngliche Seite gar nicht mehr. Das Resultat: Die Content-Ersteller gehen leer aus. Cloudflare liefert dazu spannende Zahlen: Während Googles Crawler für 14 Crawls immerhin einen Besucher liefert, benötigt OpenAIs Crawler dafür 1.700 und der von Anthropic sogar 73.000 Crawls. Wobei: Die 14 Crawls pro Besucher bei Google beziehen sich mit Sicherheit auf die Zeit vor der AI-Zusammenfassung.
Für wen ist das wichtig?
Bisher konnten nur große Player wie die "New York Times" Lizenzdeals mit KI-Unternehmen aushandeln. Cloudflares Ansatz könnte dies demokratisieren und allen Webseiten-Betreibern eine Einnahmequelle sichern. Aber auch für Cloudflare selbst hat dieser Ansatz enormes Potenzial. Sie positionieren sich als der zentrale Gatekeeper und Zahlungsabwickler, in einer Zeit, in der KI-Agenten mit eigenem Budget für uns recherchieren könnten. Warum sollte ich ein anderes Produkt vorziehen, wenn Cloudflare mir nicht nur die technische Infrastruktur liefert, sondern auch gleich ein Geschäftsmodell?
