KI Tagesbrief
English
Start KI-Governance 10. Juli 2026
KI-Governance

KI-Crawler brechen den alten Traffic-Deal des Webs

Neue Cloudflare-nahe Daten zeigen, wie KI-Crawler deutlich mehr Seiten verbrauchen koennen, als sie als Referral-Traffic zurueckgeben.

Leseaufrufe werden gezählt...

KI-GovernanceWebKI-AgentenPublishing

KI-Crawler brechen den alten Traffic-Deal des Webs

Kurzfassung

Der wirtschaftliche Deal hinter dem offenen Web steht unter Druck. Suchcrawler haben Seiten schon immer kopiert, aber sie haben auch Leser zurueckgeschickt. KI-Crawler und Antwortmaschinen koennen dieselben Inhalte verbrauchen und deutlich weniger Referral-Traffic an die Urheber zurueckgeben.

Business Insider berichtete am 9. Juli 2026, dass Cloudflares aktuelle Crawl-to-Refer-Daten eine grosse Schieflage zwischen KI- und Suchunternehmen zeigen. Dem Bericht zufolge blieb Anthropic im Zeitraum vom 1. bis 7. Juli der groesste Ausreisser, mit etwa 2.800 gecrawlten Seiten fuer jeden zurueckgesendeten Referral. DuckDuckGo lag mit etwa drei Crawls pro Referral deutlich naeher an einem ausgeglichenen Verhaeltnis.

Das praktische Thema ist nicht nur Urheberrecht. Es geht darum, ob das Web weiterhin Originalinhalte finanzieren kann, wenn immer mehr Wert von Systemen abgeschoepft wird, die zusammenfassen, antworten und handeln, ohne Menschen zur Quelle zurueckzuschicken.

Was passiert ist

Der Business-Insider-Bericht vom 9. Juli nutzt Cloudflare-Daten, um zu vergleichen, wie oft grosse KI-nahe Crawler Seiten anfragen und wie oft ihre Dienste Nutzer an Websites zurueckverweisen. Der Bericht sagt, dass Anthropic sich gegenueber frueheren Quoten verbessert hat, aber weiterhin weit ausserhalb des alten Suchmaschinen-Deals liegt.

Das folgt auf Cloudflares breitere Bewegung, Website-Betreibern mehr Kontrolle zu geben. The Verge berichtete 2025, dass Cloudflare begann, bekannte KI-Crawler fuer neue Kunden standardmaessig zu blockieren, und ein Pay-Per-Crawl-Programm startete, mit dem ausgewaehlte Publisher Preise fuer KI-Zugriff festlegen koennen.

Auch die Forschung bewegt sich in diese Richtung. Ein Paper vom April 2026 zu Pay-per-Crawl-Preisen argumentiert, dass KI-Systeme sich von der Weiterleitung zu Inhalten hin zum direkten Konsum von Inhalten verschieben, wodurch neue Preismodelle noetig werden. Ein Paper vom Mai 2026 zur Erkennung von KI-Browsing-Agenten fand, dass Verhaltenssignale helfen koennen, KI-Browseragenten von Menschen zu unterscheiden. Das ist ein wichtiger technischer Schritt, wenn Websites Zugriffskontrollen durchsetzen wollen.

Warum das wichtig ist

Das offene Web war nie einfach kostenlos. Es beruhte auf Gegenseitigkeit.

Publisher erlaubten Crawling, weil Suchmaschinen ihre Seiten indexierten und Leser zurueckschickten. Diese Leser konnten abonnieren, Anzeigen sehen, Produkte kaufen oder Vertrauen zu einer Publikation aufbauen. KI-Antwortmaschinen veraendern diesen Ablauf. Sie koennen viele Seiten in eine Antwort verwandeln, und der Nutzer klickt die Originalquelle vielleicht nie an.

Das schafft ein strategisches Problem fuer KI-Unternehmen. Die besten Modelle und Agenten brauchen frische, hochwertige Informationen. Wenn aber die Unternehmen, die diese Informationen produzieren, Traffic und Umsatz verlieren, wird die langfristige Versorgung mit verlaesslichen Inhalten schwaecher.

Fuer Unternehmen ist das auch ein Risikomanagement-Thema. Wenn KI-Tools auf umstrittenem Crawling, blockierten Quellen oder instabilen Zugriffsregeln beruhen, kann sich die Retrieval-Qualitaet ploetzlich veraendern, sobald Publisher ihre Kontrollen verschaerfen.

Zentrale Details

  • Business Insider berichtete, dass Cloudflare Anfang Juli 2026 grosse Luecken zwischen KI-Crawler-Aktivitaet und Referral-Traffic gemessen hat.
  • Die berichtete Crawl-to-Refer-Luecke war besonders hoch bei Anthropic, wobei Anthropic Cloudflares Methodik zuvor bestritten hat.
  • Cloudflare bewegt sich in Richtung standardmaessiger KI-Crawler-Blockierung fuer neue Kunden und eines Pay-Per-Crawl-Modells fuer ausgewaehlte Publisher.
  • Pay-per-Crawl-Forschung legt nahe, dass statische Preise zu grob sind, weil verschiedene Inhalte fuer KI-Systeme sehr unterschiedlichen Wert haben koennen.
  • Forschung zur Agentenerkennung legt nahe, dass Verhalten, nicht nur Browser-Fingerprints, noetig sein kann, um KI-Browsing-Agenten verlaesslich zu identifizieren.
  • Die zentrale Politikfrage verschiebt sich von “Duerfen Bots crawlen?” zu “Zu welchen Bedingungen sollten KI-Systeme Webinhalte abrufen und weiterverwenden?”

Auswirkungen fuer Entwickler und Unternehmen

Fuer KI-Produktteams sollte Crawler-Oekonomie Teil des Systemdesigns werden. Retrieval-Pipelines brauchen Respekt fuer Website-Regeln, Quellenprotokolle, Lizenzpfade und Fallback-Verhalten, wenn Zugriff blockiert wird.

Fuer Publisher wird die Frage praktischer: Welche Crawler helfen dem Geschaeft, welche ziehen nur Wert ab, und welche Zugangsbedingungen lassen sich durchsetzen? Robots.txt allein reicht moeglicherweise nicht, wenn einige Agenten angegebene Praeferenzen ignorieren oder umgehen.

Fuer Enterprise-Kaeufer betrifft das die Vendor Due Diligence. Es ist sinnvoll zu fragen, ob ein KI-Anbieter erklaeren kann, woher abgerufene Inhalte stammen, ob er Publisher-Kontrollen respektiert und wie er mit Quellen umgeht, die KI-Crawling blockieren.

Risiken und Grenzen

Es gibt wichtige Einschraenkungen.

Cloudflares Crawl-to-Refer-Verhaeltnis ist ein nuetzliches Signal, aber weiterhin die Messung eines einzelnen Unternehmens. Es erfasst moeglicherweise nicht alle Produktveraenderungen, alle Referral-Oberflaechen oder jede Art, wie Nutzer Quellen ueber KI-Tools entdecken.

Alle KI-Crawler zu blockieren hat ebenfalls Kosten. Manche Publisher wollen KI-Sichtbarkeit, manche suchaehnlichen Tools koennen nuetzlichen Traffic bringen, und kleinere Entwickler koennen nicht mit jeder Website einzelne Lizenzen verhandeln.

Die gesuendere Richtung ist kein einfaches Verbot. Sie besteht aus klarerer Zustimmung, sauberer Bot-Identitaet, besserer Messung und Zugangsmodellen, bei denen Inhalteigentuemer entscheiden koennen, wann KI-Nutzung sich lohnt.

Fazit

KI-Crawler zwingen das Web, sein Betriebsmodell neu zu verhandeln.

Der alte Deal lautete: Crawling gegen Traffic. Der neue Deal muss vielleicht lauten: Crawling gegen Erlaubnis, Attribution, Zahlung oder einen messbaren Gegenwert.

Wenn KI-Unternehmen verlaesslichen Zugriff auf hochwertige Webinhalte wollen, muessen sie die Content-Lieferkette als Infrastruktur behandeln, nicht als kostenlosen Input.

Quellen