Cloudflare wprowadza ciągłą kontrolę zachowania zweryfikowanych botów
Co się dzieje?
Cloudflare zapowiedział system ciągłej oceny Verified bots. Ma on sprawdzać, czy boty respektują preferencje witryn, w tym robots.txt i odpowiedzi HTTP 429.
Co to oznacza dla SEO?
Właściciele witryn mogą zyskać dodatkową warstwę kontroli nad ruchem deklarowanych botów AI. Nie wiadomo jeszcze, jak często będą wykonywane oceny ani jakie będą konsekwencje naruszeń.
Najważniejsze ustalenia NaszeSEO
- Sama identyfikacja bota nie jest już traktowana jako wystarczająca oznaka odpowiedzialnego zachowania.
- Ocena obejmuje respektowanie robots.txt i HTTP 429.
- Zmiana rozwija wcześniejsze mechanizmy zarządzania politykami crawlerów AI Cloudflare.
Co sprawdzić na swojej stronie?
- Sprawdź, czy robots.txt i obsługa HTTP 429 wyrażają zamierzoną politykę wobec crawlerów AI.
- Monitoruj ruch Verified bots i ewentualne rozbieżności między deklarowaną a faktyczną polityką dostępu.
Co wiemy
- Cloudflare wprowadza ciągłą ocenę Verified bots.
- System ma uwzględniać robots.txt i HTTP 429.
Czego jeszcze nie wiemy
- Nie podano kryteriów dyskwalifikacji ani sankcji.
- Nie wiadomo, które boty zostaną objęte systemem i kiedy.
Najważniejsza zmiana polega na przejściu od jednorazowej identyfikacji bota do oceny jego zachowania w czasie. Dla SEO oznacza to, że sama obecność na liście zweryfikowanych botów nie musi gwarantować dostępu do treści.
Timeline
Reddit opisał zapowiadaną zmianę domyślnych ustawień Cloudflare dotyczącą mieszanych crawlerów AI.
Źródło ↗Cloudflare ogłosił kontrolę pozwalającą zachować discoverability w Search przy blokowaniu AI training.
Źródło ↗SEJ opisał działanie Disallow AI Training oraz różnice we wsparciu Google, Apple i Bing.
Źródło ↗Cloudflare opisuje Bot Preference Sync, który ustala polityki dla kategorii crawlerów AI zamiast pojedynczych botów.
Źródło ↗Cloudflare zapowiedział ciągłą ocenę Verified bots pod kątem respektowania robots.txt i HTTP 429.
Źródło ↗Powiązane wydarzenia
Źródła
Źródła służą do weryfikacji faktów i budowy timeline'u. NaszeSEO łączy je w jedną aktualizowaną kartę wydarzenia.
- Reddit r/SEO first_report · community
- Cloudflare Blog official_confirmation · official
- Search Engine Journal confirmation · news
- Semrush first_report · research
- Search Engine Journal first_report · news
- Cloudflare Blog official_confirmation · official