Cloudflare rozdziela polityki crawlerów AI według kategorii ruchu
Co się dzieje?
Cloudflare opisuje Bot Preference Sync, który pozwala ustalać politykę dla kategorii crawlerów, a nie pojedynczych botów. Przykład obejmuje zezwolenie GPTBotowi i blokadę Bytespidera, bez osobnego ustawienia dla każdej decyzji.
Co to oznacza dla SEO?
Właściciele stron mogą potrzebować sprawdzić, czy reguły Cloudflare odpowiadają ich celom dotyczących Search, treningu AI i dostępu agentów. Błędna kategoria może jednocześnie dopuścić lub zablokować więcej crawlerów, niż zakładano.
Najważniejsze ustalenia NaszeSEO
- Bot Preference Sync operuje kategoriami crawlerów.
- Materiał wskazuje na możliwość dopuszczenia GPTBot i blokady Bytespidera.
- Nie każda preferencja dla pojedynczego crawlera ma osobne ustawienie.
Co sprawdzić na swojej stronie?
- Przejrzeć aktywne reguły Bot Preference Sync i robots.txt.
- Porównać deklarowaną politykę z rzeczywistymi logami crawlerów.
- Sprawdzić osobno dostęp dla Search, treningu AI i agentów.
Co wiemy
- Cloudflare rozwija mechanizmy zarządzania dostępem crawlerów AI.
- Polityka może być ustawiana według kategorii crawlerów.
- Przykład rozróżnia GPTBot i Bytespider.
Czego jeszcze nie wiemy
- Pełna lista kategorii i ich mapowanie.
- Zakres wdrożenia funkcji.
- Rzeczywiste zachowanie wszystkich crawlerów wobec ustawień.
Największe ryzyko praktyczne polega na tym, że ustawienie opisane jako polityka kategorii może nie odwzorowywać dokładnie intencji właściciela strony wobec konkretnego bota.
Timeline
Reddit opisał zapowiadaną zmianę domyślnych ustawień Cloudflare dotyczącą mieszanych crawlerów AI.
Źródło ↗Cloudflare ogłosił kontrolę pozwalającą zachować discoverability w Search przy blokowaniu AI training.
Źródło ↗SEJ opisał działanie Disallow AI Training oraz różnice we wsparciu Google, Apple i Bing.
Źródło ↗Cloudflare opisuje Bot Preference Sync, który ustala polityki dla kategorii crawlerów AI zamiast pojedynczych botów.
Źródło ↗Powiązane wydarzenia
Źródła
Źródła służą do weryfikacji faktów i budowy timeline'u. NaszeSEO łączy je w jedną aktualizowaną kartę wydarzenia.
- Reddit r/SEO first_report · community
- Cloudflare Blog official_confirmation · official
- Search Engine Journal confirmation · news
- Semrush first_report · research
- Search Engine Journal first_report · news