Monitorovanie aktivity AI botov
Ako často AI boty žiadajú vaše stránky podľa údajov z Cloudflare a ktoré stránky z auditu webu nečítali.
Aktivita AI botov ukazuje, ako často AI boty čítajú váš web a ktoré stránky otvárajú. Čísla pochádzajú z Cloudflare, nie z promptov, ktoré kladie citeme.eu. Cloudflare to poskytuje aj v bezplatnom pláne. Pripojenie je voliteľné a nemení audit webu. Stránka má dve záložky: Aktivita a Pokrytie stránok. Pokrytie stránok ukazuje, ktoré stránky z auditu webu boty čítali.
Aktivita AI botov
Pripojenie Cloudflare
Otvorte Aktivitu AI botov a zvoľte Pripojiť Cloudflare. Pripojenie potvrďte v Cloudflare. citeme.eu tieto požiadavky len číta a nemôže meniť DNS ani bezpečnostné nastavenia.
Účet Cloudflare musí obsahovať web tejto značky. Ak obsahuje viac webov, jeden vyberiete. Ak neobsahuje žiadny, nič sa neuloží.
Prvý import pokrýva posledných 30 dní. Potom sa nové požiadavky importujú raz denne. Požiadavky sa zobrazia, len ak návštevnosť webu prechádza cez Cloudflare.
Aktivita
Pre obdobie zvolené v hlavičke:
| Dlaždica | Čo počíta |
|---|---|
| Požiadavky AI botov | Každá požiadavka botov nižšie, ako ju spočítal Cloudflare, a priemer za deň |
| Vyžiadané stránky | Stránky s aspoň jednou požiadavkou bota. Cloudflare ich hlási oddelene od denných súčtov, takže toto číslo môže byť o niečo nižšie |
| Najaktívnejší bot | Bot s najväčším počtom požiadaviek a jeho podiel na všetkých požiadavkách |
| Neúspešné požiadavky | Požiadavky, na ktoré bot dostal chybu, a ich podiel na všetkých požiadavkách botov |
Požiadavky AI botov a Neúspešné požiadavky porovnávajú zvolené obdobie s rovnako dlhým obdobím tesne pred ním. Kým importovaná história toto skoršie obdobie nepokrýva, ukazujú „—“. Cloudflare poskytuje len posledných 30 dní, takže porovnanie zostane prázdne, kým táto história nie je načítaná.
Neúspešná požiadavka znamená, že bot dostal chybu: 404 stránka sa nenašla, 403 alebo 429 web alebo Cloudflare bota odmietli, 5xx chyba servera. Časť z nich pochádza od skenerov, ktoré sa za AI bota len vydávajú. Zobrazenie Neúspešné vypíše každú stránku, bota a stav.
Požiadavky v čase tie isté požiadavky zoskupia podľa spoločnosti, podľa účelu alebo podľa bota.
Tabuľka prepína medzi Stránky a Boty. Môžete vyhľadávať, filtrovať podľa spoločnosti a účelu, triediť stĺpce a exportovať CSV. Filter typu oddeľuje stránky, súbory pre crawlery (robots.txt, sitemapy, llms.txt) a súbory (JavaScript, CSS, obrázky). Predvolene sa zobrazuje všetko.
Pokrytie stránok
Záložka Pokrytie stránok vedľa Aktivity spája váš posledný audit webu s požiadavkami botov, takže vidíte, ktoré auditované stránky boty naozaj čítali. Zobrazí sa, keď Cloudflare v zvolenom období zaznamenal požiadavky botov. Bez auditu webu vás vyzve, aby ste ho najprv spustili.
Pokrytie stránok
Nadpis počíta auditované stránky, ktoré si v období vyžiadal aspoň jeden AI bot. Kontrolujú sa len stránky posledného auditu, najviac 100, a poznámka uvedie, ak má váš web viac stránok.
Ktoré boty navštívili vaše stránky. Prehľad spoločností podľa účelu ukazuje, koľko auditovaných stránok navštívili boty danej spoločnosti: vyhľadávacie boty, tréningové boty a asistenti odpovedajúci na otázku (pozri Prečo bot prišiel). Spoločnosti sa nikdy nesčítavajú, pretože „vyhľadávacie boty navštívili všetky stránky“ môže skrývať, že jedna spoločnosť čítala polovicu a iná zvyšok. Pomlčka znamená, že spoločnosť pre daný účel nemá bota. Tréningový bot Googlu (Google-Extended) je vynechaný, pretože ide o prepínač v robots.txt, ktorý sa v požiadavkách nikdy neobjaví. Vyhľadávací bot, ktorý nečítal ani jednu stránku, je oranžový.
Kliknutím na číslo zobrazíte stránky za ním: pri vyhľadávacích a tréningových botoch stránky, ktoré spoločnosť nenavštívila; pri asistentoch stránky, ktoré otvorili. Opätovným kliknutím filter zrušíte. Ak vyhľadávací bot niektoré stránky vynechal, pribudne jeden riadok o tom, čo skontrolovať: robots.txt a bezpečnostné nastavenia, ak spoločnosť nenavštívila web nikdy, inak sitemapu a interné odkazy.
Štyri karty sú vedľa prehľadu spoločností. Kliknutím na kartu zúžite tabuľku na jej stránky, opätovným kliknutím ju zrušíte.
| Karta | Ktoré stránky počíta | Čo robiť |
|---|---|---|
| Otvorili asistenti | Stránky, ktoré asistent otvoril pri odpovedaní na otázku. Slúžia ako zdroj, hoci sa nie vždy citujú | Udržiavajte ich presné a aktuálne |
| Nečítané vyhľadávacími botmi | Stránky, ktoré si nevyžiadal vyhľadávací bot žiadnej spoločnosti, takže ich AI vyhľadávanie ťažko nájde | Skontrolujte, či sú v sitemape a či na ne odkazujú iné stránky |
| Bot narazil na chybu | Stránky, ktoré bot chcel, no bol odmietnutý alebo ich nenašiel | Chyba je v tabuľke |
| Stará verzia v AI vyhľadávaní | Stránky, ktoré vyhľadávacie boty čítali, ale zmenili sa po ich poslednej návšteve (podľa dátumu, ktorý našiel audit webu), alebo sa k nim žiadny vyhľadávací bot nevrátil 14 dní a viac | Odkazujte na ne z novších stránok a v sitemape udržiavajte aktuálny lastmod |
Počet na troch kartách s problémom je oranžový, kým je čo opraviť. Keď je taká karta na nule, namiesto 0 ukáže vetu so začiarknutím. Karta Otvorili asistenti vždy ukazuje číslo a to číslo nie je oranžové.
Tabuľka vypisuje každú stránku so skóre z auditu, botmi (dva zobrazené, ostatné ako „+N“), požiadavkami, dátumom posledného zobrazenia a skutočnou chybou, napríklad 403 alebo 404. Stránka so starou verziou v AI vyhľadávaní má dátum posledného zobrazenia oranžový a dôvod po prejdení myšou. Stav stránky je Nenavštívená, Bez návštevy vyhľadávacieho bota, Navštívená vyhľadávacími botmi alebo Otvorená asistentom. Môžete vyhľadávať, triediť, filtrovať podľa stavu, chýb, skóre (pod 60, alebo 60 a viac) a verzie v AI vyhľadávaní a exportovať CSV. Zobraziť všetko filtre zruší. Prehľad spoločností a karty vždy pokrývajú všetky auditované stránky; zúži sa len tabuľka.
Stránka označená ako nenavštívená mohla byť čítaná len zriedka. V rušný deň Cloudflare uchová len 50 najčastejšie požadovaných stránok každého bota a poznámka na stránke uvedie, keď to mohlo niektoré skryť.
Prečo bot prišiel
| Účel | Čo bot robí | Príklady |
|---|---|---|
| Trénovanie | Zbiera stránky na trénovanie budúcich modelov | GPTBot, Google-Extended, ClaudeBot, Amazonbot, Meta-ExternalAgent |
| Vyhľadávanie | Buduje index, v ktorom asistent hľadá, keď odpovedá | OAI-SearchBot, Googlebot, Claude-SearchBot, PerplexityBot, Bingbot, Applebot |
| Na žiadosť používateľa | Otvorí stránku, kým sa niekto pýta | ChatGPT-User, Claude-User, Perplexity-User, Meta-ExternalFetcher |
Bingbot je v zozname, pretože Copilot odpovedá z indexu Bingu. Spoločnosti sú OpenAI, Google, Anthropic, Perplexity, Microsoft, Apple, Amazon a Meta.
Čo to nie je
To, že bot žiada stránku, nie je to isté, ako keď vás asistent spomenie. AI viditeľnosť stále vychádza z promptov. Nie sú to ani návštevy z AI, ktoré počítajú ľudí, ktorí na váš web prišli z AI odpovede.
Odpojenie
Odpojiť si vyžiada potvrdenie. citeme.eu prestane čítať nové požiadavky.