Trainingscrawlers
GPTBot, ClaudeBot, Google-Extended
Verzamelen je pagina's als trainingsmateriaal voor de volgende modelversie. De grootste lezers, en de bots die eigenaren het vaakst willen blokkeren.
Zie welke AI-scrapers je website lezen
GPTBot, ClaudeBot en PerplexityBot bezoeken je pagina's vaker dan je denkt. PromptRadar logt elk bezoek van 24 AI-crawlers, zodat je ziet wat ze lezen, wat ze overslaan en hoe vaak ze terugkomen.
Drie soorten AI-scrapers, drie verschillende signalen
AI-zoekindexeerders
OAI-SearchBot, PerplexityBot, Claude-SearchBot
Vullen de index achter AI-zoekantwoorden. Via deze bezoeken ontdekt een antwoord dat je pagina bestaat, dus ze kunnen vermeldingen worden.
Live antwoordbots
ChatGPT-User, Perplexity-User, Claude-User
Halen een pagina op terwijl iemand een vraag stelt. Zo'n bezoek betekent dat iemand op dat moment in een AI-gesprek over je leest.
Zo werkt het
1
Verbind je website
Installeer de WordPress-plugin, een middleware voor Next.js, Cloudflare, Node.js of Python, of een cronscript over je Nginx- of Apache-logs. Alles draait op je server, dus je bezoekers krijgen geen extra JavaScript en geen cookies. Een ingebouwde test bevestigt de installatie binnen seconden.
2
AI-bots worden gelogd
Alleen verzoeken van de 24 bekende AI-crawlers worden vastgelegd. Gewone bezoekers en klassieke zoekbots komen nooit in het log, dus de feed is puur AI-signaal.
3
Lees het logboek
Zie bezoeken per bot op het moment zelf, de pagina's die elke bot leest, welke pagina's AI-antwoorden gebruiken, de sitemappagina's die bots overslaan, kapotte pagina's die ze raken en welke bots je robots.txt blokkeert. Ongeveer negentig dagen historie per website.
Veelgestelde vragen over AI-scrapers
Wat zijn AI-scrapers?
AI-scrapers zijn bots die AI-bedrijven sturen om websitepagina's te lezen. Sommige verzamelen pagina's om modellen te trainen, zoals GPTBot van OpenAI en ClaudeBot van Anthropic. Andere vullen de index achter AI-zoekantwoorden, zoals PerplexityBot. Weer andere halen een pagina live op terwijl iemand een vraag stelt. Ze lezen je website veel vaker dan de meeste eigenaren denken.
Welke AI-scrapers volgt PromptRadar?
PromptRadar herkent 24 AI-crawlers van OpenAI, Anthropic, Perplexity, Google, Meta, Amazon, Apple, ByteDance en anderen. De gewone Googlebot wordt bewust niet meegeteld: dat is een klassieke zoekcrawler en zijn volume zou het AI-signaal verdrinken.
Hoe werkt het volgen van AI-scrapers?
Een kleine hook op je server meldt AI-botverzoeken aan PromptRadar. Er is een WordPress-plugin, een Shopify Hydrogen-adapter en snippets voor Cloudflare, Vercel, TanStack en elke andere server. Er draait niets in de browser van je bezoekers: geen JavaScript, geen cookies, geen effect op laadtijd. Eén eerlijke beperking: reacties uit een CDN-cache bereiken je server niet en kunnen dus niet worden geteld.
Moet ik AI-scrapers blokkeren?
Dat is een afweging, en het logboek maakt er een geïnformeerde keuze van. Trainingscrawlers gebruiken je pagina's om modellen te trainen. Zoek- en assistentcrawlers zijn juist hoe AI-antwoorden je vinden en citeren: blokkeer je die, dan verdwijn je uit de antwoorden die je klanten lezen. Zodra je ziet welke bots welke pagina's lezen, kun je per bot beslissen in plaats van gokken.
Is het volgen van AI-scrapers gratis?
Crawlerlogs zitten in de betaalde PromptRadar-abonnementen. Elke weergave bevraagt live analytics-infrastructuur die ongeveer negentig dagen aan botbezoeken per website bewaart.
Betekenen AI-scraperbezoeken ook AI-vermeldingen?
Een bezoek is nog geen vermelding, maar gelezen worden komt eerst: een pagina die een AI-crawler nooit heeft opgehaald kan niet worden geciteerd. Combineer het crawlerlogboek met PromptRadar AI-zichtbaarheid om te zien of de gelezen pagina's ook aanbevelingen worden.
Weet wat AI op je website leest
Het crawlerlogboek toont elk AI-botbezoek, pagina voor pagina. Gelezen worden komt vóór aanbevolen worden.