Loading...
Uw robots.txt regelt al jaren welke zoekmachinecrawlers toegang hebben tot uw website. Maar naast Googlebot zijn er nu een half dozijn AI-crawlers die uw content lezen — en gebruiken in hun antwoorden. Als u deze crawlers niet kent en beheert, verliest u de controle over uw AI-zichtbaarheid. Deze gids laat zien welke AI-crawlers er zijn, hoe u ze configureert en wat de nieuwe llms.txt-standaard betekent.
GPTBot is de crawler van OpenAI en verzamelt data voor ChatGPT. ClaudeBot is van Anthropic en voedt de Claude AI-assistent. PerplexityBot doorzoekt het web voor Perplexity AI, een AI-zoekmachine die bronnen met links citeert. Google-Extended is Googles crawler voor Gemini en andere AI-producten — gescheiden van de reguliere Googlebot. Bingbot wordt ook gebruikt voor Microsofts Copilot. Elke crawler heeft zijn eigen user-agent string en kan apart worden beheerd in uw robots.txt. De beslissing welke crawlers u toestaat beïnvloedt rechtstreeks in welke AI-systemen uw content verschijnt.
De configuratie volgt hetzelfde patroon als voor Googlebot. Met "User-agent: GPTBot" en "Allow: /" geeft u OpenAI volledige toegang. Met "Disallow: /internal/" blokkeert u specifieke mappen. Voor maximale AI-zichtbaarheid raden wij aan: geef GPTBot, ClaudeBot en PerplexityBot toegang tot publieke content. Blokkeer alleen gevoelige gebieden zoals admin-panelen of interne documenten. Belangrijk: als u AI-crawlers volledig blokkeert, wordt uw content niet meer geciteerd in ChatGPT, Claude en Perplexity. Dat kan gewenst zijn voor sommige content — voor uw producten en diensten is het een concurrentienadeel.
Naast robots.txt is er een nieuwe standaard: llms.txt. Dit bestand staat in de hoofdmap van uw website en biedt AI-systemen een compacte samenvatting van uw bedrijf. Terwijl robots.txt alleen toegang regelt, levert llms.txt actief informatie: Wie bent u? Wat biedt u aan? Wat zijn uw kernproducten? AI-systemen kunnen dit bestand gebruiken om uw bedrijf beter te begrijpen en nauwkeuriger aan te bevelen. Luminara AI genereert uw llms.txt automatisch uit uw productgegevens en Schema.org-informatie. Gecombineerd met Luminara's integratiegids kunt u robots.txt en llms.txt in minuten instellen — geen ontwikkelaar of technische expertise nodig.
robots.txt en llms.txt vormen de basis van uw AI-zichtbaarheid. Door beide bestanden correct te configureren bepaalt u actief in welke AI-systemen uw content verschijnt. Luminara AI helpt u hierbij — van automatische llms.txt-generatie tot de complete integratiegids.
Start met Luminara AIStart met Luminara AI en optimaliseer uw aanwezigheid in AI-zoekmachines.
Nu starten