# robots.txt for ledgerbotje.nl
#
# Een crawler volgt alleen de groep die het meest specifiek bij hem past. Toen
# Googlebot, Bingbot en de AI-crawlers elk een eigen groep met alleen
# "Allow: /" hadden, golden de Disallow-regels hieronder voor juist die
# crawlers niet (tot 14-10-2026). Daarom staan ze nu allemaal in EEN groep:
# opeenvolgende User-agent-regels delen dezelfde regels (RFC 9309).
# Geen lege regels binnen de groep: oudere parsers zien die als einde van een groep.
#
# Zoekmachines: Googlebot, Bingbot.
# AI training/indexering (de index waaruit later geciteerd wordt): GPTBot,
#   ClaudeBot, PerplexityBot, Google-Extended, Applebot-Extended,
#   meta-externalagent, Amazonbot.
# AI live ophalen tijdens een gesprek (citatie): OAI-SearchBot, ChatGPT-User,
#   Claude-User, Claude-SearchBot. Zonder deze toegang kan een assistent wel
#   over ons weten, maar niet naar ons verwijzen.
User-agent: Googlebot
User-agent: Bingbot
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: PerplexityBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: Amazonbot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-User
User-agent: Claude-SearchBot
User-agent: *
Allow: /
Disallow: /app/include/
Disallow: /app/vendor/
Disallow: /app/cron/
Disallow: /app/dashboard/
Disallow: /app/mcp/
Disallow: /log/

# Sitemap
Sitemap: https://ledgerbotje.nl/sitemap.xml

# LLM documentation
# NL: https://ledgerbotje.nl/llms.txt      https://ledgerbotje.nl/llms-full.txt
# EN: https://ledgerbotje.nl/en/llms.txt   https://ledgerbotje.nl/en/llms-full.txt
# DE: https://ledgerbotje.nl/de/llms.txt   https://ledgerbotje.nl/de/llms-full.txt