Saltar al contenido
Herramientas

// Herramienta · bots de IA

¿Tu web deja entrar a la IA?

Revisa en segundos si tu robots.txt bloquea a los robots de ChatGPT, Claude, Perplexity, Gemini y otros. Separamos los que te citan en sus respuestas de los que entrenan modelos.

  1. 1

    Escribe tu dirección

    Por ejemplo tuempresa.com. Leemos el robots.txt público de tu sitio.

  2. 2

    Revisa cada robot

    Te mostramos qué robots de búsqueda, de visitas y de entrenamiento pueden entrar.

  3. 3

    Decide con criterio

    Los de búsqueda casi siempre conviene permitirlos. Los de entrenamiento dependen de tu negocio.

Leemos el robots.txt público de tu sitio. No guardamos la dirección.

Cómo lo revisamos

  • Leemos tu robots.txt y aplicamos las reglas del estándar (RFC 9309): si un robot tiene reglas propias se usan esas; si no, las generales (User-agent: *).
  • Revisamos la portada y una página interna. "Parcial" significa que el robot puede entrar a una y no a la otra.
  • También mostramos si declaras Content Signals (la propuesta de Cloudflare para decir si permites búsqueda o entrenamiento) y si publicas un llms.txt.
  • No vemos bloqueos del servidor o de servicios como Cloudflare. Si usas uno, revisa también su panel de bots.

¿No sabes si conviene permitir los de entrenamiento? Lo explico en¿Dejar entrar a los bots de entrenamiento de IA?

Fuentes

La clasificación de cada robot viene de la documentación oficial de cada empresa y de Cloudflare.

  1. OpenAI · 2026

    Overview of OpenAI crawlers

    Documentación oficial de los rastreadores de OpenAI (OAI-SearchBot, GPTBot, ChatGPT-User) y su control con robots.txt.

  2. Google Search Central · 2026

    Google's common crawlers: Google-Extended

    Documentación oficial: Google-Extended controla el uso en Gemini y no afecta la inclusión ni el ranking en Google Search.

  3. Cloudflare · 2025

    Cloudflare Just Changed How AI Crawlers Scrape the Internet-at-Large

    Comunicado del 1 de julio de 2025: los dominios nuevos eligen si permiten rastreadores de IA y parten con bloqueo.

  4. Cloudflare · 2025

    Content Signals Policy

    Propuesta del 24 de septiembre de 2025 para declarar en robots.txt el uso permitido (search, ai-input, ai-train); aplicada a más de 3,8 millones de dominios.