R
Robots.txt
Concepto clave del glosario de SEO. Definición, estrategia, importancia, beneficios y usos prácticos.
📖 Definición
Robots.txt es un archivo de texto que indica a los rastreadores de motores de búsqueda qué páginas o secciones de un sitio pueden o no rastrear.
¿A qué estrategia pertenece?
SEO Técnico
Importancia
Ayuda a controlar el presupuesto de rastreo, evitando que Google acceda a contenido irrelevante o sensible.
Beneficios y ventajas
- Controla el rastreo de bots.
- Optimiza el crawl budget.
- Protege secciones privadas.
- Evita rastreo de contenido duplicado.
Usos prácticos
- Bloquear páginas de administración.
- Impedir el rastreo de archivos y parámetros innecesarios.
- Permitir el acceso a sitemaps.
- Auditar regularmente el archivo.
Preguntas frecuentes
¿Robots.txt impide la indexación?
No. Solo impide el rastreo. Para evitar indexación se usa noindex.
¿Puedo dañar mi SEO con robots.txt?
Sí. Bloquear páginas importantes puede impedir que Google las indexe.
¿Dónde debe estar robots.txt?
En la raíz del dominio: https://tudominio.com/robots.txt
🚀 ¿Necesitas implementar esta estrategia en tu negocio peruano?
