¿Qué es el archivo Robots.txt?
Un archivo robots.txt es un archivo de texto que se utiliza para indicar a los robots web (también conocidos como arañas web o rastreadores) cómo rastrear e indexar un sitio web.
El archivo robots.txt forma parte del estándar de exclusión de robots (REP), que es un protocolo con un pequeño conjunto de comandos que se puede utilizar para comunicarse con robots web.
El uso más común del archivo robots.txt es evitar que los robots web indexen todo o parte de un sitio web. Esto se hace especificando una o más reglas de no permitir en el archivo robots.txt. Por ejemplo, se podría agregar una regla al archivo robots.txt para impedir que los robots web indexen el directorio /images/ en un sitio web.
Robots.txt y Sitemap.xml
En general, un archivo robots.txt indica a los robots web, o “arañas”, qué páginas de su sitio web deben rastrear e indexar. Un archivo sitemap.xml proporciona información adicional sobre la estructura de su sitio web, lo que puede resultar muy útil para los motores de búsqueda.
Los dos archivos son complementarios pero no es necesario utilizarlos juntos. Si sólo tienes un archivo robots.txt, está perfectamente bien. De manera similar, si solo tiene un archivo sitemap.xml, también está perfectamente bien. Sin embargo, utilizar ambos puede resultar ventajoso, especialmente si tiene un sitio web grande con una estructura compleja.
Un archivo robots.txt generalmente se coloca en el directorio raíz de un sitio web. Por ejemplo, si su sitio web es www.example.com, entonces su archivo robots.txt sería www.example.com/robots.txt.
Un archivo sitemap.xml se puede colocar en cualquier lugar de su sitio web, pero generalmente también se coloca en el directorio raíz. Por ejemplo, si su sitio web es www.example.com, entonces su archivo sitemap.xml sería www.example.com/sitemap.xml.
La ventaja de utilizar un archivo robots.txt es que puede especificar qué páginas de su sitio web no desea que se rastreen ni indexen. Esto puede resultar útil si tiene páginas que contienen información confidencial que no desea que aparezca en los resultados de búsqueda.
La ventaja de utilizar un archivo sitemap.xml es que puede proporcionar información adicional a los motores de búsqueda sobre la estructura de su sitio web. Esto puede resultar muy útil, especialmente para sitios web grandes, ya que puede ayudar a los motores de búsqueda a comprender mejor el contenido de su sitio web.
En general, es una buena idea utilizar tanto un archivo robots.txt como un archivo sitemap.xml si tiene un sitio web grande con una estructura compleja. Esto brindará a los motores de búsqueda la mayor cantidad de información sobre su sitio web y les ayudará a rastrear e indexar su sitio web de manera más efectiva.
El archivo robots.txt también se utiliza para especificar la ubicación del mapa de un sitio web. El mapa del sitio es un archivo que contiene una lista de todas las páginas de un sitio web . Al especificar el mapa del sitio en el archivo robots.txt, los robots web pueden encontrar e indexar fácilmente todas las páginas de un sitio web.
Los robots web no están obligados a obedecer las reglas especificadas en el archivo robots.txt. Sin embargo, la mayoría de los robots web admiten el estándar de exclusión de robots y obedecerán las reglas especificadas en el archivo robots.txt.
Reglas de robots.txt
Las reglas especificadas en el archivo robots.txt se aplican a todos los robots web que rastrean un sitio web. No es posible especificar reglas para un robot web específico.
El archivo robots.txt debe colocarse en el directorio raíz de un sitio web. Por ejemplo, si la URL de un sitio web es http://www.example.com/, el archivo robots.txt debe estar ubicado en http://www.example.com/robots.txt.
El archivo robots.txt puede contener varias reglas. Cada regla debe estar en una línea separada.
Una regla consta de dos campos, un nombre de campo y un valor de campo. El nombre del campo va seguido de dos puntos (:) y el valor del campo. Por ejemplo:
Agente de usuario: * No permitir: /
La regla anterior no permitiría que todos los robots web indexen ninguna página del sitio web.
Se pueden especificar varios valores de campo para un nombre de campo separando los valores con una coma (,). Por ejemplo:
Agente de usuario: * No permitir: /images/, /cgi-bin/
La regla anterior no permitiría que todos los robots web indexen los directorios /images/ y /cgi-bin/ en el sitio web.
Se puede especificar una regla sin un valor de campo. Por ejemplo:
Agente de usuario: * Rechazar:
La regla anterior permitiría a todos los robots web indexar todas las páginas del sitio web.
Se pueden agregar comentarios al archivo robots.txt comenzando una línea con un carácter almohadilla (#). Los robots web ignoran los comentarios. Por ejemplo:
# Este es un comentario Agente de usuario: * No permitir: /
El archivo robots.txt anterior no permitiría que todos los robots web indexen ninguna página del sitio web.
El orden de las reglas en el archivo robots.txt es importante. Se aplica la primera regla de coincidencia. Por ejemplo, considere el siguiente archivo robots.txt:
Agente de usuario: * No permitir: / Agente de usuario: Google Rechazar:
El archivo robots.txt anterior no permitiría que todos los robots web indexen ninguna página del sitio web, excepto el robot web de Google.
Conclusión
Si posee un sitio web de WordPress , definitivamente debería utilizar un archivo robots.txt. Este archivo se utiliza para indicar a los robots de los motores de búsqueda, también conocidos como rastreadores web, qué páginas de su sitio web pueden indexar y rastrear.
Quizás se pregunte por qué necesitaría utilizar un archivo robots.txt si su sitio web de WordPress ya está configurado para ser indexado por los motores de búsqueda . La respuesta es que un archivo robots.txt le brinda más control sobre cómo los motores de búsqueda indexan su sitio web.
Por ejemplo, digamos que tienes un sitio web de WordPress con un blog y una tienda WooCommerce . Es posible que desee que los motores de búsqueda indexen las publicaciones de su blog para que las personas puedan encontrarlas cuando busquen palabras clave relacionadas con su contenido. Sin embargo, es posible que no desee que los motores de búsqueda indexen sus páginas de WooCommerce porque no desea que las personas encuentren las páginas de sus productos antes de llegar a su sitio web.
En este caso, utilizaría un archivo robots.txt para indicar a los motores de búsqueda que solo indexen las páginas de su blog. Esto le daría más control sobre cómo las personas encuentran su sitio web y garantizaría que lleguen al destino previsto.
Hay otras razones por las que es posible que desee utilizar un archivo robots.txt en su sitio web de WordPress. Por ejemplo, si tiene páginas protegidas con contraseña , puede utilizar el archivo robots.txt para indicar a los motores de búsqueda que no indexen estas páginas. Esto garantiza que solo las personas con la contraseña puedan acceder al contenido de estas páginas.
En general, utilizar un archivo robots.txt en su sitio web de WordPress es una buena idea si desea tener más control sobre cómo los motores de búsqueda indexan su sitio web. También es una buena idea si desea proteger ciertas páginas de su sitio web para que no sean indexadas.
Prima
Este es un consejo adicional muy breve: no olvide agregar el enlace del mapa de su sitio dentro del archivo robots.txt.
