Araña El archivo robots.txt no es más que un archivo de texto plano que permite indicar a los robots que analizan nuestro sitio web sobre la organización de nuestro sitio, veremos cómo crearlos y cómo definir las reglas más básicas.

Araña The robots.txt file is nothing more than a plain text file that allows you to tell the robots that analyze our website about the organization of our site. We will see how to create them and how to define the most basic rules.