Robots txt

El fichero robots.txt es un archivo de texto que dicta unas recomendaciones para todos los crawlers y robots de buscadores.
Un crawler es un robot de una entidad (generalmente buscadores) que acceden a las páginas web de un sitio para buscar información en ella, añadirla en los buscadores, etc. También son llamados spiders, arañas, bots o indexadores.
Googlebot es el nombre del crawler del buscador Google. También existen otros. Si establecemos un control en nuestro robots.txt, podremos conseguir una serie de beneficios.