Desde la aparición de las arañas web, esas maquinas que navegan por Internet indexando todas las paginas que encuentran para luego incluirlas en los índices de búsqueda de los buscadores, surgió la necesidad de crear un protocolo de comunicación con dichas arañas. Nació la idea del fichero robots.txt, las arañas al final son ordenadores programadas [...]