Posts on ‘April 12th, 2007’

Interesantísimo articulo en Search Engine War donde descubre lo que podría considerarse como una “vulnerabilidad” en Google.
El articulo muestra como aunque un webmaster haya específicamente indicado a Google que no indexe sus paginas a través del archivo robots.txt, es posible que estas aparezcan en los resultados de búsqueda en Google si alguien hace un enlace [...]

Desde la aparición de las arañas web, esas maquinas que navegan por Internet indexando todas las paginas que encuentran para luego incluirlas en los índices de búsqueda de los buscadores, surgió la necesidad de crear un protocolo de comunicación con dichas arañas.
Nació la idea del fichero robots.txt, las arañas al final son ordenadores programadas para [...]