Posts Tagged ‘googlebot’

La Web Invisible y GoogleBot

Tuesday, April 15th, 2008

Existe una gran cantidad de información en Internet que solo es visible una vez se ha lanzado una consulta a través de un formulario html y que no es accesible para las arañas (crawlers), esta información valiosísima configura lo que Google denomina la Invisible Web (Web invisible).

Google ha anunciado en su blog oficial de Webmasters Central que va a indexar los resultados obtenidos tras lanzar consultas a formularios html ( Crawling through html forms).

Resalta que lleva algun tiempo haciendo pruebas y que su idea es “seguir” (follow) unicamente los formularios de web que considere de alta calidad y que no esten “prohibidas” a traves del robots.txt, nofollow o noindex.

En su post cuenta también que  “seguirá” formularios que utilicen protocolos GET y que no incluyan campos de contraseña o campos de caracter personal.

Es curioso también, como especificamente menciona la NO perdida de PageRank de otras paginas del sitio, explicitamente dándole  una vez mas relevancia a la técnica de “Link Sculpting”