CiberPrensa

Los robots de búsqueda de Google, esas piezas de software que escudriñan la web para encontrar nuevas páginas, han comenzado una nueva, y mas activa fase de realizar su tarea.

En un blog, Jayant Madhavan y Alon Halevy del equipo de indexado de Google, dijeron que la empresa ha comenzado un experimento con su software de indexado de modo que introduce texto en los formularios de las webs para ver si aparecen páginas no descubiertas anteriormente.

En concreto se dice:

“Los meses pasados hemos estado explorando algunos formularios HTML para tratar de descubrir nuevas páginas y URLs que de otro modo no podríamos indexar para los usuarios que utilizan Google. Este experimento es parte del esfuerzo de Google para incrementar su cobertura de la web. De hecho, los formularios HTML han estado mucho tiempo ahí como puertas de entrada a enormes volúmenes de datos mas allá de los objetivos habituales de los motores de búsqueda”

La nueva forma de indexado de Google solo se aplicaría a sitios de “alta calidad” y no se ejecutaría en sitios con archivos “robots.txt” u otro tipo de mecanismos estándar de evitar el indexado del software.

Para decidir que palabras “teclear” en los formularios, el software de indexado dispondría de una serie de palabras de prueba para la página.

Esta tecnología se parece a otra de una empresa llamada Transformic que recientemente adquirió Google.

Vía | Silicon