BONUS ( ARAÑAS DE LA RED )

Estas arañas salen todos los días desde los servidores de los buscadores y su objetivo es rastrear el mayor número de páginas Web. Las arañas avanzan, enlace a enlace, por los contenidos de la Red. A través de los diferentes enlaces o links que comunican unos portales Web con otros, las arañan van saltando de un dominio a otro para indexar el mayor número de sitios Web posibles. Cuando llega un sitio Web determinado, la araña trata de rastrear todas las páginas web del dominio. Cuando nos referimos a tratar es que no siempre se garantiza que la araña pueda rastrear el 100% de todo el site. En ocasiones los sitios Web, no están debidamente programados para potenciar su rastreo por parte de la araña del buscadores.

Una vez que la araña o robot llega a una página, comienza a chupar la información en formato texto de dicha página y se la lleva de vuelta a los servidores de datos del buscador. Allí es depositada la información y la araña vuelve a salir en busca de más páginas para indexar. La araña puede visitar un mismo sitio Web varios veces en un día, en una semana, en un mes, etc. La frecuencia de rastreo depende de la frecuencia con la que un determinado sitio Web actualiza sus contenidos. Por ejemplo, los blogs y los periódicos online suelen ser páginas Web que son muy visitados por las arañas de los buscadores dado que actualizan constantemente sus contenidos.



Cuando la araña deposita la información en los servidores del buscador, comienza a crear un índice de cada una de las páginas de las cuales recogen información. El índice es la estructura de datos que el buscador consulta para satisfacer las búsquedas de los usuarios. El índice de un motor de búsqueda es análogo al índice de un libro: son referencias que indican dónde se cubren determinados términos o dónde aparecen ciertas palabras. El proceso de construcción del índice se llama indexación. El índice es una estructura de datos especialmente concebida para que las búsquedas se puedan resolver de modo inmediato.