como se ve un robot spider

Creo que todos sabemos lo que es un robot spider de un buscador. Es el programa que usan los buscadores para explorar todos los enlaces de cada website, siguiendo sus referencias y generando o actualizando un mapa de hiper-relaciones entre websites vinculadas. Una especie de telaraña digital, de ahí el apodo de spiders. Cada buscador tiene el suyo: Google tiene el GoogleBot, Yahoo! el Slurp, Microsoft desarrollo el MSNBot, etc.
Los spiders recorren cada página recabando información, a veces pueden hacerlo sin problemas y a veces no son capaces. ¿Cuando un spider no registra parte de tu web? Cuando utilizas contenidos generados mediante flash, mediante javascript o cualquier tecnología que impide al spider leerlo. Incluso elementos tan arcaicos como los combobox de los formularios pueden ser un problema para los spiders. Inciso: Google nunca descansa y ya está manos a la obra para intentar solventar estos problemas.
Se habla mucho de que hay que intentar escribir las páginas para facilitarles la lectura a los bots, aparte de evitar los elementos ya citados, hay otros consejos como por ejemplo utilizar <div>’s en lugar de <table>’s. Pero ¿Te has preguntado como visualiza un spider tu web? Webconfs ha desarrollado una herramienta que simula como se verían tus páginas a los ojos de un bot.

Spidered Text: el texto visualizado

Todo el texto de tu página que es capaz de ver. Los buscadores han avanzado tanto que son capaces de tomar todo ese téxto como parte del índice.