viernes, 19 de noviembre de 2010

Diccionario de buscadores?

Cada vez que nosotros,accede a una página web determinada,este acceso es registrado en un log.
Pero como siempre,quien hace la ley hace la trampa,y muchos robots maliciosos pululando por la red.
Mediapartners-Google:
WordPress
Googlebot
msnbot
 Microsoft-WebDAV-MiniRedir/5.1.2600
Evidentemente faltan muchos, pero me he preocupado de poner los más  comunes

Anatomía de los buscadores!

Los buscadores cuentan con aplicaciones de software para realizar tareas específicas llamados spiders.
Generalmente, el "crawler" tiene una lista de URLs para visitar y almacenar los datos. 
Tienen la habilidad de seguir los enlaces,en las páginas web.
Lo primero que solicitan es el archivo robots.txt.
Los spiders funcionan con versiones de los navegadores muy básicas.
La funcionalidad de los spiders como Googlebot es que éstos visitan las mismas páginas,repetidamente.
Están en constante evolución y siempre adaptándose a los nuevos cambios

Mi mejor consejo: si tú o tu equipo está diseñando un nuevo sitio web o desarrollando uno existente, siempre ten en mente a los robots de los buscadores
 

¿ Como es un Crawles?

Un crawler es un robot de una entidad (generalmente buscadores) que acceden a las páginas web de un sitio para buscar información en ella, añadirla en los buscadores, etc. También son llamados spiders, arañas, bots o indexadores.

¿ Como buscar en buscadores ?

Lo primero, identificar el tipo de buscador
Saber, si es un  directorio o un buscador spider. 
Guía para búsquedas en los buscadores 
Busco una referencia: escriba la referencia en un spider.
Los directorios, no suelen servir para esto, salvo que sea una referencia muy popular.
Una ley o documento:  Tome las palabras clave del título, y busque por ejemplo [ ley aguas principado asturias 98/2001 ]. Si no obtiene resultados, quite el 98/2001.
Caso de que no de usted con ello, lo mas probable, es que no exista ese documento en la red, o que su acceso sea de pago. -Los spiders, por si mismos, no pueden entrar en una área segura protegida de una web.
Una información técnica: Es igual que la búsqueda de una ley, salvo que tendremos que rascarnos un poco mas la cabeza para dar rápidamente con lo que se busca.
Busca documentarse sobre un tema: o navegar por webs con páginas de sus gustos, aficiones o intereses. 
Consideraciones al buscar
Es indiferente usar mayúsculas y minúsculas.
Es indiferente emplear acentos u otros símbolos especiales.
Palabras de menos de tres caracteres, artículos y preposiciones, no suelen ser muy significativos 
Una opción que pueda ser interesante incluida por algunos engines es la de búsqueda exacta o completa, 
Qué podemos encontrar en los resultados 
No todo está en la red.