Cada vez que nosotros,accede a una página web determinada,este acceso es registrado en un log.
Pero como siempre,quien hace la ley hace la trampa,y muchos robots maliciosos pululando por la red.
Mediapartners-Google:
WordPress:
Googlebot
msnbot
Microsoft-WebDAV-MiniRedir/5.1.2600
Evidentemente faltan muchos, pero me he preocupado de poner los más comunes
viernes, 19 de noviembre de 2010
Anatomía de los buscadores!
Los buscadores cuentan con aplicaciones de software para realizar tareas específicas llamados spiders.
Generalmente, el "crawler" tiene una lista de URLs para visitar y almacenar los datos.
Tienen la habilidad de seguir los enlaces,en las páginas web.
Lo primero que solicitan es el archivo robots.txt.
Los spiders funcionan con versiones de los navegadores muy básicas.
La funcionalidad de los spiders como Googlebot es que éstos visitan las mismas páginas,repetidamente.
Están en constante evolución y siempre adaptándose a los nuevos cambios
Mi mejor consejo: si tú o tu equipo está diseñando un nuevo sitio web o desarrollando uno existente, siempre ten en mente a los robots de los buscadores
¿ Como es un Crawles?
Un crawler es un robot de una entidad (generalmente buscadores) que acceden a las páginas web de un sitio para buscar información en ella, añadirla en los buscadores, etc. También son llamados spiders, arañas, bots o indexadores.
¿ Como buscar en buscadores ?
Lo primero, identificar el tipo de buscador
Saber, si es un directorio o un buscador spider.
Guía para búsquedas en los buscadores
Busco una referencia: escriba la referencia en un spider.
Los directorios, no suelen servir para esto, salvo que sea una referencia muy popular.
Una ley o documento: Tome las palabras clave del título, y busque por ejemplo [ ley aguas principado asturias 98/2001 ]. Si no obtiene resultados, quite el 98/2001.
Caso de que no de usted con ello, lo mas probable, es que no exista ese documento en la red, o que su acceso sea de pago. -Los spiders, por si mismos, no pueden entrar en una área segura protegida de una web.
Una información técnica: Es igual que la búsqueda de una ley, salvo que tendremos que rascarnos un poco mas la cabeza para dar rápidamente con lo que se busca.
Busca documentarse sobre un tema: o navegar por webs con páginas de sus gustos, aficiones o intereses.
Consideraciones al buscar
Es indiferente usar mayúsculas y minúsculas.
Es indiferente emplear acentos u otros símbolos especiales.
Palabras de menos de tres caracteres, artículos y preposiciones, no suelen ser muy significativos
Una opción que pueda ser interesante incluida por algunos engines es la de búsqueda exacta o completa,
Qué podemos encontrar en los resultados
No todo está en la red.
Suscribirse a:
Entradas (Atom)