APIs de Búsqueda Web

Varios proyectos recientes que muestran información estadística sobre las plataformas sociales.

Entre ellos p.ej. http://simplymeasured.com/ . A partir de Tweets, amigos, etc…. estas webs ofrecen Dashboards para dar información acerca del éxito y el seguimiento de tus campañas en redes sociales.

No hay productos similares para la web abierta. La naturaleza de la información que se muestra en la web pública, respecto a las redes sociales, es de distinta naturaleza, y además el punto en el que se encuentra la información, pasa de concentrado en el caso de las redes sociales, a disperso en el caso de la web.

Para cualquier proyecto basado en la web abierta, un primer paso sería obtener una base de datos con el contenido de las webs, para a partir de criterios estadísticos poder clasificar.

No he encontrado ningún servicio en la web que ofrezca la posibilidad de acceso a contenido categorizado de la web.

En cambio, los principales motores de búsqueda, ofrecen Apis o servicios que permiten realizar búsquedas sobre su base de datos (como si lo realizaras como un usuario a través de la caja de texto del buscador):

Google:

Limita el número de peticiones que se hace desde una IP a través del uso de un Captcha, cuando las peticiones se realizan a través de Query URL con el formato : http://www.google.es/search?q=datos-a-buscar
Pues bien Google, hasta finales de 2010, disponía de un servicio de pago que permitía poder realizar un mayor volumen de queries. Este servicio ha sido suprimido y substituido por búsquedas sobre páginas determinadas.

Yahoo:

A través de su Proyecto BOSS (Build your Own Search Service), facilita también en versión de pago, un volumen de consultas de búsqueda.

Bing:

En cambio, el servicio de Microsoft BING, ofrece servicios de búsqueda API de forma gratuita. En este sentido Bing aún no tiene una posición suficientemente afianzada y por eso aún ofrece este tipo de servicio.

 

Como conclusión: es difícil ofrecer servicios estadísticos en la web abierta por la gran dispersión de contenidos. La web semántica parece que tiene que empezar a ofrecer conocimiento agregado a partir de la información dispersa. Proyectos como Wolphram Alpha intentan obtener conocimiento de la información no estructurada presente en la web abierta. En cambio el entorno de las redes sociales, permiten que en un único lugar puedas acceder a toda la información que debe de ser tratada para obtener conocimiento estadístico.

¿El huevo o la gallina?

Intentando comenzar a sumar algún punto de Page Rank, me hago la pregunta de qué páginas tuvieron los primeros PR de la historia.

Es decir, si el Page Rank, es asignado a partir de los enlaces de otras páginas, valorando los valores de Page Rank que estas tienen, alguna tuvo que ser la primera.

Esas primeras páginas, han debido tener una gran influencia en las siguientes asignaciones de Page Rank.

Profundizando en el conocimiento del PR, y como los utiliza Google, encuentro varios posts interesantes,  entre ellos uno de trazos-web, dónde se remarca la importancia de generar contenido de calidad, y la puntuación y calidad, de las paginas que nos enlazan.

Ahora bien, el PR es importante cuando se realizan búsquedas en Google, pero hay otros modos de conseguir accesos, aunque estos son más laboriosos.

Vamos a hacer una prueba de como reacciona Google ante una palabra frecuente : empresas. El objetivo es analizar los primeros 10 resultados, el Page Rank que tienen, para ver, si entre los resultados de búsqueda se establece una ordenación descendiente por PR.

En la búsqueda de la palabra clave empresas, estos son los primeros 10 hits:

1- info-empresas.net :: directorio de empresas — con PR 6 , 2 keywords en el title, 2 keywords en el contenido, y 1 keyword en el link.  BackLinks : 285.

2- Empresas- Wikipedia, la enciclopedia libre– con PR 6 , 1 keyword en el title, 1 keyword en el contenido, 1 keyword en el lik. BackLinks: 143.

3- Guia directorio de empresasy profesionales de España– con PR4 , 1 keyword en el title, 3 keywords en el contenido, y 1 keyword en el link. BackLinks: 66

**- Ignoramos los Resultados de noticias……

4- Canal Empresa— con PR 4 , 1 keyword en el title, 3 keywords en el contenido, y 1 keyword en el link. BackLinks: 98.

5- Buscador y Directorio de Empresasen España – El Corredor Directorio….— con PR 5, 1 keyword en el title, 1 keyword en el contenido , 0 keywords en el link. BackLinks: 127

6- Expansion.com Empresas- Diario Expansión. Líder en información…con PR 5 , 1 keyword en el title, 1 keyword en el contenido , 1 keyword en el link. BackLinks: 281.

7- Portal de creación de empresaspara los emprendedores, asesores y…con PR 4 , 1 keyword en el title, 1 keyword en el contenido, 1 keyword en el link. BackLinks: 30

8-subvenciones, subvenciones empresas, subvenciones autónomos…— con PR 4 , 1 keyword en el title, 1 keyword en el contenido, 1 keyword en el link. BackLinks: 55

9- QDQ Media – Guia telefónica de empresas, profesionales y….—- con PR 6, 1 keyword en el title, 2 keyword en el contenido, 0 keywords en el link. BackLinks: 554

10- Anuncios profesionales para empresas:: popempresas.com– con PR 5 , 1 keyword en el title, 1 keyword en el contenido, 1 keyword en el link. BackLinks: 189

El análisis de estos resultados me lleva a algunas suposiciones, fundadas en la visualización de los resultados, que intentaré justificar en otros posts para otras búsquedas:

1- Todos los resultados, tienen en el Title, la palabra buscada ( parece evidente ).

2- La primera de todas las entradas, tiene 2 keywords en el Title, aunque también tiene un PR de 6.

3- Los resultados devueltos no están ordenados por el Page Rank, sino que intervienen otros criterios.

4- Los criterios que parece puedan intervenir, es la concreción del Title. Carácteres como la “coma” o el “guión”, podrían tirar hacia abajo el resultado.

5- La correlación entre los backlinks y el PR parece evidente.

De momento, hasta aquí. Si alguien ha hecho alguna prueba similar, agradecería me facilitarais el enlace.