Nota sobre la evaluación: de forma intercalada en el texto de este artículo encontrará el enunciado de diversas actividades. Para superar esta unidad didáctica deberá realizar estas actividades redactando un informe en el que se incluyan comentarios y una captura de pantalla de cada actividad para ilustrar su realización. Para entregar este informe deberá crear un documento (OpenOffice o Word) de un máximo de 500 Kb y usar el espacio de entrega y notificación perteneciente a este grupo de unidades didácticas. La realización de forma satisfactoria de este ejercicio implicará la obtención de 0,75 créditos.

1. Introducción

Los buscadores son una de esas cosas que una vez que se conocen no se explica cómo se podría vivir sin ellas. La luz eléctrica, el agua corriente, la lavadora... y los buscadores. Quizá sea un poco exagerado presentarlo así, pero pensemos: ¿qué porcentaje de nuestras sesiones en Internet incluyen alguna búsqueda en uno de estos buscadores? Me atrevo a responder por todos vosotros que casi el 100%. En un solo día de trabajo ¿cuántas consultas hacéis en un buscador? ¿Cuántos de vosotros tiene instalada alguna barra de herramientas de un buscador en el navegador? Y más aún ¿cómo sería nuestro uso de la Web si no hubiera buscadores? Muy limitado, sin duda.

La gran necesidad de contar con herramientas de indexación y recuperción de páginas web llevó a que desde el inicio de la Web se desarrollaran este tipo de aplicaciones. En esta unidad vamos a hacer un repaso de la historia de los buscadores.

2. Antes de la Web

Presentar una evolución histórica de los buscadores de la web supone remontarnos muy pocos años atrás, apenas a 1994. Sí podemos intentar echar la vista un poco más para atrás y recordar otros buscadores en los sistemas anteriores a la web, nos referimos al buscador Archie, que servía para localizar ficheros disponibles por descarga FTP, y a los buscadores Veronica y Jughead, que permitían localizar sistemas Gopher.

No estamos hablando por supuesto de mucho más tiempo, todo esto ocurría entre el año 1990 y el 1994, y en cambio tanto estos sistemas de intercambio de información como las herramientas desarrolladas para buscar en ellos han pasado a una historia que nos parece lejana. No deja de ser curioso cómo percibimos el paso del tiempo cuando se trata de recordar eventos en Internet.

Servicio Gopher disponible en la actualidad, http://gopher.floodgap.com/gopher/gw

Actividad: Explore un sistema activo de búsqueda de servicios Gopher, por ejemplo http://gopher.floodgap.com/gopher/gw (aunque como ve se accede desde el navegador web). Navegue por él y localice “el pensamiento del día” en la sección de juegos. Compruebe cómo cada vez que entra en el pensamiento del día éste ha cambiado. Ahora regrese al inicio del buscador Gopher y localice un servicio de previsión meteorológica; encuentre la temperatura de Barcelona en el día de hoy.

3. Los primeros buscadores de la Web

Aunque oficialmente la web nació en 1990, los primeros años apenas se conoció. Había pocos sitios web y las pocas personas que tenían acceso a ella no se requerían buscadores para localizar la información. Pero esto cambió enseguida, la red de páginas enlazadas entre sí creció rápidamente y el número de personas que publicaba páginas y que las consultaba comenzó a aumentar de forma vertiginosa (¡a día de hoy no ha pasado de crecer!), así que se hacía imperiosa la necesidad de contar con buscadores que indexaran los contenidos de las páginas y permitieran buscar sobre algo similar a una gran base de datos descentralizada.

Algunos de los primeros intentos por indexar la recién nacida Web tomaban partes de los documentos, es decir, no indexaban en texto completo, y no tuvieron la aceptación que poco después tuvo WebCrawler (1994), que sí indexaba el texto completo de las páginas, y poco después el conocido Lycos (1994).

WebCrawler existe desde 1994, http://www.thinkpink.com/bp/WebCrawler/History.html . Hoy en día es un multibuscador que usa Google, Yahoo!, Live, Ask y otros buscadores para recoger resultados

1994 y 1995 fueron dos años en que vieron la luz muchos de los buscadores que podemos recordar: Altavista, Excite, Infoseek, Inktomi… y que luchaban por atraer a los ya numerosos usuarios del directorio de Yahoo!

Mientras los directorios (con Yahoo! a la cabeza) basaban su modelo de recuperación de información en una selección de sitios web de interés clasificados en categorías temáticas, los buscadores optaban por la exhaustividad y la consulta booleana para afinar las búsquedas.

Interfaz de Yahoo! en sus primeros años ( http://www.archive.org , octubre de 1996)

A partir de ese momento se vivieron unos años en los que estos buscadores competían entre sí, pero no esperaban la llegada de un sencillo pero bien pensado nuevo actor: Google.

Actividad: De los primeros buscadores citados hasta ahora ¿cuáles de ellos continúan existiendo?

Actividad: Compare las primeras versiones del buscador Lycos con las funcionalidades que ofrece actualmente (le proporcionamos una imagen de cómo era en octubre de 1996, obtenida en http://www.archive.org )

4. Del ranking por semejanza al ranking por popularidad

La llegada de Google al terreno de los buscadores en el año 2001 marca un punto de inflexión en la historia de la recuperación de información a texto completo. Este cambio se debe a la novedosa forma en que el buscador ordena los resultados de las consultas, pues a la similitud entre las palabras que el usuario ha escrito y las que tiene el documento se añade el factor de la popularidad, es decir, los enlaces que cada página web recibe.

Actividad: Consulte lo que Google cuenta sobre su propia historia en http://www.google.com/intl/en/corporate/history.html

y cree una tabla del tiempo en donde se indiquen los hitos más importantes que le han ocurrido a este buscador en estos años.

De forma similar a como se obtienen los índices de impacto en las publicaciones académicas, Google ( y otros buscadores anteriores que no lograron llegar al público de forma masiva) calcula la relevancia que una página web recuperada en función de los factores tradicionales de la recuperación de información y además de este índice de popularidad. Para medir la popularidad de una página web tiene en cuenta el número de enlaces que recibe y la popularidad que a su vez tienen las páginas de las que proceden esos enlaces, es decir, un enlace de una página web muy citada tendrá más peso que otro que proceda de una página web poco citada.

En la actualidad la popularidad es un factor de medida de relevancia que muchos otros buscadores han incluido en su algoritmo de ranking.

Google ha creado el PageRank, un índice que mide la importancia de cada página web en función de diversos criterios. En la barra que se instala en el navegador aparece este dato en cada página por la que se navega

5. Los grandes buscadores

Durante los primeros años de existencia de Google su éxito fue tal que hizo sombra a los demás buscadores, que a su vez fueron incorporando mejoras a sus algoritmos y a sus interfaces.

En especial cabe destacar el caso de Yahoo! y el de Microsoft. Yahoo! fue evolucionando desde el gran directorio hacia un portal que ofrece cada vez más servicios, incluido un buscador, mientras que el directorio ha perdido protagonismo y ya no aparece en la página de inicio.

Por su parte, Microsoft tardó un poco más en tener un robot propio (el llamado MSNBot), pues al principio usaba Inktomi (ahora propiedad de Yahoo!) y su buscador ser llamaba MSN Search, hoy en día Live.

Veamos a continuación una tabla con datos de uso de los 4 buscadores más importantes actualmente: Google, Yahoo, MSN/Live y Ask (todos ellos en la versión del dominio .com). Los datos pertenecen a una muestra de HitWise tomada en Estados Unidos en agosto de 1996, julio de 2007 y agosto de 2007. Google es con diferencia el buscador con más éxito según estos datos.

http://www.hitwise.com/press-center/hitwiseHS2004/ussearchenginesaugust20070920.php

Estos son los tres grandes buscadores que recogen la mayor parte de las búsquedas de usuarios en la web. No hay que olvidar el buscador Baidu, de gran uso en la comunidad internauta de China.

Baidu es un buscador de gran éxito en China

6. Pequeños pero valientes

Con estos tres monstruos en la red hay que ser valiente para salir a escena. Algunos buscadores han entrado con éxito, si bien no han hecho sombra al menos sí son conocidos. Algunos de estos pequeños pero atrevidos buscadores son Teoma, que comenzó ofreciendo una variación del sistema de ranking interesante, puesto que para determinar la relevancia de una página web daba más importancia a los links recibidos desde páginas dedicadas al mismo tema que a los que procedían de páginas de temas ajenos. Teoma fue absorbido por Ask, que a su vez es la evolución del anterior AskJeeves, apreciado en su momento por permitir introducir consultas en lenguaje natural.

Teoma dividía la interfaz de resultados en tres tipos de información: listado de páginas web ordenado por relevancia, sugerencias para acotar la búsqueda y listado de fuentes de prestigio sobre el tema buscado.

Buscando en la base de datos de Archive.org es posible encontrar algunas pantallas de resultados de Teoma como la que presentamos para la búsqueda UFO (ovni en español): http://web.archive.org/web/20030404174747/s.teoma.com/search?q=ufo&qcat=1&qsrc=0

7. Multibuscadores

Desde que comenzó el boom de los buscadores ha habido intentos de recoger en una sola interfaz los resultados obtenidos por distintos buscadores. MetaCrawler fue de los primeros. Otros más recientes son Vivisimo, que innovó con el sistema de clusters para agrupar resultados por similitud, o Kartoo, con una presentación cartográfica de los resultados.

Metacrawler busca simultáneamente en Google, Yahoo!., Live y otros buscadores, reune los resultados y los ordena en función del ranking en el que aparecían en los respectivos buscadores

Actividad: Entre en varios multibuscadores (por ejemplo Metacrawler, Vivisimo y Kartoo) y compruebe qué fuentes utilizan para localizar los resultados

8. Presente 2.0

A grandes rasgos, la evolución de las herramientas de búsqueda ha ido de la creación de directorios o índices a mano a la indexación automática del texto completo. La siguiente revolución vino de la mano de Google y su sistema de ranking. En el presente el éxito de los buscadores va más allá de las búsquedas, han creado sus marcas y los usuarios confían en ellas. Ahora son tres los que se reparten el mercado en un mundo donde todo comenzó siendo gratis y parece que debe seguir siéndolo. La publicidad en buscadores ha sido el otro gran item de su corta historia, en concreto la publicidad contextualizada junto a los resultados de búsqueda.

El otro punto fuerte, precisamente el que crea una distinción entre los buscadores, son los servicios que ofrecen más allá del buscador. Yahoo! Vio clara siempre esta línea y su directorio derivó a un portal del servicios. Google dio otro paso más ofreciendo servicios individualizados como el correo electrónico (Gmail), el paquete ofimático de uso online (Google Docs) y muchos otros (Google Maps, Google Earth, Google Calendar, Blogger, Panoramio, etc.). Por su parte, Yahoo! puso en marcha con gran éxito el servicio de Yahoo! Respuestas, un espacio donde los usuarios plantean preguntas y otros usuarios las responden. Como vemos, los nuevos servicios vinculados a los buscadores exceden a su primer objetivo y van en la línea de la web 2.0

A modo de resumen y para finalizar esta unidad, presentamos esta tabla temporal con los años en que aparecieron algunos de los buscadores más conocidos:

1993
Wandex
Aliweb
robots.txt
1994
EInet Galaxy
JumpStation
Yahoo! (directorio)
WebCrawler
WWWWorm
InfoSeek
Lycos
RBSE
1995
MetaCrawler
Excite
LookSmart
Altavista
Ozú
1996
Hotbot / Inktomi
Dónde?
Ask Jeeves
Backrub / Google
1997
Norther Light
1998
MSN Search
ODP / DMOZ
1999
AllTheWeb
Baidu
2000
Teoma
2003
Seekport
2004
Yahoo! (buscador)
Nutch
Clusty
MSN Search (buscador)
2005
Windows Live
Noxtrum
2006
Exalead (motor Quaero)

Fuente: http://manuales.ojobuscador.com/historia/

9. Bibliografia

Ojo Internet. Historia de la buscadores, http://manuales.ojobuscador.com/historia/

Search Engines, http://en.wikipedia.org/wiki/Search_engines

Buscador, http://es.wikipedia.org/wiki/Buscador

Marcos, Mari-Carmen. " Motores de recuperación de información: análisis comparativo. (Parte I) ". El Profesional de la información, vol. 7, nº 1-2 (enero/febrero 1998), pp. 18-22.

Marcos, Mari-Carmen. " Motores de recuperación de información: análisis comparativo. (Parte II) ". El Profesional de la información, vol. 7, nº 3 (marzo 1998), pp. 13-20