Qué es un web-crawler

Un web-crawler es un programa de análisis y rastreo de la Web. Su propósito es la indexación de todos los contenidos de la Web. Los motores de búsqueda necesitan los programas web-crawler para actualizar la información de la web e incorporar los nuevos contenidos que son publicados por momentos. Un web-crawler accede a cada dirección URL descargando el código fuente de la página web, almacenándolo en base de datos o en archivos crudos de texto para su posterior aprovechamiento. Dependiendo de la casuística del web-crawler, puede ser diseñado para estructurar y distinguir más o menos información. Por ejemplo existen programas web-crawler especializados en la obtención de los mapas de enlaces, en la indexación de textos, en la organización de archivos audiovisuales, la recuperación de enlaces a documentos ofimáticos, la obtención de canales de sindicación especializados, metadatos, meta-etiquetas, referencias, citas e incluso códigos fuente. El trabajo de almacenamiento y organización de la información es clave para que los usuarios de un buscador puedan realizar consultas de forma rápida y efectiva, convirtiendo a los web-crawler en una pieza fundamental del modelo de recuperación de información actual.

Aplicaciones específicas

• Indexar la Web existente. Implica el análisis exhaustivo de la Web a gran escala, analizando únicamente los vínculos principales entre los sitios y sus páginas, dando prioridad a los enlaces salientes a recursos o dominios externos, frente a los contenidos del propio sitio. El objetivo es obtener todas las relaciones entre sitios y páginas web alojados en servidores y direcciones IP distintas.

• Indexar parte de la Web. El análisis sectorizado o particionado de la web, implica la selección a priori de una colección de enlaces denominada semilla, la cual mantiene un común denominador, por ejemplo la temática, el tipo de dominio, recursos, su topografía o cualquier otro factor que sea objeto de estudio. La indexación parcial de la Web, tiene que como objetivo el análisis pormenorizado de los contenidos y elementos de los que están compuestos cada página o sitio web identificado en la semilla.

• Extraer recursos de la Web. Está vinculado frecuentemente a los análisis de sector de la Web, dada la exhaustividad con la que pueden distinguir la tipología y características de los elementos presentes en los sitios y páginas analizadas. El objetivo principal es por tanto, la estructuración y ordenación de los contenidos para su posterior tratamiento y aprovechamiento, dando origen al concepto de minería de datos y Big-Data.

• Archivar la Web para preservarla. La continua evolución de la Web como medio de distribución y comunión de contenidos, propicia un ciclo vital de la documentación muy extremo, que conlleva el nacimiento, transformación e incluso muerte de los sitios web y sus informaciones. El cambio, principal constante del movimiento y dinamismo de la Web, presenta el problema de la memoria y por ende, del origen de las fuentes de información y contenidos publicados. Dicho de otra forma, es necesario indexar la Web periódicamente, para permitir el acceso a contenidos pretéritos que bien podrían cambiar en su forma o en su contenido e incluso desaparecer, para no volver a ser recuperados posteriormente. Este es el enfoque del web-crawler Heritrix (MARILL, J.L.; BOYKO, A.; ASHENFELDER, M. GRAHAM, L. 2004), empleado para alimentar el portal Internet Archive y recuperar versiones anteriores de un sitio web a través del servicio Wayback Machine.

• Realizar estudios web-métricos. Derivado de los aspectos anteriores, los estudios web-métricos son una consecuencia lógica de analizar la Web cuyo objetivo es su medición cuantitativa. Esto implica el estudio de grafos correspondiente a los enlaces de los sitios web, sus recursos y elementos constituyentes, el análisis de dominios, formatos, metadatos, meta-etiquetas, co-enlaces, macroestructura web y ranking de contenidos más vinculados. Por otra parte, también pueden considerarse los estudios del corpus lingüístico de las páginas web analizadas, determinando por ejemplo el análisis de frecuencias de los términos, factor discriminatorio, simulaciones de reducción morfológica y obtención de muestras de vocabulario.