Introducción a Mbot web-crawler

Mbot fue creado en 2010 para cubrir las necesidades específicas de los investigadores en Documentación que se enfrentaban al estudio de la web desde el punto de vista web-métrico. Las herramientas disponibles hasta el momento como Nutch o Heritrix, aun siendo profesionales, resultaban demasiado complejas de configurar y sus datos, difíciles de tabular. Ello unido a la falta de iniciativas en España, condujo al desarrollo del primer web-crawler multipropósito.

Mbot está especialmente indicado para el desarrollo de análisis temáticos de la web. Esto significa que es posible realizar micro estudios web-métricos que ayuden a comprender la composición de la web en un determinado área de conocimiento, su nivel de interrelación, cuáles son los contenidos más importantes o qué importancia tienen con respecto al resto de elementos analizados.

Durante los procesos de análisis de la web, Mbot organiza y tabula la información automáticamente generando una base de conocimiento en la que se distribuyen y clasifican los tipos de páginas web según sus formatos y las referencias a los archivos de imagen, audio, vídeo. Por otra parte, almacena las meta-etiquetas estándar y los metadatos Dublin Core, para permitir estudios de recuperación de información y posicionamiento en buscadores. Además, Mbot está diseñado para detectar canales de sindicación, redes semánticas y ontologías, de forma tal que puede realizar tareas de minería de datos especializadas, recabando información primaria a partir de un análisis en profundidad de la web. También es posible configurar Mbot, para la extracción masiva de correos electrónicos, códigos fuente, así como la indexación del texto completo de las páginas web que analizada, función que lo habilita para constituirse no sólo como bot sino como buscador en sí mismo. Si bien Mbot, no tiene por objetivo rivalizar con los grandes rastreadores y robots de búsqueda, sí representa una alternativa eficaz para instituciones y empresas cuyo objetivo es reducir la dependencia de terceros proveedores de servicios de búsqueda y mantener el anonimato de sus consultas, siempre y cuando éstas estén focalizadas a una temática concreta.

Mbot tiene una larga trayectoria científica que avala el continuo desarrollo y mejora de las técnicas de crawling y análisis investigadas. La primera prueba pública tuvo lugar en el año 2010, cuando se publicaron las primeras pruebas del Mbot web-crawler. En el año 2011, se realizó la primera prueba de importancia, consistente en el análisis comparado del sitio web de la NASA con respecto a la ESA, que fue presentada en el X Congreso del capítulo español de ISKO. Poco después, en la X Conferencia de Sistemas, cibernética e informática CISCI, celebrada en Florida, se demostró la capacidad de integración de Mbot en programas de gestión de fuentes de información como Cúmulus. En 2012, con motivo del primer seminario Hispano-Brasileño de Documentación, se presenta el análisis web-métrico de los medios de comunicación brasileños, analizando prensa, radio y televisión, obteniendo además el primer mapa de la web de medios de comunicación de Brasil. En 2013, el web-crawler Mbot se presenta en las XIII Jornadas Españolas de Documentación FESABID, aportando un análisis de la web de la universidad española, generando también el primer mapa de la web universitaria española. Desde mayo de 2013 hasta agosto de 2013, se ha desarrollado un importante proceso de modernización y mejora de Mbot, que ha dado lugar a un algoritmo de rastreo más perfeccionado, que ha desembocado en una mejora sustancial de la capacidad y precisión originales del programa, obteniendo una eficacia próxima al 93,45%.

Módulos de Mbot

Denominación del módulo		Descripción
Configuración	Configuration	El módulo de configuración permite establecer los parámetros de funcionamiento del web-crawler. Estos son los datos básicos de instalación, conexión a servidores de correo, método de ejecución del web-crawler, elementos y contenidos sometidos al análisis, aplicación de filtros, parámetros de control de ejecución.
Mantenimiento	Maintenance	El módulo de mantenimiento hace posible que la optimización de tablas, la desfragmentación del cache de consulta en base de datos MySQL, la reparación de tablas y la re-numeración de registros.
Administración	Admin	Apartado para la gestión de administradores. El web-crawler está diseñado para ser operado por varios usuarios a la vez.
Semilla	Seed	El módulo de semilla permite editar la lista de enlaces activa para el web-crawler. Antes de ejecutar el web-crawler el primer paso es establecer la semilla en este módulo, guardarla y repararla.
Ejecución	Execute	El módulo de ejecución ha sido ha sido diseñado para funcionar con distintos modos de control de ejecución, por lo que es posible visualizar el avance del análisis, así como los documentos y formatos de contenidos que extrae durante el proceso. Además consta de la opción de paralizar el trabajo de análisis y retomarlo posteriormente cuando sea necesario, lo que permite que cualquier investigador o especialista pueda operar con equipos informáticos no dedicados, poco preparados o no profesionales.
Informes	Reports	Mbot ofrece información pormenorizada sobre cualquier aspecto cuantificable. -         Análisis de datos general, nivel por nivel. -         Análisis de dominios de primer y segundo nivel. -         Análisis general de formatos de archivo. -         Análisis general de enlaces internos y externos. -         Análisis de enlaces internos y externos dominio por dominio. -         Ranking de páginas web más enlazadas. -         Ranking de sitios web más enlazados. -         Meta-etiquetas por dominio. -         Texto de meta-etiquetas por dominio y página. -         Análisis de frecuencias TF de meta-etiquetas. -         Metadatos por dominio. -         Texto de metadatos por dominio y página. -         Análisis de frecuencias TF de metadatos. -         Ranking de sitios web con más páginas web. -         Ranking de sitios web con más contenidos y documentos. -         Ranking de sitios web con más canales de sindicación. -         Exportación de canales de sindicación. -         Análisis de la macroestructura de la web con los componentes IN, MAIN, OUT, T-IN, T-OUT, TUNNEL. -         Análisis de coenlaces. -         Exportación de archivo gráfico de tipo DOT para generar diagrama gráfico de la web analizada.
Herramienta de correo	Mailing tool	Dada la capacidad de recopilación de correos electrónicos del webcrawler, se ha desarrollado una herramienta completa para realizar envíos masivos de correos electrónicos, permitiendo la edición completa de mensajes en texto plano y HTML, la inclusión de documentos adjuntos, así como la capacidad de envío anónimo.
Lista Robinson	Robinson list	El módulo lista Robinson, permite crear una lista de correos electrónicos excluidos del envío masivo de e-mails con la herramienta de correo masivo.
Buscador	Search	Mbot dispone de un sistema de recuperación completamente integrado. Diseñado para realizar consultas sobre el contenido analizado, gracias a su método de indexación patentado y al proceso de depuración textos desarrollado ex-profeso para el programa.

Tabla 9. Módulos del programa Mbot

Almacenamiento de datos en Mbot web-crawler

Campo	Descripción
id	Identificador auto-numérico.
url1	El campo url1 identifica la URL principal objeto de análisis siempre que el campo url2 quede vacío. Si url2 consta de contenido, el campo url1 representa la dirección de procedencia.
url2	El campo url2 identifica la URL principal objeto de análisis siempre que el campo nlevel indique un valor superior a N1; por ejemplo N2, N3, N4…
date	Fecha y hora de registro en formato ISO 8601.
updated	Fecha de actualización del registro.
nlevel	Nivel de profundidad del análisis. Por defecto el sistema se ha diseñado para contemplar hasta 10 niveles.
rankmbot	Valor de ranking interno.
rankgoogle	Valor de pagerank de Google.
title	Título de la página web.
metatag	Contenido de las Meta-etiquetas HTML  <meta> no identificadas como Dublin Core.
metadata	Metadatos Dublin Core básicos (prefijo DC) y refinamientos (prefijo DCTERMS).
linkmap	Recopilación de todos los enlaces de la página web analizada, separados por barras verticales ( | ) para facilitar su manipulación como arrays o matrices de datos.
linksync	Recopilación de enlaces a canales de sindicación RSS, Atom y RDF 1.0,  separados por barras verticales ( | )
linkdoc	Recopilación de todos los documentos en formatos pdf, doc, rtf, xls, ppt, etc. separados por barras verticales ( | )
linkimg	Enlaces a imágenes, separadas por barras verticales ( | )
linkaud	Enlaces de archivos de audio, separadas por barras verticales ( | )
linkvid	Enlaces de archivos de vídeo, separadas por barras verticales ( | )
sourcecode	Código fuente completo de la página analizada. Utilizado para detectar errores de usabilidad, codificación, accesibilidad etc.
indexer	Texto completo indexado de la página web.

Tabla 10. Estructura de la tabla de datos de Mbot