Multimedia (imagen, audio y video)
En el caso del análisis de imágenes, su importancia es creciente, ya que cada vez se disponen de mejores técnicas, y cada vez somos capaces de “entender” mejor lo que una imagen muestra.
Además el contenido multimedia ha pasado a ser mucho más relevante en la web. Hoy en día la publicidad que mejor se paga es aquella que va insertada en el video, pero no de cualquier manera, con lo que entender el contenido multimedia, la imagen, el video, lo que se dice, etc., es cada vez más importante.
Del mismo modo, en el marco de la automatización, las noticias se generan de modo semiautomático, y la selección de la imagen que mejor acompaña al texto pasa a ser una tarea semiautomática, con lo cual resulta de vital importancia el “entender” la imagen, y saber si la imagen contiene una cara, una persona o cualquier objetivo, y más aún incluso identificar quien es la persona que se muestra en la imagen.
Texto
En este aspecto, Hispavista Labs ha trabajado en la detección de contenido inadecuado, y de contenido adulto en imágenes, por el impacto que ello tenía en sus negocios, dado que la inservicón de publicidad en contenido de este tipo puede llevar al beto de un portal, con el impacto económico que esteo puede tener.
Estos proyectos han servido a Hispavista Labs para dotarse de los conocimientos necesarios para
Procesar las imágenes y generar histogramas (HoG descriptors para detección de objetos),
Aplicar filtros
Cambiar los sistemas de referencia (espacios de colores, HSV, YCbCr)
Detectar bordes
Imágenes
Con el objetivo, al igual que con los textos, de convertir las imágenes en sistemas numéricos, matrices, para su posterior procesamiento en busca de:
Estos proyectos han servido a Hispavista Labs para dotarse de los conocimientos necesarios para
Clasificación de imágenes
Detección de imágenes de cierto tipo
Detección de objetos (personas, marcas, coches, …)
Detección de comportamientos anómalos y/o errores
Vídeo
Todo ello, además de en contenidos tradicionales, tiene aplicación en los nuevos desarrollos que ha llevado a cabo Hispavista Labs en el mundo del Internet de las cosas. Más concretamente, en una de sus últimas iniciativas DomoAlert, centrado en la domótica inalámbrica busca proporcionar servicios de seguridad en el hogar. Para ello es necesario el procesamiento de video en tiempo real para la detección de intrusiones, seguimiento de objetos o personas, detección de personas distintas a las habituales, etc.
Para todo ello, Hispavista Labs utiliza diversos sistemas, que si bien los de procesamiento y análisis son los mismos que se emplean en la parte de procesamiento de lenguaje (aunque sean funciones diferentes), en el caso específico de la imagen, se emplean:
OpenCV
VLFeat
Si bien hasta el momento para estas tareas se ha venido trabajando con Tekniker y Vicomtech, el objetivo es queHispavista Labs, como unidad de I+D+i que ha desarrollado el resto del proyecto sea capaz de asumir también ciertas tareas en este ámbito.
Pero adicionalmente, en el caso del contenido multimedia los problemas que se plantean son otros, y estos son la codificación, el ancho de banda, el procesamiento en tiempo real, etc.
Es por ello que, una vez más, necesitamos de un equipo multidisciplinar con grandes conocimientos de análisis y cálculo, pero en el equipo también hace falta gente experta en el dominio de aplicación, que sepa qué features aportan valor, que análisis conducen a algo y cuáles no, y finalmente, expertos en sistemas que sepan balancear la carga de los servidores, saber los mejores formatos y codecs en cada caso, y poder dimensionar las soluciones ajustadas en todo momento.
En definitiva se necesita un científico de datos en el ámbito de las imágenes y del contenido multimedia, que aporte valor específico a dichos contenidos.