Diagnóstico de infraestructura
Análisis del hardware y los servicios existentes
Big Data — La inversión interna que convirtió a Hispavista Labs en una unidad lista para el dato
Capacitación interna en el ecosistema completo de tecnologías Big Data —Hadoop, Spark, Kafka, OpenStack— para construir la base sobre la que se han apoyado, una década después, los principales proyectos de inteligencia de datos de la compañía.
El reto
Sin dominio interno del Big Data, no se sirve bien a un cliente que pide servicios de datos.
En 2013, las tecnologías de procesamiento masivo de información empezaban a definir la frontera entre las empresas digitales que iban a sostener su posición y las que no. Hispavista Labs, con un negocio basado en internet y una clara apuesta por el Internet de las Cosas, tenía que dominar el ecosistema completo de Big Data —no de forma superficial, sino con criterio arquitectónico— para seguir prestando un servicio diferencial a sus clientes. La pregunta era cómo hacerlo sin disparar la estructura de costes: aplicar los principios de eficiencia y optimización al propio proceso de capacitación.
"Big Data fue una inversión deliberada en capacidad interna. Aprendimos las tecnologías que después han sostenido nuestro trabajo en eólica, industria, smart cities y consumo, y lo hicimos buscando eficiencia desde el primer minuto."
Iker Barrena — Director de Hispavista Labs
Datos del proyecto
Cliente
Proyecto individual interno de capacitación
Periodo
Julio 2013 – Diciembre 2014 (18 meses)
Rol HVLabs
Diseño de la arquitectura, capacitación del equipo y despliegue interno
Tecnología
Hadoop · Spark · Kafka
Timeline del proyecto
18 meses, de la inversión individual a la capacidad operativa
El proyecto encadenó tres bloques: diagnóstico de la infraestructura existente, diseño de la nueva arquitectura y capacitación del equipo en el ecosistema de herramientas seleccionado.
La solución
Cuatro componentes que convierten una infraestructura tradicional en una base Big Data
Diseño arquitectónico orientado a eficiencia
Análisis del hardware existente y diseño de una nueva arquitectura que libera capacidad mediante una mayor carga de los equipos actuales, identificando puntos donde automáticamente entran nuevas máquinas según la demanda puntual. Eficiencia antes que inversión.
Stack Apache desplegado y dominado internamente
Capacitación del equipo en Hadoop para procesamiento batch, Spark para procesamiento en memoria y Kafka para gestión de eventos. Tres pilares del ecosistema Apache que siguen vigentes una década después.
OpenStack como base de virtualización
Infraestructura de gestión, escalado y despliegue construida sobre OpenStack, alineada con la filosofía de software libre que caracteriza el trabajo de HV Labs y permite operar sin dependencias propietarias.
Optimización de logs y datos de uso
Tratamiento estructurado de los logs y datos de uso de los servicios para reconfigurar sistemas en tiempo real según las necesidades de cada momento. La observabilidad operativa como parte del propio sistema.
Por qué te importa
Lo que aprendemos aquí se aplica a cualquier organización que necesita prepararse internamente antes de dar el siguiente salto técnico
Big Data no es solo un proyecto de capacitación interna. Es la base sobre la que después se han construido proyectos como Yawite, DAEKIN, JasanGIS, Janby o J4Match. Cada caso de uso posterior se apoya en las decisiones arquitectónicas y la solvencia técnica adquiridas en este proyecto.
Casos de éxito
¿Tu operación tiene un problema parecido?
Cuéntanos el reto. En 30 minutos te decimos si tiene solución con lo que ya tienes.
"*" señala los campos obligatorios