Menú
Big Data
Big Data
Hablamos de conectividad, del Internet de las cosas y de una vida que tiende a la automatización de todos los procesos, entre otras cosas, pero se nos pasa por alto un concepto fundamental para que todo este sistema funcione.
Tecnologías como el Machine Learning y la Inteligencia Artificial, incluso el Cloud Computing, no tendrían sentido, ni utilidad, sin algo que aprender y procesar, es por eso que es vital entender al Big Data como el combustible que impulsa las acciones en favor de la automatización. Si no existiera un procedimiento para la captura, procesamiento, almacenamiento y análisis de datos, empresas como Amazon no podrían mostrarnos productos de nuestro interés o Netflix no sabría qué recomendarnos o cuáles series y películas comprar o producir para mantener satisfechos a sus clientes.
Entonces ¿qué es el Big Data?
Qué es el Big Data
El Big Data es el nombre con el que se conoce a un gran volumen de datos que se capta de forma heterogénea y que es procesado para la toma de decisiones en distintos ámbitos. El Big Data se entiende a la perfección cuando definimos las 5 Vs lo caracterizan.
Es importante decir que en un principio eran solo 3 Vs, pero con el tiempo, la misma tecnología del Big Data se ha refinado para ofrecer una solución que sea más eficiente.
El Big Data se fundamenta en 5 Vs
Conozcamos el significado de cada una.
- Volumen. Como su nombre lo indica, actualmente recibimos muchos datos, son tantos que no se podrían procesar de forma convencional. En esencia, el crecimiento del tamaño las bases de datos es lo que originó el desarrollo del Big Data; antes de él, mantener almacenados todos estos datos era muy costoso y su procesamiento era muy lento.
- Velocidad. Se refiere a la rapidez con que esos datos ingresan al sistema de procesamiento. En la actualidad, son millones de personas y dispositivos los que envían y reciben datos, lo que significa que en cuestiones de segundo se acumula muchísima cantidad de información. Esta rapidez hace aún más urgente resolver el problema del volumen, porque si no se procesa, se acumula, entorpeciendo el flujo de la información.
- Variedad. Los datos que se reciben provienen de muchas fuentes y, por lo tanto, llegan en distintos formatos. Así como llegan más datos, también son más variados, haciendo necesarias nuevas tecnologías y metodologías.
- Veracidad. En el análisis de datos, es importante que la información recorrida sea fiable, mientras más veraces, mejor será la calidad de los datos y más limpio será el proceso, resultando en un análisis que muestra una tendencia más ajustada a la realidad.
- Valor. Cuando se habla de valor en Big Data, se refiere a que la recogida de datos resulte en información que ayude a tomar decisiones. Ahora bien, la utilidad de los datos dependerá del área en donde se quiera hacer un análisis. Si la recogida de datos tiene múltiples funciones, entonces los datos no se descartan al menos que no tengan valor en ningún proceso de toma de decisiones.
Tipo de datos que se procesan con Big Data
Como se definió, El Big data trabaja con datos de distintas fuentes y de distintas naturalezas, pero dentro de esa variedad existe tres grandes clasificaciones.
Datos estructurados
Los datos estructurados tienen un formato establecido y la creación de los ficheros para su recogida sigue reglas específicas. Es la forma más tradicional de almacenar información. Por ejemplo, una base de datos relacionales con tablas definidas y dentro de ellas, columnas definidas, son datos estructurados
Datos no estructurados
Estos datos no tienen un formato específico, por lo que no pueden ser almacenados en base de datos tradicionales. Por lo general, la información contenida no se puede clasificar y desglosar en categorías. En la mayoría de los casos, son datos en su forma más natural. Un ejemplo de datos no estructurados es el contenido de presentaciones multimedia, correos electrónicos, documentos de texto, entre otros.
Datos semi estructurados
Estos datos tienen cierta estructura, pero no pueden ser gestionados como los datos estructurados. En estos datos se pueden identificar patrones y la relación entre ellos. Lenguajes de programación como el HTML son un ejemplo de datos semi estructurados.
Tipos de Big Data según su origen
En teoría, siempre que exista un procedimiento para la captura de los datos, se puede aplicar para cualquier fuente. Algunas de las más conocidas son:
- Redes sociales y la web. Esta es la información que genera cada usuario al interactuar en estos espacios. Las búsquedas en motores como Google también son datos que se envían para su procesamiento.
- Datos entre máquinas (M2M). Son los que se generan entre sensores que se integran a los aparatos y dispositivos inteligentes.
- Datos biométricos. Son generados por tecnologías que sirven para la identificación de usuarios. La huella digital y el reconocimiento facial son ejemplo de datos biométricos.
- Compras y otras transacciones. Entre estos datos se pueden incluir llamada, facturas y otros.
- Datos generados por personas. Por ejemplo, al enviar un correo electrónico u otro servicio de mensajería. No solo aplica a texto, sino a todo formato de información.
- Datos organizacionales. Como estadísticas e historiales.
Para qué sirve el Big Data
Sin dudas, la utilidad del Big Data reside en la capacidad de tomar decisiones más acertadas teniendo como sustento una tendencia que se ajusta a la realidad. Para los tomadores de decisiones, contar con esta tecnología supone ahorro en costes, no solo para obtener, procesar y almacenar información, sino que, dependiendo una buena interpretación y de la calidad de los datos, pueden ofrecer soluciones que estén ajustadas al mercado, resultando en una mejor acogida por parte del cliente o usuario.
Imagina que eres una empresa de móviles y quieres hacer mejoras significativas en tu equipo, con la información de millones de usuarios en el mundo, puedes determinar qué es lo que necesitan y así diseñar un producto que satisfaga esa demanda.
Con el avance de tecnologías asociadas como el Cloud Computing, la Inteligencia Artificial y el Machine Learning, no solo se pueden encontrar patrones establecidos por el usuario, sino que el mismo algoritmo puede detectar patrones que lleven a desarrollo de productos, servicios, y en general, soluciones, mejor adaptadas a las necesidades reales del usuario o cliente.
En el caso particular de la empresa, se ha comenzado a entender el valor de este avance tecnológico y algunos aseguran que con Big Data el rendimiento financiero podría mejorar hasta el doble. Asimismo, la toma de decisiones es cinco veces más rápida, dando ventajas frente a la competencia, mientras que la ejecución de las decisiones sería 300% más probable. Con la veracidad de los datos del Big Data es el doble de probable que se tomen decisiones haciendo uso de estos datos.
Cómo funciona el Big Data
El procedimiento estándar para la recogida, procesamiento y almacenamiento de datos en Big Data es el siguiente:
Todo comienza con la captura de la información para lo que se debe conocer el origen de esta y cómo se puede capturar. La captura de datos se puede hacer con distintos métodos como web scrapping, a través de APIs o con servicios como Apache Fume que sirven para recolectar y añadir grandes cantidades de datos. Todo dependerá de los datos que estemos captando. Si se trata de los datos de un sensor de algún equipo conectado al Internet de las cosas, la captura se hará mediante un procedimiento establecido que enviará esos datos a un proceso para su procesamiento y análisis.
Luego que se tienen los datos, se almacenan. En este sentido y debido al volumen de información, no se usan estructuras convencionales. En el caso de datos no estructurados, se pueden emplear sistemas como NoSQL. Asimismo, con el almacenamiento en la nube, se han ido mejorando los sistemas de almacenamientos.
En una tercera etapa, los datos almacenados son tratados para obtener información valiosa de ellos. La forma en que se hace el tratamiento de datos depende de la naturaleza de estos. De manera general, el tratamiento obedece a la búsqueda de patrones, pero ya sabemos que con el Machine Learning, el tratamiento puede ser más complejo.
Por último, los datos son analizados para que generen valor a quien los analiza. El Big Data Analytics se ajusta a la necesidad de cada persona o empresa que toma decisiones.
Herramientas para el Big Data
Como sabemos, para el ciclo de vida de los datos, necesitamos software que nos ayude en cada etapa del proceso. Entre los más conocidos están.
- Hadoop. Permite la gestión, análisis y procesamiento de datos. Es una herramienta de código abierto.
- NoSQL. Ofrece un sistema para almacenar y consultar datos no estructurados.
- Storm. Con este sistema se pueden procesar flujos de datos ilimitados y se puede usar con todos los lenguajes de programación.
- R. Es un lenguaje de análisis estadístico y minería de datos.
- Spark. Este framework permite el procesamiento de datos de forma rápida. Con él se pueden escribir aplicaciones en distintos lenguajes de programación como Scala, R, Java, y Python.
Ejemplos de Big Data
La recogida, procesamiento y tratamiento de datos con Big Data puede ser útil en muchos campos, conozcamos algunos.
- En el marketing es ideal para ofrecer soluciones a la medida gracias a la segmentación del mercado.
- En el deporte se puede colectar datos que ayuden a la mejora del desempeño de atletas. Los datos pueden ser capturados por dispositivos inteligentes.
- En la salud, se usa el Big Data para reducir el tiempo de descodificación de cadenas de ADN.
- En la industria sirve para el desarrollo de nueva tecnología y equipo de funcionamiento autónomo. Es importante recordar que la información recolectada con Big Data es el combustible de muchos procesos de aprendizaje de las máquinas.
- Hablando de casos específicos, T Mobile usa Big Data para mejorar la retención de clientes. En Spotify ha sido útil para hacer campañas masivas más llamativas. Por su parte, Nike implementa el Big Data para obtener información de millones de usuarios, lo que ayuda a la empresa a idear planes de fidelización de sus clientes.