Cloudera

Big Data Architecture Workshop

21 horas
1395 €
Presencial
Presencial

Acerca de este curso

TASTE OF TRAINING

El Big Data Architecture Workshop (BDAW) es un evento de 3 días que se centra en cuestiones referentes a la arquitectura Big Data avanzada. BDAW reúne a colaboradores técnicos en un entorno grupal para desarrollar y diseñar soluciones a problemas en un entorno empresarial. El taller aborda los problemas de arquitectura de Big Data en general y los aplica al diseño de un sistema complejo y elaborado.

Durante este workshop interactivo, los alumnos aplicarán los conceptos aprendidos en casos reales para discurrir, de manera detallada, los resultados y elegir las mejores soluciones. El workshop está dirigido a alumnos que buscan aprender técnicas para diseñar sistemas de Big Data, no solo de la experiencia que aporta Cloudera con este curso, sino también la que pueden aportarse los participantes unos a otros.

De manera más detallada, BDAW aborda temas avanzados de la arquitectura big data, incluidos los formatos de datos, transformación, procesamiento en tiempo real, batch y machine learning, escalabilidad, tolerancia a fallas, seguridad y privacidad, minimización del riesgo en una arquitectura endeble y una selección de tecnología incorrecta.

A quién va dirigido

Este curso está dirigido a personas con conocimientos en las tecnologías de HDFS, Spark, MapReduce, Hive/Impala, Formato de datos y administración de sistemas de base de datos relacionales. No será necesario tener un conocimiento detallado de la API, no se van a realizar actividades de programación.

El workshop se dividirá en grupos reducidos para discutir los problemas y desarrollar las soluciones. Cada grupo escogerá a una persona, la cual hará de representante del grupo y presentará las observaciones del grupo a los demás. No habrá ningún laboratorio durante la formación, sin embargo, habrá soluciones implementadas en la nube a modo de demostraciones durante el workshop.

Objetivos del curso

El workshop se dividirá en grupos pequeños para discutir los problemas y desarrollar las soluciones. Cada grupo escogerá a un portavoz que presentará las observaciones del grupo a los demás. No habrá ningún laboratorio de programación, pero si habrá soluciones implementadas en la nube para las demos durante el workshop.

Contenidos

Introducción

Casos de uso de la aplicación del Workshop 

  • OZ Metropolitan
  • Cuestiones sobre la arquitectura
  • Actividad en grupo: Caso de uso de la aplicación Metroz

Sección vertical de una aplicación

  • Definición
  • Minimización del riesgo de una arquitectura endeble
  • Elección de una sección vertical
  • Actividad en grupo: Identificar una sección vertical inicial para Metroz

Procesamiento de la Aplicación 

  • Tiempo real, procesamiento inmediato
  • Procesamiento Batch
  • Patrones de acceso a datos
  • Garantía de entrega y procesamiento
  • Canales de Machine Learning
  • Actividad en grupo: Identificar patrones de entrega y procesamiento en Metroz, caracterizar los requisitos del tiempo de respuesta, identificar canales de Machine Learning

Datos de la Aplicación

  • Las tres Vs del Big Data
  • Ciclo de vida de los datos
  • Formato de datos
  • Transformación de datos
  • Actividad en grupo: Requisitos de datos en Metroz

Aplicaciones escalables 

  • Ampliación, previsión, escalar a X
  • Determinar si una aplicación es escalable
  • Estudio: Diseños escalables de una terminal de aeropuerto
  • Escalabilidad en Hadoop y Spark
  • Actividad en grupo: Escalabilidad de Metroz

Tolerancia a fallos en un sistema distribuido 

  • Fundamentos
  • Transparencia
  • Redundancia Hardware vs redundancia Software
  • Tolerancia de desastres
  • Tolerancia a fallos funcional sin estado
  • Tolerancia a fallos con estado
  • Replicación y consistencia de grupo
  • Tolerancia a fallos en Spark y Map Reduce
  • Tolerancia de la aplicación a los fallos
  • Actividad en grupo: Identificar los fallos en los componentes en Metroz y requisitos

Seguridad y Privacidad 

  • Fundamentos
  • Privacidad
  • Amenazas
  • Tecnologías
  • Actividad en grupo: Identificar las amenazas y los mecanismos de seguridad en Metroz

Despliegue 

  • Tamaño del clúster y evolución
  • Físico vs Cloud
  • Edge computing
  • Actividad en grupo: Escoger un despliegue para Metroz

Eleccion de la tecnologia 

  • HDFS
  • HBase
  • Kudu
  • Sistemas de gestión de base de datos relacional
  • Map Reduce
  • Spark, incluyendo streaming. SparkSQL y SparkML
  • Hive
  • Impala
  • Cloudera Search
  • Data Sets y formato de datos
  • Actividad en grupo: Tecnologías relevantes para Metroz

Arquitectura de Software 

  • Objetos de la arquitectura
  • Una plataforma o múltiples, arquitectura lambda
  • Actividad en grupo: Elaboración de una arquitectura de alto nivel, tecnologías escogidas, revisión de una sección vertical
  • Demostración de una sección vertical

Conclusión

Convocatorias abiertas