Envíanos tu consulta

Buscar cursos

Catálogo 2024

¡Últimas plazas!Cursos Servicios FUNDAE Plataforma LMS

Solicitar información

Buscar cursos

Solicitar información

Cursos/Cursos de Desarrollo Web/Curso Procesado de datos en streaming con Spark Streaming en Scala

Curso completo de Procesado de datos en streaming con Spark Streaming en Scala

DISPONIBLE EN MODALIDAD:

Aula Virtual Personalizada

Aprende a instalar, desarrollar, configurar y gestionar la infraestructura relacionada con el broker de mensajería en streaming con Spark Streaming con Scala y aprende todo lo necsario para procesar los datos y sacarles la máxima utilidad

Formación en Procesado de datos en streaming con Spark Streaming en Scala bonificable para empresas

¿A quién va dirigido?

Administradores de sistemas, con experiencia en administrar Spark, desarrolladores Scala o devops que tengan que instalar o gestionar la infraestructura relacionada con el broker de mensajería en streaming con Spark Streaming

Objetivos

Adquirir los conocimientos necesarios sobre streaming de datos utilizando Spark Streaming
Aprender a trabajar con diferentes tipos de operaciones de tratamiento de datos en Scala
Aprender a administrar y gestionar clusters Spark para streaming de datos
Conocer cómo escalar y monitorizar la infraestructura de servidores
Conocer las herramientas que ofrece Spark Streaming sobre securización y cómo aplicarlas

¿Qué vas a aprender?

Requisitos

Tener experiencia desarrollando con Scala, realizando consultas SQL y haber trabajado con Spark
Tener acceso (revisar configuraciones proxy en caso de tenerlas) a una cuenta Community de Azure Databricks para realizar los laboraorios de Spark
Tener una computadora con acceso a un usuario con permisos de instalación y configuración
Tener un IDE listo para desarrollar con Spark y Scala, Docker Desktop y Git inslatados previamente

Temario del curso

tema 1

Introducción a Spark Streaming y Procesado de Datos en Streaming

¿Qué es Spark Streaming y por qué es importante en el procesamiento de datos en streaming?
Ventajas del procesamiento en streaming en comparación con el procesamiento por lotes
Escenarios de uso de Spark Streaming en diferentes aplicaciones y casos de uso
Comparación con otras soluciones de procesamiento en streaming
Integración de Spark Streaming desde Scala en proyectos Scala

tema 2

Fundamentos de Spark Streaming

Arquitectura y componentes principales de Spark Streaming
Modelos de programación en Spark Streaming: DStream API y DataFrame API
Procesamiento por lotes vs. procesamiento en streaming en Spark Streaming
Ciclo de vida de una aplicación de Spark Streaming
Configuración y despliegue de Spark Streaming en diferentes entornos

tema 3

Programación de Aplicaciones en Streaming con Spark Streaming

Desarrollo de aplicaciones en streaming con la API de DStream
Transformaciones y operaciones básicas en Spark Streaming
Ventanas de tiempo y procesamiento de datos en ventanas en Spark Streaming
Control de tiempo y manejo de eventos en Spark Streaming
Manejo de estado y persistencia en aplicaciones de Spark Streaming

tema 4

Operadores Avanzados y Procesamiento de Eventos Complejos

Uso de operadores avanzados en Spark Streaming: flatMap, reduce, join, etc.
Patrones de procesamiento de eventos complejos en Spark Streaming
Implementación de patrones de procesamiento de eventos complejos
Uso de patrones de ventanas avanzadas en Spark Streaming
Aplicación de técnicas de optimización y rendimiento en aplicaciones de Spark Streaming

tema 5

Administración y Monitorización de Aplicaciones en Spark Streaming

Configuración y gestión de clústeres de Spark Streaming
Monitorización y análisis de rendimiento de aplicaciones de Spark Streaming
Implementación de políticas de tolerancia a fallos y recuperación en Spark Streaming
Escalado y alta disponibilidad en Spark Streaming
Uso de herramientas de monitorización externas (Prometheus, Grafana) para Spark Streaming

tema 6

Gestión de Estado y Persistencia en Spark Streaming

Manejo de estado en aplicaciones de Spark Streaming
Configuración de mecanismos de persistencia y almacenamiento en Spark Streaming
Uso de bases de datos externas y sistemas de almacenamiento en Spark Streaming
Implementación de checkpoints y puntos de control en Spark Streaming
Migración y actualización de aplicaciones de Spark Streaming con cambios de estado

tema 7

Procesamiento de Datos en Batch con Spark Streaming

Uso de la API de DataFrame en Spark Streaming para procesamiento por lotes
Transformaciones y operaciones básicas en aplicaciones de Spark Streaming en batch
Optimización de rendimiento en el procesamiento de datos por lotes en Spark Streaming
Integración de aplicaciones de Spark Streaming en batch y streaming

tema 8

Administración de Recursos y Optimización en Spark Streaming

Gestión de recursos y configuración avanzada en Spark Streaming
Estrategias de particionamiento y asignación de recursos en Spark Streaming
Optimización de rendimiento en aplicaciones de Spark Streaming
Uso de herramientas y técnicas para el análisis y optimización del rendimiento en Spark Streaming
Ajuste de parámetros de configuración y recursos en Spark Streaming
Análisis y resolución de cuellos de botella en aplicaciones de Spark Streaming
Estrategias de escalado horizontal y vertical en clústeres de Spark Streaming

tema 9

Procesamiento de Datos en Streaming Avanzado con Spark Streaming

Procesamiento de datos en ventana deslizante y ventana de sesión en Spark Streaming
Uso de funciones de ventana personalizadas en aplicaciones de Spark Streaming
Procesamiento de datos en tiempo real con latencia ultrabaja en Spark Streaming
Procesamiento de datos de alta velocidad y volumen en Spark Streaming
Integración de Spark Streaming con sistemas externos de almacenamiento y procesamiento

tema 10

Administración de Seguridad en Spark Streaming

Configuración de autenticación y autorización en Spark Streaming
Gestión de roles y permisos en aplicaciones de Spark Streaming
Implementación de mecanismos de seguridad en clústeres de Spark Streaming
Configuración de conexiones seguras (TLS/SSL) en Spark Streaming
Prevención de ataques y mitigación de riesgos de seguridad en Spark Streaming

tema 11

Patrones Avanzados de Procesamiento en Streaming con Spark Streaming

Implementación de patrones de agregación y reducción en Spark Streaming
Uso de patrones de correlación y ventana temporal en Spark Streaming
Procesamiento de eventos fuera de orden y manejo de retrasos en Spark Streaming
Implementación de patrones de enriquecimiento y transformación en Spark Streaming
Uso de patrones de detección de anomalías y aprendizaje automático en Spark Streaming

tema 12

Proyecto Final: Desarrollo de una Solución de Procesamiento en Streaming con Spark Streaming y Scala

Definición y alcance del proyecto final
Diseño y planificación de la solución de procesamiento en streaming con Spark Streaming y Scala
Implementación de la solución utilizando Spark Streaming y herramientas relacionadas en Scala
Pruebas, despliegue y evaluación de la solución final
Presentación y demostración del proyecto final

Testimonios de nuestros clientes

“Empecé a formarme recientemente con ellos y estoy muy sorprendido de la metodología y la calidad de los contenidos. He hecho varios cursos online con otros proveedores pero con ninguno he terminado tan satisfecho como con Imagina.”

“Mi empresa contrató un Aula Virtual Personalizada con Imagina, después de tener malas experiencias con otras academias y nos sorprendió la profesionalidad con la que trabajan. Hicimos 3 reuniones técnicas con Martín antes de empezar la formación y quedamos encantados con el resultado, sin duda repetiremos.”

Curso de Procesado de datos en streaming con Spark Streaming en Scala bonificado para Empresas a través de FUNDAE

Somos entidad organizadora de FUNDAE, todas nuestras formaciones se pueden bonificar hasta el 100%, sujeto a vuestro crédito disponible y a cumplir con todos los requisitos de realización establecidos por la Fundación Estatal para el Empleo.

Si desconoces el funcionamiento de las bonificaciones, ofrecemos el servicio de gestión en FUNDAE, consúltanos cualquier duda que te surja.

Descargar Guía FUNDAE

Contáctanos

¿Qué formación necesitas?

En Imagina llevamos más de 14 años ofreciendo formación para empresas, estamos especializados en el área técnica y de ofimática, adaptando nuestras formaciones a vuestras necesidades. Déjanos tus datos, y nos pondremos en contacto contigo para informarte sobre el curso que mejor se ajuste a lo que buscas. Cuéntanos tus necesidades y podremos asesorarte sobre la modalidad que mejor se adapte: Curso Online o Aula Virtual Personalizada