Imagina

Curso de Big Data con Spark y Scala

Apache Spark es un framework de computación en clúster de código abierto, orientado al procesamiento de datos en tiempo real, que provee de una interfaz para programar clústers con paralelismo de datos implícito y tolerancia a fallos y actualmente es el proyecto de Apache más activo.

¿Qué voy a aprender con este curso de Spark?

Aprenderás a utilizar Spark desde lo más básico utilizando Scala para operar sobre datos, conocerás qué son los clusters y cómo trabajar con ellos, qué es el machine learning y a desplegar aplicaciones.

¿A quién va dirigido?

A todos aquellos desarrolladores que quieran aprender la tecnología de procesamiento de datos en memoria más puntera del mercado.

Objetivos

El objetivo del curso es conseguir que nuestros alumnos conozcan desde 0 el framework Spark y aprendan a utilizarlo de forma eficiente, utilizando Scala como lenguaje de programación..

Duración
Consultar
Requisitos
Para poder afrontar el temario de este curso es recomendable tener conocimientos sobre lenguajes de programación funcionales, en especial Scala.
Bonificación FUNDAE

Quiero recibir información de este curso

*requerido

  • Responsable de los datos: IMAGINA WEB & MOBILE TECHNOLOGIES S.L.
  • Finalidad de los datos: Responder a la información solicitada, envío de boletines de noticias y ofertas.
  • Destinatarios: IMAGINA WEB & MOBILE TECHNOLOGIES S.L. No se cederán los datos a terceros.
  • Derechos: En cualquier momento puedes acceder, recuperar y borrar tu información.

Temario

1

Introducción

  • ¿Qué es Spark?
  • ¿Qué es Hadoop?
  • ¿Qué es HBase?
  • HDFS
  • Principales comandos de HDFS
  • Instalación de Spark
  • Scala
  • Funciones esenciales de Scala
  • Consola de Spark
  • IntelliJ IDEA
  • Arquitectura
  • Componentes
  • Introducción a los RDD en Spark
  • Creación de un RDD
  • Map
  • Filter
  • Flatmap
  • Cache
  • Persistencia
  • RDDs numérico
3

RDD Clave-Valor

  • Introducción a los RDD Clave-Valor en Spark
  • Creación de RDD Clave-Valor
  • Filter
  • MapValue
  • Reduce By Key
  • Group By Key
  • Sort By Key
  • Particionamiento de datos
  • Operaciones Join
4

Apache Spark SQL

  • Introducción a Spark SQL
  • Esquemas
  • Operaciones SQL
  • Opciones de Entrada/Salida
  • DataFrames
  • DataSets
  • Uniones
  • Conjuntos de datos fuertemente tipados
  • Uso de conjunto de datos
  • Conversiones
  • Optimizaciones de rendimiento
5

Machine Learning con Spark

  • Introducción a MLLib
  • Creación de un sistema de ML
  • Regresión Lineal con MLLib
  • Dataframes con MLLib
6

Clusters

  • Estrategias de replicación
  • Creación de un cluster
  • Lanzamiento de trabajos
  • Monitorización de clusters
  • Particionamiento
7

Despliegue

  • Estructura de los proyectos
  • SBT
  • Despliegue de aplicaciones
  • Empaquetado de aplicaciones
  • Spark-Submit
8

Buenas prácticas

  • Recomendaciones de programación paralela
  • Inmutabilidad
  • Uso de lambdas
  • Bucles
  • Uso de funciones dentro de Dataframes
9

Detección de problemas

  • Planes de ejecución
  • Detectando un Shuffle en un procesamiento
  • Probando operaciones que puedan causar un Shuffle
  • Cambiando el diseño de trabajos con dependencias amplias
  • Usando operaciones keyBy para reducir los Shuffle
  • Usando particionadores personalizado
Realiza el curso desde donde quieras gracias a nuestro campus online. Dispondrás de un profesor experimentado en programación y desarrollo que te ayudará y responderá a todas tus dudas.
Tutor personal
Proyecto final
Diploma de certificación
Plataforma online
Disponibilidad horaria
Bolsa de empleo

¿Quieres realizar esta formación sin coste para tu empresa?

¡Sin desplazamientos! Impartimos la formación en tu empresa.

Imagina Formación es una entidad organizadora de la Fundación Estatal de modo que puedes gestionar la formación bonificada de los cursos con nosotros. Nos encargamos de todos los trámites para conseguir la bonificación sin ningún coste adicional. Cumplimos con todos los requisitos para que nuestros cursos sean 100% bonificables.

Consulta disponibilidad y precios

Otros clientes que están aprendiendo con nosotros…

¿Tienes alguna duda? Puedes hablar con uno de nuestros profesores

¡Pregúntanos!

¿Quieres un curso personalizado?

*requerido

  • Responsable de los datos: IMAGINA WEB & MOBILE TECHNOLOGIES S.L.
  • Finalidad de los datos: Responder a la información solicitada, envío de boletines de noticias y ofertas.
  • Destinatarios: IMAGINA WEB & MOBILE TECHNOLOGIES S.L. No se cederán los datos a terceros.
  • Derechos: En cualquier momento puedes acceder, recuperar y borrar tu información.