Base de datos en la nube Snowflake con ELT (Airflow + Python + Talend)

Base de datos en la nube Snowflake con ELT (Airflow + Python + Talend)

Aprenda a integrar herramientas ETL con Snowflake y aproveche Airflow para ELT con snowflake. Procese más de 250 GB de datos. Flujo ELT.

Lo que aprenderás

Base de datos en la nube Snowflake con ELT (Airflow + Python + Talend)

  • Aprovechamiento del almacenamiento de datos en la nube de copos de nieve con Talend.
  • Conceptos básicos de Talend.
  • Conceptos básicos sobre el flujo de aire.
  • Construcción de Dags de flujo de aire.
  • Conecta el copo de nieve con pitón.
  • Auditando los comandos del copo de nieve.
  • Captura de métricas de costo y rendimiento.
  • Máquina virtual con flujo de aire preconfigurado.
  • Proyecto de extremo a extremo para cargar datos de tráfico de Nyc (250 + GB).

Requisitos

  • Este curso utilizará software de caja virtual.
  • Se requiere un espacio en disco de ~ 30 Gb para ejecutar la máquina virtual.

Descripción

En nuestro curso anterior Clase magistral de copo de nieve [Real time demos+Best practices+Labs] profundizamos y comprendimos los fundamentos del copo de nieve, resolvimos muchas tareas y comprendimos las mejores prácticas para cargar y descargar datos.
Además, evaluamos de cerca la mayoría de las características de los copos de nieve para comprender cómo funcionan bajo el capó. A través de estas discusiones, se dio cuenta de cómo usar Copo de nieve eficientemente.

LEER
Curso completo de certificación de estrategia de opciones sobre acciones de Butterfly

Faltaba una pieza, Cómo construir y orquestar flujos de trabajo ETL en Snowflake. Este curso se trata solo de eso.

En este curso, vamos a aprender,

  1. Cree flujos de trabajo en Flujo de aire.
  2. Apalancaremos Talend capacidades para construir código genérico para ingerir datos y procesar datos en snowflake.
  3. Construiremos tablas de auditoría y registraremos cada comando que disparemos al copo de nieve. Registre el tiempo consumido para cada tarea y capture créditos de copos de nieve.
  4. Una vez que creemos el marco, crearemos un flujo de trabajo para procesar y transformar un volumen de más de 250 GB de datos de tráfico de la ciudad de Nueva York.
  5. Por fin, conectaremos el Copo de nieve con pitón y escribir código para capturar estadísticas de los datos que cargamos en el copo de nieve.
  6. también tendrá acceso a preconfigurados Cuaderno Jupyter para ejecutar su código de Python en el Copo de nieve.

Si no ha trabajado anteriormente con Talend, Airflow y Python, no se preocupe, son herramientas muy simples, le proporcionaré la introducción necesaria.

Estoy seguro de que aprenderá mucho de este viaje. ¡¡Nos vemos en el curso !!

Más Información

Deja una respuesta

Tu dirección de correo electrónico no será publicada.

Subir

Este sitio web utiliza cookies para ofrecerle una mejor experiencia de navegación, si continua en navegando consideramos que acepta su uso.