ETL con Python: de MySQL a BigQuery
Un curso para analistas supercargados
Lo que aprenderás
ETL con Python: de MySQL a BigQuery
- Conéctese a MySQL usando Python
- Conéctese a BigQuery con Python
- Datos ETL de MySQL a BigQuery con Python
- Configurar su entorno para usar Python con MySQL y BigQuery
Requisitos
- Python instalado (por ejemplo, entorno virtual, anaconda, etc.)
- Familiaridad con SQL
- Familiaridad con Python
- Cuenta de GCP para acceso a BigQuery
- Un IDE como VS Code o PyCharm
Descripción
Este es un curso directo y al grano que le permitirá transferir rápidamente datos ETL de MySQL a BigQuery.
Las lecciones de este curso se dividen en breves instructivos. ¡Por lo tanto, puede tomar este curso durante el fin de semana y estar listo para mostrar sus habilidades el lunes por la mañana!
Cosas que cubriremos:
- Configuración
- Configurar una cuenta de GCP
- Credencial y autenticación para seguridad
- Configuración del entorno Python
- Extraer
- Use Python para conectarse a MySQL
- Usa los pandas de Python para exportar datos
- Uso de la biblioteca de Python para guardar archivos en rutas de archivo
- Transformar
- Usa funciones de Python para transformar datos
- Aprenda a usar Python pandas para transformar datos
- Utilice SQL en línea durante la extracción para la transformación de datos
- Carga
- Usa la biblioteca Python de BigQuery
- Conéctese a BigQuery
- Cargar datos en BigQuery
- Cargas incrementales vs truncar y cargar
- Otras opciones de manejo de datos durante la carga
Después de tomar este curso, se sentirá cómodo con las siguientes cosas interesantes:
- Conéctese a MySQL usando Python
- Aprenda a ocultar las credenciales de su base de datos para no exponerlas en su código
- Uso del módulo del sistema operativo con el fin de guardar archivos y codificar menos cosas.
- Utilice Python y la biblioteca de pandas para transformar datos sobre la marcha durante la fase de transformación de su ETL
- Aprenda a usar los módulos / bibliotecas de GBQ para hacer que la carga de datos sea una tarea muy fácil y directa.
¡Diviértete, disfruta y sigue creciendo!