Data Warehousing with BigQuery: Storage Design, Query Optimization and Administration

Acerca de este curso

En este curso, aprenderás sobre los aspectos internos de BigQuery y las recomendaciones para diseñar, optimizar y administrar tu almacén de datos. A través de una combinación de conferencias, demostraciones y laboratorios, conocerás la arquitectura de BigQuery y cómo diseñar un almacenamiento y esquemas óptimos para la ingestión y modificaciones en losdatos. A continuación, aprenderás las técnicas para mejorar el rendimiento de lectura, optimizar las consultas, administrar las cargas de trabajo y utilizar herramientas de registro y monitorización. También aprenderás sobre los diferentes modelos de precios. Finalmente, explorarás varios métodos para asegurar los datos, automatizar cargas de trabajo y construir modelos de aprendizaje automático con BigQuery ML.

A quién va dirigido

Objetivos del curso

Este curso enseña a los participantes las siguientes habilidades:

• Describir los fundamentos de la arquitectura de BigQuery.
• Implementar patrones de almacenamiento y diseño de esquemas para mejorar el rendimiento.
• Utilizar DML y programar transferencias de datos para la ingestión.
• Aplicar las mejores prácticas para mejorar la eficiencia de lectura y optimizar el rendimiento de las consultas.
• Administrar la capacidad y automatizar las cargas de trabajo.
• Comprender los patrones versus anti-patrones para optimizar consultas y mejorar el rendimiento de lectura.
• Utilizar herramientas de registro y monitorización para comprender y optimizar los patrones de uso.
• Aplicar las mejores prácticas de seguridad para gobernar los datos y los recursos.
• Construir e implementar varias categorías de modelos de aprendizaje automático con BigQuery ML.

Contenidos

Módulo 1: Fundamentos de la Arquitectura de BigQuery

• Introducción
• Infraestructura Central de BigQuery
• Almacenamiento de BigQuery
• Procesamiento de Consultas de BigQuery
• Redistribución de Datos de BigQuery

Módulo 2: Optimización de Almacenamiento y Esquemas

• Almacenamiento de BigQuery
• Particionamiento y Agrupación
• Campos Anidados y Repetidos
• Sintaxis ARRAY y STRUCT
• Recomendaciones

Módulo 3: Ingesta de Datos

• Opciones de Ingestión de Datos
• Ingestión por Lotes (Batch)
• Ingestión en Tiempo Real (Streaming)
• API de Ingestión en Tiempo Real anterior (Streaming Legacy)
• API de Escritura de Almacenamiento de BigQuery
• Materialización de Consultas
• Fuentes de Datos Externos de Consulta
• Servicio de Transferencia de Datos

Módulo 4: Cambio de Datos

• Gestión del Cambio en Almacenes de Datos
• Manejo de Dimensiones de Cambio Lento (SCD)
• Sentencias DML
• Recomendaciones y Problemas Comunes de DML

Módulo 5: Mejora del Rendimiento de Lectura

• Caché de BigQuery
• Vistas Materializadas
• Motor BI
• Lecturas de Alto Rendimiento
• API de Lectura de Almacenamiento de BigQuery

Módulo 6: Optimización y Solución de Problemas de Consultas

• Ejecución de Consultas Simples
• SELECTs y Agregaciones
• JOINs y JOINs Desiguales
• Filtrado y Ordenamiento
• Recomendaciones para Funciones

Módulo 7: Administración de Cargas de Trabajo y Precios

• Slots de BigQuery
• Modelos y Estimaciones de Precios
• Reservas de Slots
• Control de Costes

Módulo 8: Registro y Monitorización

• Monitorización dela Nube
• Panel de Administración de BigQuery
• Registros de Auditoría en la Nube
• INFORMATION_SCHEMA
• Ruta de Consulta y Errores Comunes

Módulo 9: Seguridad en BigQuery

• Recursos Seguros con IAM
• Vistas Autorizadas
• Seguridad de Datos con Clasificación
• Cifrado
• Descubrimiento y Gobiernodel Dato

Módulo 10: Automatización de Cargas de Trabajo

• Programación de Consultas
• Scripting
• Procedimientos Almacenados
• Integración con Productos de Big Data

Módulo 11: Aprendizaje Automático en BigQuery

• Introducción a BigQuery ML
• Cómo Hacer Predicciones con BigQuery ML
• Cómo Construir e Implementar un Sistema de Recomendación con BigQuery ML
• Cómo Construir e Implementar una Solución de Pronóstico de Demanda con BigQuery ML
• Modelos de Series Temporales con BigQuery ML
• Explicabilidad de BigQuery ML.