Herramientas

FUENTES DE DATOS

Origen desde el cual se pueden obtener, recolectar o extraer datos para su análisis, almacenamiento o procesamiento. Las fuentes de datos pueden ser de diversos tipos ejemplo: base de datos relacional, datos semiestructurados, datos no estructurados, servicios y microservicios (API), datos de internet, etc.  

INGESTA

El objetivo es automatizar el proceso de ingesta con las herramientas propuestas.

• Batch: Recopilación y captura de datos en un horario definido (Ej. proceso de ingesta datos a la 6:00 AM de lunes a viernes).

• Streaming: Recopilación y captura continua de datos en tiempo real, los datos se transmiten y procesan a medida que se generan.

ALMACENAMIENTO

• Zona de fuentes: Lugar donde se almacenan los datos en su formato original (por ejemplo, Excel, TXT, CSV, JSON, etc.).

• Zona de ingesta: Lugar donde se almacenan los datos tal como se reciben, sin ningún tipo de procesamiento ni transformación en tablas de BigQuery.

• Zona de consolidación: Lugar donde se lleva a cabo el procesamiento y la transformación de los datos (estandarización, limpieza, control de calidad, etc.).

• Zona de consumo interno: Lugar donde los datos transformados están disponibles para su uso por parte de los usuarios o aplicaciones internas.

• Zona de consumo externo: Lugar donde se almacenan y gestionan los datos están disponibles para su consumo por entidades o aplicaciones externas. 

VISUALIZACIÓN

• Monitoreo de calidad de datos: Tablero para supervisar y evaluar regularmente la calidad de los datos almacenados en Google Cloud.

• Analítica descriptiva: Tableros para comprender los datos y extraer información útil a través de reportes o Dashboards, generación de KPIs. 

MODELO ANALITICO

• Analítica predictiva: Proceso que utiliza técnicas estadísticas y de aprendizaje automático para predecir eventos futuros basados en los datos históricos. 

Tableau 

Tableau es una plataforma de visualización de datos que permite crear tableros interactivos y gráficos avanzados para analizar y presentar datos

Google Cloud Platform  

Google Cloud es una plataforma de servicios en la nube que ofrece herramientas para almacenar, procesar y analizar datos. Adicional, ofrece servicios y herramientas que son útiles para modelos analíticos y de inteligencia artificial (IA)

Talend

Talend Cloud es una plataforma de integración de datos basada en la nube que permite diseñar, desarrollar y automatizar flujos de trabajo de extracción, transformación y carga (ETL). 

Python

Python es un lenguaje de programación de alto nivel, versátil y poderoso, ampliamente utilizado para análisis de datos, automatización, desarrollo web, y más. Su simplicidad y flexibilidad lo convierte en una opción ideal para una amplia variedad de aplicaciones empresariales, desde la manipulación de datos hasta la creación de aplicaciones personalizadas

Vertex AI

Vertex AI es una plataforma de aprendizaje automático (AA) que permite entrenar y, también, implementar modelos de AA y aplicaciones de IA, y personalizar modelos de lenguaje grande (LLM) para usarlos en tus aplicaciones con tecnología de IA. Vertex AI combina la ingeniería de datos, la ciencia de datos y los flujos de trabajo de ingeniería de AA, lo que permite a tus equipos colaborar con un conjunto de herramientas común y escalar tus aplicaciones con los beneficios de Google Cloud.