Microsoft Fabric: Introducción a Delta Table con Apache Spark

El procesamiento de datos a gran escala con  Apache Spark y Delta Lake ofrecen una solución poderosa y escalable.

En este primer post, exploraremos los conceptos fundamentales de Delta Table en Microsoft Fabric.

¿Qué es una Delta Table?

Una Delta Table es una tabla que utiliza el formato de almacenamiento Delta. Este formato combina las ventajas de los data lakes con las características de los data warehouses. Algunos de los beneficios clave de las Delta Tables son:

Transacciones ACID:

·        Las Delta Tables garantizan transacciones atómicas, coherentes, aisladas y duraderas.

·        Puedes realizar operaciones de escritura y lectura de manera segura.

Time Travel:

·        Accede a versiones anteriores de los datos almacenados en una Delta Table.

·        Útil para auditorías, pruebas y análisis históricos.

Optimización de consultas:

·        Organiza los datos en formato de archivo Parquet, mejorando el rendimiento de las consultas.

Compatibilidad con Apache Spark:

·        Se integra perfectamente con Apache Spark para procesamiento de datos.

Códigos:

Crear una tabla con Sql Spark:

spark.sql("CREATE TABLE Productos  \
			(  \
				IdProducto INT NOT NULL,  \
				FechaProducto TIMESTAMP NOT NULL,  \
				Producto STRING,  \
				Precio FLOAT NOT NULL  \
			) \
		USING DELTA")

Insertar un registro con Sql Spark:

spark.sql("INSERT INTO Productos  \
			(  \
				IdProducto,  \
				FechaProducto,  \
				Producto,  \
				Precio   \
			) \
			VALUES   \
			(  \
				1,  \
                  '2023-01-01',  \
                  'Ejemplo producto',  \
                  10.10  \
			)")

Actualizar un registro con Sql Spark:

spark.sql("UPDATE Productos  \
			SET  \
				FechaProducto = '2023-10-01',  \
				Producto = 'Update Ejemplo producto',  \
				Precio = 99.99  \
			WHERE Id =1")

Borrar un registro con Sql Spark:

spark.sql("DELETE Productos WHERE Id =1")

#MicrosoftFabric #TransformaciónDigital #AnálisisDeDatos #IntegraciónDeDatos  #Colaboración #IngenieriaDatos #Microsoft