Development of a Scalable Data Infrastructure for a Medium-Sized Energy Company

The report describes the internship experience at Passuello Fratelli, a company selling electricity and natural gas with over 100,000 active customers. During the internship, three projects were developed with the aim of improving the company’s operations through data utilization. The first project involved creating pipelines to download, clean, and store data from distribution companies, with the goal of developing a system to automate CRM ticket closure.The second project focused on the complete design and implementation of a data warehouse to unify data from accounting, invoicing, and CRM systems. The implemented solution, based on PostgreSQL, Python-based ETL/ELT processes, DBT, and Apache Airflow as technical tools, and using a dimensional model for the database architecture, made it possible to facilitate data extraction for analytical purposes, creating the company’s first true business intelligence tool. The final project involved redesigning the natural gas consumption forecasting system. The solution included the creation of new pipelines to centralize and update the necessary data on a daily basis, followed by the implementation in Python of the algorithm previously used to calculate consumption. The new system is more efficient and accurate, and also allows the new database to be leveraged for analytical purposes.

Il report descrive l'esperienza di tirocinio svolta presso Passuello Fratelli, azienda di vendita di energia elettrica e metano con più di 100.000 utenze attive. Durante lo stage sono stati sviluppati tre progetti, con l'obiettivo di migliorare l'operatività aziendale attraverso la valorizzazione dei dat. Il primo ha riguardato la creazione di alcune pipeline per scaricare, pulire e memorizzare dati provenienti dalle aziende di distribuzione, con lo scopo di creare un sistema per automatizzare la chiusura dei ticket CRM. Il secondo progetto ha riguardato la completa progettazione e implementazione di un data warehouse per unificare i dati provenienti da contabilità, fatturazione e CRM. La soluzione implementata, basata su PostgreSQL, ETL/ELT in Python, DBT e Apache Airflow come strumenti tecnici, e il modello dimensionale come architettura del database, ha reso possibile facilitare l'estrazione di dati a fini analitici, creando il primo vero strumento di Business intelligence presente in azienda. L’ultimo progetto ha riguardato la riprogettazione del sistema di previsione dei consumi di metano. La soluzione ha previsto la creazione di nuove pipeline per centralizzare e aggiornare giornalmente i dati necessari al processo di previsione, seguita dall’implementazione in Python dell’algoritmo utilizzato precedentemente per il calcolo dei consumi. Il nuovo sistema adottato è più efficiente ed accurato, permettendo inoltre di utilizzare la nuova base di dati per scopi analitici.