Data lake w branży energetycznej

Realizations
1

Wyzwanie

Celem projektu było wdrożenie wydajnego środowiska do analizowania danych o zużyciu energii. W zakresie projektu opracowana została architektura środowiska Data Lake oraz przepływy danych z kilku systemów źródłowych. Biznesowym celem było dostarczenie możliwości wydajnego prognozowania zużycia energii. Celem technicznym była optymalizacja obecnych procesów transformacji i raportowania danych.

Challenge Image
2

Rozwiązanie

apache_hive_logo_icon_167868.svghadoop-logo.svgapache_spark-ar21.svgpython-ar21.svg
  • HDFS, Hive, Spark
  • Jupyter/Python/R
  • Oracle (integracja danych)
3

Wynik

  • Instalacja i konfiguracja klastra (OS, komponenty klastra, bezpieczeństwo)
  • Integracja klastra z systemami zewnętrznymi
  • Budowa raportów, pozwalających na analizowanie danych o zużyciu energii
  • Opracowanie repozytorium danych w technologii przetwarzania rozproszonego
  • Skrócenie czasu przygotowywania raportów bilingowych z kilku godzin do kilkudziesięciu sekund
Skrócenie czasu przygotowywania raportów bilingowych z kilku godzin do kilkudziesięciu sekund
Skrócenie czasu przygotowania predykcji zużycia energii z kilku godzin do kilku minut