Data lake w telekomunikacji

Wyzwanie

Celem projektu było opracowanie sytemu zarządzania i monitorowania połączeń telefonicznych (dane, sms, voice) w roamingu, dla międzynarodowego operatora telekomunikacyjnego. Biznesowym celem projektu był nadzór nad ciągłością świadczenia usług telekomunikacyjnych oraz wykrywanie nadużyć i anomalii w ruchu hurtowym.

Rozwiązanie

Złożoność projektu:

  • rozmiar klastra: ~2 PB
  • ponad 100 serwerów
  • utrzymanie kilkudziesięciu usług
  • zastosowane technologie:
  • HDFS, Hive, Spark, Ranger
  • Elasticsearch (ELK)
  • Apache Kafka

Wynik

  • Wdrożenie klastra Elasticsearch oraz klastra Apache Hadoop
  • Zaprojektowanie przepływów danych (metadane, sterowanie przepływami, itp.)
  • Wdrożenie integracji z AD i certyfikacji Kerberos
  • Zapewnienie ciągłości działania systemu
  • Zaprojektowanie i wdrożenie środowiska zapasowego (DR)