Skalowalne zarządzanie logami dla międzynarodowej instytucji finansowej
Wyzwanie
Międzynarodowa instytucja finansowa potrzebowała solidnego rozwiązania do zarządzania logami, które umożliwiłoby skuteczne monitorowanie hostów w środowiskach deweloperskim (dev), testowym (UAT) i produkcyjnym. Kluczowym wyzwaniem było zapewnienie zbierania metryk i logów w czasie rzeczywistym przy jednoczesnym utrzymaniu wysokiej dostępności, bezpieczeństwa i skalowalności. Dodatkowo system musiał wspierać georedundancję między dwiema lokalizacjami (Warszawa i Frankfurt) oraz umożliwiać sprawne zarządzanie dostępem użytkowników.
Rozwiązanie
Aby sprostać temu wyzwaniu, wdrożyliśmy trzy niezależne klastry platformy Sorigo Log Manager, dedykowane dla środowisk dev, UAT i produkcyjnego. Rozwiązanie opierało się na wykorzystaniu Metricbeat i Filebeat do kompleksowego zbierania logów oraz metryk.
Kluczowe elementy wdrożenia:
- Infrastruktura: 12 serwerów obsługujących dwa klastry produkcyjne z georedundancją.
- Centralne monitorowanie: Logi oraz metryki wydajnościowe są zbierane i przetwarzane na naszej platformie, zapewniając widoczność w czasie rzeczywistym.
- Integracja SSO: Autoryzacja za pomocą Single Sign-On (SSO) przez portal Azure, co znacznie usprawniło zarządzanie dostępem.
- Ciągłe utrzymanie: Zarządzanie uprawnieniami, dodawanie nowych źródeł danych, monitorowanie zasobów klastrów oraz optymalizacja konfiguracji.
Dodatkowo, w ramach utrzymania systemu wdrożyliśmy:
- Optymalizację konfiguracji klastrów
- Zarządzanie użytkownikami i uprawnieniami
- Debugowanie błędów
- Zarządzanie Schema Registry
- Konfigurację i zarządzanie strumieniami danych
Wynik
Wdrożenie zapewniło instytucji finansowej skalowalne i bezpieczne rozwiązanie do zarządzania logami. Kluczowe korzyści to:
- Poprawiona obserwowalność: Monitorowanie infrastruktury w czasie rzeczywistym w wielu lokalizacjach.
- Usprawniona kontrola dostępu: Zintegrowane uwierzytelnianie dzięki Azure SSO.
- Zwiększona efektywność operacyjna: Optymalizacja wydajności klastrów oraz płynne zarządzanie przepływem danych.
- Zabezpieczenie georedundancji: Większa odporność dzięki dystrybucji klastrów między dwoma geolokalizacjami.
Dzięki temu rozwiązaniu instytucja osiągnęła niezawodne, centralne monitorowanie przy zachowaniu zgodności oraz najwyższej jakości operacyjnej.