Linux Hardware Watchdog – dlaczego warto go włączyć na serwerach produkcyjnych?

Sprzętowy watchdog w Linuksie to jedna z tych funkcji, o których administratorzy często przypominają sobie dopiero po poważnej awarii. Tymczasem na serwerach produkcyjnych, systemach przemysłowych, urządzeniach embedded, bramach sieciowych czy maszynach obsługujących usługi 24/7 może on decydować o tym, czy awaria zakończy się krótką przerwą, czy wielogodzinnym przestojem wymagającym interwencji człowieka.

Linux ma mechanizmy nadzorowania procesów i usług, ale nie każda awaria jest awarią pojedynczego procesu. Czasami zawiesza się cały system, przestaje działać planista zadań, dochodzi do zakleszczenia jądra albo maszyna przestaje odpowiadać na polecenia. W takiej sytuacji zwykły mechanizm restartowania usługi może być całkowicie bezużyteczny.

Właśnie tutaj pojawia się hardware watchdog – niezależny od normalnej pracy systemu mechanizm, który może wymusić restart komputera, jeśli Linux przestanie regularnie potwierdzać, że działa prawidłowo.

W tym artykule pokażemy, jak działa watchdog sprzętowy, dlaczego jest istotny dla infrastruktury produkcyjnej, jak sprawdzić jego obsługę w Linuksie, jak skonfigurować go przez systemd oraz jak analizować logi.

1. Czym jest sprzętowy watchdog?

Z ang. Watchdog Timer (WDT) to licznik czasu, który znajduje się w sprzęcie komputera, płycie głównej, kontrolerze zarządzającym albo układzie SoC (ang. System On Chip).

Jego zadanie jest proste: oczekuje na regularne sygnały potwierdzające prawidłową pracę systemu. Takie sygnały nazywane są często heartbeat lub keepalive.

Jeśli sygnał nie nadejdzie w określonym czasie, watchdog uznaje, że system przestał działać prawidłowo i może wykonać sprzętowy reset maszyny.

Schemat działania wygląda następująco:

  1. Linux uruchamia sterownik sprzętowego watchdoga.
  2. System otwiera urządzenie watchdoga, zwykle /dev/watchdog0.
  3. Mechanizm nadzorujący regularnie wysyła sygnał podtrzymujący licznik.
  4. Sprzętowy licznik jest zerowany lub ponownie uzbrajany.
  5. Jeżeli sygnały przestaną przychodzić, licznik osiąga wartość graniczną.
  6. Układ watchdog resetuje komputer.

Najważniejsza właściwość tego rozwiązania polega na tym, że sam mechanizm odmierzania czasu działa poza zwykłą logiką procesów użytkownika. Jeżeli system operacyjny przestanie wykonywać kod, sprzętowy watchdog może nadal odmierzać czas i zainicjować restart.

Nie oznacza to jednak, że każdy watchdog poradzi sobie z każdą awarią. Skuteczność zależy od konstrukcji platformy, sterownika, źródła zegara i sposobu podłączenia układu resetującego.

2. Dlaczego watchdog jest ważny w środowisku produkcyjnym?

W środowisku testowym zawieszenie komputera zwykle oznacza niedogodność. W środowisku produkcyjnym może oznaczać utratę przychodów, niedostępność aplikacji, przerwanie procesu przemysłowego albo brak dostępu do infrastruktury zdalnej.

Wyobraźmy sobie serwer Linux, który obsługuje:

  • system monitoringu i zbierania danych,
  • bazę danych wykorzystywaną przez aplikację produkcyjną,
  • serwer WWW i API,
  • system automatyki przemysłowej,
  • bramę VPN lub router,
  • usługi telemetryczne,
  • system kontroli dostępu,
  • urządzenie IoT pracujące bez fizycznego nadzoru.

Załóżmy, że maszyna działa poprawnie przez kilka tygodni, a następnie dochodzi do poważnego problemu z jądrem, sterownikiem urządzenia albo podsystemem pamięci.

Serwer przestaje odpowiadać na SSH. Nie działa konsola zdalna, a usługi przestają przetwarzać żądania. Samo sprawdzanie, czy proces nginx lub postgres istnieje, nie pomoże, ponieważ problem dotyczy całego systemu.

Bez sprzętowego watchdoga maszyna może pozostać zawieszona aż do momentu ręcznej interwencji.

Z aktywnym watchdogiem może automatycznie się zresetować po przekroczeniu skonfigurowanego limitu czasu.

Najważniejsze korzyści

KorzyśćZnaczenie dla produkcji
Automatyczny restartSystem może sam odzyskać działanie po określonych awariach
Mniejsza zależność od administratoraNie każda awaria wymaga ręcznego restartu
Ograniczenie czasu przestojuZawieszenie nie musi trwać do momentu wykrycia przez człowieka
Większa odporność urządzeń bezobsługowychSzczególnie istotne w lokalizacjach bez fizycznego dostępu
Uzupełnienie monitoringuWatchdog reaguje na brak heartbeat, a monitoring może informować o problemie
Wsparcie dla systemów embeddedPrzydatny w urządzeniach działających przez długi czas bez restartów

Watchdog nie zastępuje redundancji, monitoringu, kopii zapasowych ani procedur odtwarzania. Jest dodatkową warstwą odporności na awarie.

3. Watchdog sprzętowy a watchdog programowy – to nie to samo

Warto rozróżnić dwa mechanizmy, ponieważ często są ze sobą mylone.

Watchdog programowy

Watchdog programowy działa w obrębie systemu operacyjnego. Może monitorować procesy, usługi, wątki albo określone funkcje jądra.

Przykłady:

  • automatyczne restartowanie usługi przez systemd,
  • monitorowanie procesu przez monit,
  • sprawdzanie dostępności aplikacji przez skrypt,
  • nadzorowanie usługi przez Kubernetes,
  • mechanizmy watchdog w aplikacjach.

Takie rozwiązania są przydatne, ale ich możliwości zależą od tego, czy system operacyjny nadal działa.

Jeżeli cały kernel ulegnie zawieszeniu, programowy mechanizm nadzorujący może nie mieć możliwości wykonania restartu.

Watchdog sprzętowy

Watchdog sprzętowy wykorzystuje licznik czasu znajdujący się w sprzęcie. Linux komunikuje się z nim przez sterownik jądra i urządzenie znakowe.

Typowa ścieżka wygląda następująco:

Aplikacje i usługi
       |
       v
systemd / watchdog daemon
       |
       v
/dev/watchdog0
       |
       v
Sterownik jądra Linux
       |
       v
Sprzętowy licznik WDT
       |
       +---- heartbeat otrzymany
       |       licznik jest podtrzymywany
       |
       +---- heartbeat nie dotarł
               |
               v
          Reset sprzętowy

To właśnie możliwość zresetowania maszyny bez konieczności wykonywania normalnego kodu użytkowego jest największą zaletą sprzętowego watchdoga.

4. Jak Linux obsługuje sprzętowy watchdog?

Linux posiada własny framework obsługi urządzeń watchdog. Sterowniki udostępniają urządzenia, najczęściej:

/dev/watchdog
/dev/watchdog0

W systemach z wieloma urządzeniami mogą występować również kolejne numery, na przykład /dev/watchdog1.

Informacje o urządzeniach można sprawdzić poleceniami:

ls -l /dev/watchdog*

Przykładowy wynik:

crw------- 1 root root 10, 130 Nov 16 20:10 /dev/watchdog
crw------- 1 root root 245, 0 Nov 16 20:10 /dev/watchdog0

To przykładowy format wyniku – numery urządzeń i uprawnienia zależą od systemu oraz sterownika.

Możemy też sprawdzić, jakie moduły watchdog zostały załadowane:

lsmod | grep -i watchdog

Przykładowy wynik:

iTCO_wdt               16384  0

W tym przykładzie widzimy sterownik iTCO_wdt, który obsługuje sprzętowy watchdog w wybranych platformach Intel.

Inne spotykane sterowniki to między innymi:

  • sp5100_tco – wybrane platformy AMD,
  • wdat_wdt – watchdog oparty na interfejsie ACPI WDAT,
  • softdog – watchdog programowy, a nie sprzętowy,
  • sterowniki właściwe dla konkretnych układów SoC i płyt embedded.

Ważne: obecność modułu softdog nie oznacza, że komputer ma aktywny watchdog sprzętowy. To inny mechanizm, którego nie należy traktować jako równoważnego zabezpieczenia przed zawieszeniem całego systemu.

5. Sprawdzanie dostępności watchdoga w Linuksie

Pierwszym krokiem powinno być sprawdzenie, czy platforma udostępnia urządzenie watchdog.

ls -l /dev/watchdog*

Jeśli system zwróci:

ls: cannot access '/dev/watchdog*': No such file or directory

nie oznacza to automatycznie, że sprzęt nie obsługuje watchdoga. Możliwe, że odpowiedni sterownik nie został załadowany, urządzenie jest wyłączone w firmware albo kernel nie ma odpowiedniej obsługi.

Sprawdźmy komunikaty jądra:

dmesg | grep -i watchdog

Przykładowe logi:

[    1.245102] iTCO_wdt: Intel TCO WatchDog Timer Driver v1.11
[    1.245210] iTCO_wdt: Found a TCO device
[    1.245315] iTCO_wdt: initialized. heartbeat=30 sec
[    1.245420] watchdog: watchdog0: watchdog did not stop!

Ostatni komunikat może pojawić się w określonych sytuacjach podczas zamykania lub przełączania urządzenia. Nie należy automatycznie interpretować go jako awarii – trzeba przeanalizować kontekst, sterownik i konfigurację.

Możemy też sprawdzić informacje o urządzeniu za pomocą narzędzia wdctl, dostępnego w pakiecie util-linux w wielu dystrybucjach:

sudo wdctl

Albo wskazać konkretny plik:

sudo wdctl /dev/watchdog0

Przykładowy wynik:

Device:        /dev/watchdog0
Identity:      iTCO_wdt
Timeout:       30 seconds
Timeleft:      28 seconds
Pre-timeout:   0 seconds
Flags:         KEEPALIVEPING SETTIMEOUT MAGICCLOSE

Nazwy pól i dostępne informacje zależą od sterownika oraz wersji narzędzia.

Najważniejsze elementy, na które warto zwrócić uwagę:

  • Identity – nazwa sterownika lub urządzenia.
  • Timeout – czas, po którym watchdog może zainicjować reset.
  • Timeleft – pozostały czas, jeśli sterownik udostępnia tę informację.
  • Flags – możliwości urządzenia, na przykład obsługa keepalive, zmiany timeoutu czy magic close.

Nie wszystkie sterowniki udostępniają wszystkie funkcje. Samo urządzenie /dev/watchdog0 nie gwarantuje też, że watchdog jest aktualnie aktywny.

6. Konfiguracja sprzętowego watchdoga przez systemd

W wielu współczesnych dystrybucjach Linuxa najwygodniejszym sposobem obsługi sprzętowego watchdoga jest wykorzystanie systemd.

Systemd może otworzyć urządzenie watchdog i regularnie wysyłać sygnały podtrzymujące jego licznik.

Najważniejsza opcja konfiguracyjna to:

RuntimeWatchdogSec=

Pozwala ona określić czas, po którym sprzętowy watchdog ma wymusić restart, jeżeli przestanie otrzymywać sygnały podtrzymujące.

Przykładowo:

RuntimeWatchdogSec=60s

oznacza konfigurację watchdoga z timeoutem 60 sekund, o ile urządzenie obsługuje taką wartość. Sprzęt może przyjąć wartość zbliżoną, ale niekoniecznie identyczną.

Krok 1. Sprawdzenie aktualnej konfiguracji

Możemy sprawdzić, czy systemd ma już ustawiony watchdog:

systemd-analyze cat-config systemd/system.conf

W zależności od wersji systemd można też sprawdzić plik:

grep -E '^(RuntimeWatchdogSec|RebootWatchdogSec|WatchdogDevice)=' \
/etc/systemd/system.conf

Brak wpisu nie musi oznaczać, że watchdog jest wyłączony przez sterownik. Oznacza jedynie, że nie znaleźliśmy takiego ustawienia w sprawdzanym pliku.

Krok 2. Utworzenie konfiguracji

Zalecane jest użycie katalogu konfiguracyjnego systemd:

sudo mkdir -p /etc/systemd/system.conf.d

Następnie utwórzmy plik:

sudo nano /etc/systemd/system.conf.d/10-hardware-watchdog.conf

Wprowadzamy:

[Manager]
RuntimeWatchdogSec=60s
RebootWatchdogSec=5min

Co oznaczają te opcje?

RuntimeWatchdogSec=60s

Systemd będzie podtrzymywał sprzętowy watchdog podczas normalnej pracy systemu. Jeżeli manager systemd przestanie wysyłać heartbeat, a sprzętowy watchdog nie otrzyma sygnału w skonfigurowanym czasie, może zresetować maszynę.

RebootWatchdogSec=5min

Ustawia dodatkowy timeout dla sprzętowego watchdoga podczas kontrolowanego restartu systemu. Jest to zabezpieczenie na wypadek, gdy procedura ponownego uruchamiania utknie.

Wartości należy dobrać do możliwości sprzętu oraz charakterystyki systemu. Nie wszystkie urządzenia obsługują dowolne timeouty.

Krok 3. Zastosowanie konfiguracji

Po zapisaniu pliku możemy przeładować konfigurację managera:

sudo systemctl daemon-reexec

daemon-reexec powoduje ponowne wykonanie procesu managera systemd. W środowisku produkcyjnym należy zaplanować tę operację i sprawdzić jej skutki na danej dystrybucji.

Alternatywnie można zastosować konfigurację podczas zaplanowanego restartu serwera.

Po ponownym uruchomieniu warto sprawdzić konfigurację:

systemd-analyze cat-config systemd/system.conf

Oraz logi systemd:

journalctl -b -u systemd

Możemy również przefiltrować komunikaty dotyczące watchdoga:

journalctl -b | grep -i watchdog

Przykładowy log:

Nov 16 20:10:12 server01 systemd[1]:
Using hardware watchdog '/dev/watchdog0'.

Nov 16 20:10:12 server01 systemd[1]:
Watchdog running with a timeout of 60s.

Nov 16 20:10:12 server01 systemd[1]:
Hardware watchdog is enabled.

Powyższe komunikaty są ilustracyjne. Dokładne brzmienie zależy od wersji systemd, sterownika i dystrybucji.

Uwaga: systemd musi mieć dostęp do właściwego urządzenia

Jeżeli maszyna udostępnia kilka urządzeń watchdog, można wskazać konkretne urządzenie za pomocą:

WatchdogDevice=/dev/watchdog0

Opcję tę należy stosować świadomie. Wybór niewłaściwego urządzenia albo konflikt z innym demonem może doprowadzić do nieprawidłowej obsługi watchdoga.

Nie należy jednocześnie uruchamiać kilku niezależnych programów, które próbują przejąć to samo urządzenie /dev/watchdog0. W typowej konfiguracji urządzenie jest przeznaczone do obsługi przez jednego właściciela.

7. Jak sprawdzić, czy watchdog rzeczywiście działa?

Samo istnienie pliku /dev/watchdog0 nie wystarczy. Trzeba sprawdzić, czy systemd otworzył urządzenie i czy watchdog jest aktywny.

Najpierw sprawdźmy konfigurację:

systemd-analyze cat-config systemd/system.conf | grep -i watchdog

Następnie logi:

journalctl -b | grep -i watchdog

Możemy także sprawdzić proces systemd:

systemctl status systemd

oraz informacje udostępniane przez sterownik:

sudo wdctl /dev/watchdog0

Warto pamiętać, że nie każdy sterownik pozwala odczytać wszystkie parametry aktywnego urządzenia. Niektóre informacje mogą być niedostępne, gdy watchdog jest już otwarty przez systemd.

Weryfikację należy prowadzić na kilku poziomach:

  1. Czy sprzęt udostępnia watchdog?
  2. Czy kernel załadował odpowiedni sterownik?
  3. Czy systemd przejął urządzenie?
  4. Czy timeout został ustawiony zgodnie z oczekiwaniami?
  5. Czy mechanizm zachowuje się prawidłowo podczas kontrolowanych testów?

8. Przykładowy scenariusz awarii – serwer przestaje odpowiadać

Wyobraźmy sobie serwer produkcyjny server01, który obsługuje aplikację webową i bazę danych.

O godzinie 02:14 dochodzi do problemu z jądrem lub sterownikiem. System przestaje prawidłowo wykonywać zadania.

Administrator nie może zalogować się przez SSH:

ssh admin@server01

Wynik:

ssh: connect to host server01 port 22: Connection timed out

Monitoring pokazuje brak odpowiedzi na ping:

02:14:10 server01 - ICMP check failed
02:14:20 server01 - SSH check failed
02:14:30 server01 - HTTP health check failed

Bez mechanizmu sprzętowego watchdog taki stan może utrzymywać się bardzo długo.

Jeśli jednak sprzętowy watchdog jest aktywny i przestanie otrzymywać heartbeat, po przekroczeniu timeoutu może wykonać reset.

Po ponownym uruchomieniu systemu administrator może sprawdzić, co wydarzyło się podczas poprzedniego startu.

journalctl -b -1

Polecenie pokazuje logi poprzedniego uruchomienia, jeśli system zachowuje dzienniki w sposób trwały.

Można je ograniczyć do komunikatów jądra:

journalctl -k -b -1

Przykładowe logi:

Nov 16 02:13:48 server01 kernel: watchdog: watchdog0: watchdog did not stop!
Nov 16 02:14:10 server01 kernel: INFO: task kworker/2:1 blocked for more than 120 seconds
Nov 16 02:14:10 server01 kernel: WARNING: CPU: 2 PID: 0 at kernel/sched/core.c
Nov 16 02:15:12 server01 systemd[1]: Startup finished in 4.231s

To tylko przykładowy scenariusz. Nie należy oczekiwać, że każdy reset wykonany przez watchdog pozostawi w logach jednoznaczny komunikat o przyczynie.

Sprzętowy reset może nastąpić bez możliwości zapisania ostatnich komunikatów do dziennika. Dlatego w środowisku produkcyjnym warto korzystać z trwałego journalu, zdalnego sysloga, monitoringu BMC lub innych niezależnych źródeł diagnostycznych.

9. Watchdog a systemd WatchdogSec – istotna różnica

W konfiguracji systemd występuje również opcja:

WatchdogSec=

Nie należy jej mylić z RuntimeWatchdogSec=.

RuntimeWatchdogSec= konfiguruje sprzętowy watchdog obsługiwany przez manager systemd.

WatchdogSec= w jednostce usługi służy do nadzorowania konkretnego procesu. Usługa musi obsługiwać protokół powiadomień systemd i regularnie wysyłać komunikaty WATCHDOG=1.

Przykładowa jednostka:

[Unit]
Description=Example Production Service
After=network.target

[Service]
Type=notify
ExecStart=/usr/local/bin/example-service
WatchdogSec=30s
Restart=on-failure

[Install]
WantedBy=multi-user.target

W tym przypadku aplikacja ma regularnie informować systemd, że działa prawidłowo.

Jeżeli nie wyśle powiadomienia w wymaganym czasie, systemd może uznać usługę za niesprawną i ją zrestartować.

To bardzo przydatne rozwiązanie, ale nie jest zamiennikiem sprzętowego watchdoga.

Najlepsza architektura może wykorzystywać oba mechanizmy:

  • watchdog systemd dla poszczególnych usług,
  • sprzętowy watchdog dla całego systemu.

Dzięki temu można reagować zarówno na awarie aplikacji, jak i na poważniejsze problemy z systemem operacyjnym.

10. Dlaczego nie należy bezrefleksyjnie ustawiać bardzo krótkiego timeoutu?

Może się wydawać, że im krótszy timeout, tym lepiej. W praktyce zbyt agresywna konfiguracja może przynieść odwrotny skutek.

Wyobraźmy sobie system, który podczas aktualizacji jądra, intensywnego obciążenia pamięci lub operacji I/O potrzebuje więcej czasu na wykonanie określonych zadań.

Jeżeli watchdog nie otrzyma heartbeat na czas, może zainicjować reset, mimo że system był w trakcie odzyskiwania sprawności.

Może to doprowadzić do:

  • niepotrzebnych restartów,
  • przerwania operacji zapisu,
  • problemów z bazą danych,
  • powtarzających się restartów,
  • trudniejszej diagnostyki.

Dlatego timeout powinien uwzględniać specyfikę sprzętu i systemu.

Dla wielu serwerów rozsądnym punktem wyjścia do testów może być 60 sekund, ale nie jest to uniwersalna wartość produkcyjna. Systemy czasu rzeczywistego, urządzenia przemysłowe i platformy embedded mogą wymagać zupełnie innego podejścia.

Należy również uwzględnić:

  • maksymalny czas operacji blokujących,
  • zachowanie systemu podczas aktualizacji,
  • obciążenie CPU i pamięci,
  • możliwości sterownika,
  • wymagania dotyczące dostępności,
  • sposób odzyskiwania danych po restarcie.

11. Co oznacza opcja nowayout?

W dokumentacji Linuksa można spotkać parametr nowayout.

Jego zadaniem jest uniemożliwienie wyłączenia aktywnego watchdoga po jego uruchomieniu.

To ważna właściwość z punktu widzenia bezpieczeństwa.

Bez takiego mechanizmu program, który otworzył urządzenie watchdog, może w określonych warunkach wyłączyć licznik podczas zamykania pliku. W przypadku błędu aplikacji nadzorującej mogłoby to pozbawić system ochrony.

Przy włączonym nowayout watchdog nie może zostać normalnie wyłączony po aktywacji – szczegóły zależą od sterownika i konfiguracji jądra.

Parametr ten może być dostępny jako opcja modułu:

modinfo iTCO_wdt | grep -i nowayout

Przykładowy wynik:

parm: nowayout:Watchdog cannot be stopped once started (bool)

Nie każdy sterownik udostępnia taki parametr. W niektórych przypadkach zachowanie jest określone przez konfigurację jądra, na przykład CONFIG_WATCHDOG_NOWAYOUT.

Uwaga produkcyjna: nowayout zwiększa odporność na przypadkowe wyłączenie watchdoga, ale utrudnia również jego kontrolowane wyłączenie. Przed włączeniem tej opcji trzeba zaplanować procedurę serwisową i sposób bezpiecznego restartowania urządzenia.

12. Jak bezpiecznie testować watchdog?

Testowanie sprzętowego watchdoga przez celowe zawieszenie systemu jest operacją potencjalnie destrukcyjną.

Nie należy wykonywać takich testów na produkcyjnym serwerze obsługującym klientów, bazę danych lub proces przemysłowy bez zaplanowanego okna serwisowego.

Przed testem należy:

  1. Wykonać kopię zapasową danych.
  2. Zapewnić dostęp do konsoli lokalnej lub zdalnej konsoli BMC.
  3. Zweryfikować możliwość uruchomienia systemu po resecie.
  4. Sprawdzić, czy aplikacje poprawnie odzyskują działanie.
  5. Upewnić się, że system plików i baza danych są odporne na nagłe przerwanie pracy.
  6. Poinformować osoby odpowiedzialne za utrzymanie infrastruktury.

Nie należy eksperymentować przez ręczne zapisywanie przypadkowych wartości do /dev/watchdog0. Można w ten sposób uruchomić licznik, zmienić jego stan lub doprowadzić do nieplanowanego restartu.

Najbezpieczniejszym podejściem jest przeprowadzenie testu w środowisku laboratoryjnym z wykorzystaniem procedury właściwej dla danego sterownika i platformy sprzętowej.

Po teście warto sprawdzić:

journalctl -b -1
journalctl -b -1 -k
last -x | head

Jeżeli platforma udostępnia informację o przyczynie resetu, można ją dodatkowo sprawdzić przez interfejs BMC, firmware lub odpowiednie narzędzia producenta.

13. Watchdog nie zastępuje monitoringu i redundancji

Warto jasno zaznaczyć, że sprzętowy watchdog nie jest kompletnym systemem wysokiej dostępności.

Nie rozwiąże problemu:

  • uszkodzonego dysku,
  • awarii zasilacza,
  • uszkodzenia pamięci,
  • błędów konfiguracji sieci,
  • uszkodzenia systemu plików,
  • wadliwego firmware,
  • błędu aplikacji, która nadal wysyła heartbeat, mimo że nie wykonuje swojej funkcji.

Szczególnie ważny jest ostatni przypadek.

Jeżeli systemd regularnie podtrzymuje sprzętowy watchdog, ale aplikacja produkcyjna przestaje działać, sam watchdog sprzętowy może nie wykryć problemu. Z jego perspektywy system nadal żyje, ponieważ manager systemd wysyła sygnały.

Dlatego warto łączyć kilka poziomów kontroli:

WarstwaCo monitoruje?
Monitoring aplikacjiCzy aplikacja wykonuje swoje zadania
systemd WatchdogSecCzy usługa wysyła heartbeat
Monitoring hostaCPU, RAM, dyski, sieć, obciążenie
Sprzętowy watchdogCzy system nadal podtrzymuje licznik sprzętowy
Monitoring zewnętrznyCzy serwer jest osiągalny z innej maszyny
BMC / IPMIStan sprzętu i możliwość zdalnego zarządzania

Dobrze zaprojektowany system produkcyjny nie opiera się na jednym mechanizmie ochronnym.

14. Trwałe logowanie – ważne przy analizie restartów

Jeśli serwer został zresetowany przez sprzętowy watchdog, część ostatnich komunikatów mogła nie zostać zapisana na dysku.

Dlatego warto zadbać o trwały journal systemd.

Sprawdźmy, czy katalog istnieje:

ls -ld /var/log/journal

Jeśli nie istnieje, możemy go utworzyć:

sudo mkdir -p /var/log/journal

Następnie:

sudo systemd-tmpfiles --create --prefix /var/log/journal
sudo journalctl --flush

Po wykonaniu tych czynności journal powinien korzystać z trwałego przechowywania logów, zgodnie z konfiguracją systemd.

Warto też skonfigurować przesyłanie logów na zewnętrzny serwer syslog. Jest to szczególnie istotne, ponieważ awaria sprzętowa może uniemożliwić zapis ostatnich komunikatów na lokalnym dysku.

Przydatne polecenia diagnostyczne:

# Logi bieżącego uruchomienia
journalctl -b

# Logi poprzedniego uruchomienia
journalctl -b -1

# Komunikaty jądra z poprzedniego uruchomienia
journalctl -k -b -1

# Komunikaty dotyczące watchdoga
journalctl -b | grep -i watchdog

# Historia restartów
last -x | head -20

# Informacje o urządzeniach watchdog
sudo wdctl

15. Przykładowa konfiguracja dla serwera produkcyjnego

Dla typowego serwera Linux z obsługą sprzętowego watchdoga można rozpocząć od następującej konfiguracji:

Plik:

/etc/systemd/system.conf.d/10-hardware-watchdog.conf

Zawartość:

[Manager]
RuntimeWatchdogSec=60s
RebootWatchdogSec=5min

Po zastosowaniu konfiguracji i zaplanowanym restarcie administrator powinien zweryfikować:

ls -l /dev/watchdog*
sudo wdctl
journalctl -b | grep -i watchdog
systemd-analyze cat-config systemd/system.conf

Warto również skonfigurować monitoring zewnętrzny, który po wykryciu restartu wyśle powiadomienie do administratora.

Przykładowy scenariusz operacyjny:

02:14:10 - serwer przestaje odpowiadać
02:14:20 - monitoring wykrywa brak odpowiedzi
02:15:10 - watchdog nie otrzymuje heartbeat
02:15:10 - sprzęt inicjuje reset
02:15:15 - system rozpoczyna uruchamianie
02:15:25 - usługi produkcyjne wracają do pracy
02:15:30 - monitoring potwierdza dostępność
02:16:00 - administrator otrzymuje alert o restarcie

To modelowy przebieg, a nie gwarantowany czas odzyskania sprawności. Rzeczywisty czas zależy od timeoutu, sprzętu, firmware, procedury bootowania i czasu uruchamiania usług.

16. Kiedy szczególnie warto włączyć sprzętowy watchdog?

Moim zdaniem watchdog powinien być poważnie rozważony wszędzie tam, gdzie Linux pracuje bez stałego nadzoru administratora.

Szczególnie dotyczy to:

  • serwerów w oddziałach i lokalizacjach zdalnych,
  • urządzeń przemysłowych,
  • systemów monitoringu i automatyki,
  • routerów i bram sieciowych,
  • serwerów edge computing,
  • urządzeń IoT,
  • systemów embedded,
  • komputerów obsługujących procesy działające 24/7.

W takich środowiskach możliwość automatycznego odzyskania działania po określonych awariach może mieć realną wartość operacyjną.

Nie oznacza to, że każdy komputer z Linuksem powinien mieć aktywny watchdog. Na stacjach roboczych czy maszynach, które są stale nadzorowane przez użytkownika, korzyść może być niewielka. Na serwerze produkcyjnym bez fizycznego dostępu sytuacja wygląda zupełnie inaczej.

Podsumowanie

Sprzętowy watchdog to niewielki, ale bardzo ważny element infrastruktury Linux.

Jego największą zaletą jest możliwość wymuszenia restartu komputera wtedy, gdy system przestaje regularnie potwierdzać swoją sprawność. W przeciwieństwie do zwykłego restartowania usług przez systemd, sprzętowy watchdog może zadziałać również wtedy, gdy system operacyjny przestaje wykonywać normalny kod.

Warto pamiętać o kilku zasadach:

  • sprawdź, czy platforma faktycznie udostępnia sprzętowy watchdog;
  • upewnij się, że załadowany jest właściwy sterownik;
  • skonfiguruj obsługę przez systemd lub dedykowany, świadomie wybrany daemon;
  • dobierz timeout do charakterystyki systemu;
  • unikaj konfliktu kilku procesów korzystających z tego samego urządzenia;
  • przetestuj działanie w kontrolowanych warunkach;
  • zachowuj logi w sposób trwały i najlepiej przesyłaj je również poza serwer;
  • połącz watchdog z monitoringiem aplikacji, usług i sprzętu.

W środowisku produkcyjnym nie chodzi o to, żeby serwer nigdy się nie zawiesił. Chodzi o to, żeby awaria nie oznaczała automatycznie wielogodzinnego przestoju i oczekiwania na człowieka, który fizycznie zrestartuje maszynę.

Dlatego sprzętowy watchdog warto traktować jako jedną z podstawowych warstw zwiększających odporność systemów Linux pracujących bez przerwy.


Źródła i dokumentacja techniczna

  1. Linux Kernel Documentation – The Linux Watchdog driver API
  2. Linux Kernel Documentation – The Linux WatchDog Timer Driver Core kernel API
  3. systemd – systemd-system.conf: RuntimeWatchdogSec, RebootWatchdogSec i KExecWatchdogSec
  4. Linux Kernel – Watchdog Module Parameters

About the author

Autor "BIELI" to zapalony entuzjasta otwartego oprogramowania, który dzieli się swoją pasją na blogu poznajlinuxa.pl. Jego wpisy są skarbnicą wiedzy na temat Linuxa, programowania oraz najnowszych trendów w świecie technologii. Autor "BIELI" wierzy w siłę społeczności Open Source i zawsze stara się inspirować swoich czytelników do eksplorowania i eksperymentowania z kodem.