check_logfiles

Mit diesem Plugin ist es möglich, Logdateien auf bestimmte Muster zu untersuchen.

check_logfiles [-t timeout] -f <konfigdatei>

Die Möglichkeiten der traditionellen Logfile-Plugins (u.a. check_log und check_log2 aus den offiziellen Nagios-Plugins) sind völlig unzureichend für den Einsatz in einem unternehmenskritischen Umfeld. check_logfiles entstand, weil diese Mängel das Aus für die Ablösung eines proprietären Systems durch Nagios bedeutet hätten.

Logfiles werden i.d.R jede Nacht oder bei Erreichen einer bestimmten Größe umbenannt und komprimiert. Je nach Betriebssystem und Unternehmen kommen dabei unterschiedliche Namensgebungen zum Einsatz. Findet diese Rotation zwischen zwei Läufen von check_logfiles statt, dann muss zur Vermeidung von Überwachungslücken auch die wegrotierte Logdatei untersucht werden. Die Rotation zu erkennen, die nun umbenannte Logdatei zu finden und eventuell seit dem letzten Lauf von check_logfiles hineingeschriebene Meldungen zu durchsuchen ist das wichtigste Feature. Häufig vorkommende Rotationsstrategien sind vordefiniert, es können aber auch unternehmensspezifische Strategien (kurz: wohin und unter welchem neuen Namen wird eine Logdatei weggeschrieben) konfiguriert werden.

Nagios Plugins liefern zunächst nur einen Exitcode und eine Zeile Text, welche das Resultat des Checks zusammenfasst. Es kann aber auch wünschenswert sein, bereits zur Laufzeit des Plugins bei jedem gefundenen Muster eine Aktion auszulösen, sprich ein Script zu starten. check_logfiles bietet diese Möglichkeit.

Wenn ein Muster gefunden wurde, dann kann es durchaus sein, daß es sich bei der entsprechenden Zeile im Logfile um einen ganz speziellen Fall handelt, der nicht als Fehler gezählt werden soll. Da es umständlich bis unmöglich ist, solche Ausnahmen in einem regulären Ausdruck zu formulieren, kann man zu allgemeinen Mustern spezielle Ausnahmen definieren, die einen zunächst eingeleiteten Alarm wieder rückgängig machen.

Die regulären Ausdrücke, nach denen gesucht werden soll, können mittels Macros einfacher gestaltet werden. Da es Macros u.a. für aktuelle Datums- und Zeitangaben gibt, ist es auch möglich, zeitlich sich ändernde reguläre Ausdrücke zu formulieren. Macros können auch in den Dateinamen von Logdateien enthalten sein.

Die Konfigurationsdatei von check_logfiles ist im Grunde eine Perl-Datei, welche eingelesen und interpretiert wird. Die in ihr enthaltenen Variablen bestimmen die Arbeitsweise von check_logfiles.

@logs = (
  {
    tag => 'san',
    logfile => '/var/adm/messages',
    criticalpatterns => [
        'Link Down Event received',
        'Loop OFFLINE',
        'fctl:.*disappeared from fabric',
        '.*Lun.*disappeared.*'
    ],
  });

$scriptpath = '/usr/bin/nagios/libexec:/usr/local/nagios/contrib';
$MACROS = {
    NAGIOS_HOSTNAME => "orschgeign.muc",
    CL_NSCA_HOST_ADDRESS => "lpmon1.muc",
    CL_NSCA_PORT => 5778
};
$postscript = 'send_nsca';
$postscriptparams = '-H $CL_NSCA_HOST_ADDRESS$ -p $CL_NSCA_PORT$ -to $CL_NSCA_TO_SEC$ -c $CL_NSCA_CONFIG_FILE$';
$postscriptstdin = '$CL_HOSTNAME$\t$CL_SERVICEDESC$\t$CL_SERVICESTATEID$\t$CL_SERVICEOUTPUT$\n';

@logs = (
  {
    tag => 'san',
    logfile => '/var/adm/messages',
    criticalpatterns => [
        'Link Down Event received',
        'Loop OFFLINE',
        'fctl:.*disappeared from fabric',
        '.*Lun.*disappeared.*'
    ],
  },
);

$scriptpath = '/usr/bin/nagios/libexec:/usr/local/nagios/contrib';
$MACROS = {
    NAGIOS_HOSTNAME => "orschgeign.muc",
    CL_NSCA_HOST_ADDRESS => "lpmon1.muc",
    CL_NSCA_PORT => 5778
};

@logs = (
  {
    tag => 'san',
    logfile => '/var/adm/messages',
    criticalpatterns => [
        'Link Down Event received',
        'Loop OFFLINE',
        'fctl:.*disappeared from fabric',
        '.*Lun.*disappeared.*'
    ],
    script = 'send_nsca',
    scriptparams = '-H $CL_NSCA_HOST_ADDRESS$ -p $CL_NSCA_PORT$ -to $CL_NSCA_TO_SEC$ -c $CL_NSCA_CONFIG_FILE$',
    scriptstdin = '$CL_HOSTNAME$\t$CL_SERVICEDESC$\t$CL_SERVICESTATEID$\t$CL_SERVICEOUTPUT$\n',
  },
);

$scriptpath = '/usr/bin';

@logs = (
  {
    tag => 'syslogworks',
    logfile => '/var/adm/syslog/syslog.log',
    rotation => 'bmwhpux',
    criticalpatterns => ['!nagios:\s+braver\s+syslog'],
    options => 'count,script',
    script => 'send_nsca',
    scriptparams => '-H $CL_NSCA_HOST_ADDRESS$ -p $CL_NSCA_PORT$ -to $CL_NSCA_TO
_SEC$ -c $CL_NSCA_CONFIG_FILE$',
    scriptstdin => '$CL_HOSTNAME$\t$CL_SERVICEDESC$\t$CL_SERVICESTATEID$\tsyslog
 is not working\n',
  },
);

$postscript = 'logger';
$postscriptparams = '-t nagios';
$postscriptstdin = 'braver syslog ($CL_DATE_YYYY$-$CL_DATE_MM$-$CL_DATE_DD$ $CL_
DATE_HH$:$CL_DATE_MI$:$CL_DATE_SS$)';

So könnte es aussehen, wenn man check_logfiles mittels eines Cronjobs laufen lässt und nur im Fehlerfall einen Alarm per NSCA bekommen will. Bei Aufruf durch Nagios bzw. NRPE kann man sich die $script-Einträge beim Tag syslogworks sparen. Das Ganze funktioniert so, daß es einen Critical gibt, wenn der String 'nagios: braver syslog*' nicht im Logfile gefunden wird. Der sollte da aber drinstehen, weil er am Ende des letzten Laufs von check_logfiles mit dem logger-Befehl an Syslog geschickt wurde. Als Variante kann man den logger-Befehl auch im Rahmen eines prescripts ausführen. Allerdings wird unmittelbar danach bereits das Logfile nach dem String durchsucht. Ich würde auf belasteten Systemen nicht davon ausgehen, daß die Meldung in dieser kurzen Zeit vom syslogd bereits in das Logfile geschrieben wurde. Evt. kann man aber ein Wrapperscript um den logger-Befehl bauen, in dem noch ein sleep 5 ausgeführt wird. Die Methode mit NSCA benötigt mind. Version 1.3.6

$scriptpath = '/usr/bin';
$prescript = 'logger';
$prescriptparams = '-t nagios';
$prescriptstdin = 'braver syslog ($CL_DATE_YYYY$-$CL_DATE_MM$-$CL_DATE_DD$ $CL_
DATE_HH$:$CL_DATE_MI$:$CL_DATE_SS$)';
$prescriptsleep = 5;

@logs = (
  {
    tag => 'syslogworks',
    logfile => '/var/adm/syslog/syslog.log',
    rotation => 'bmwhpux',
    criticalpatterns => ['!nagios:\s+braver\s+syslog'],
    options => 'count',
  },
);

Damit kann ein aktiver Check implementiert werden, der einfach prüft, ob es innerhalb von 5 Sekunden möglich ist, einen String an Syslog zu schicken und in der entsprechenden Logdatei wiederzufinden. Die Methode benötigt wegen des $prescriptsleep Parameters mind. Version 1.3.6.1