Kies waarover je gewaarschuwd wilt worden

Een handleiding voor de meldingen die InfraNest je kan sturen over je servers, en hoe je kiest welke je wilt.

Overzicht

• Standaardmeldingen is een kant-en-klare lijst met alles waarvoor InfraNest je kan waarschuwen, elk met een schakelaar ernaast.
• Schakel in wat je wilt. Elke gemonitorde server volgt de instelling die je kiest, maar aan elke afzonderlijke server kunnen andere waarden worden toegekend zonder gevolgen voor de rest.
• Er is niets aan te maken — de lijst is compleet en elke melding start met een verstandige waarde, zodat je niet hoeft te weten wat een redelijke drempel is voordat je hem inschakelt.

Iets inschakelen

1. Ga naar Monitoring en kies Alert defaults.
2. Zoek de melding die je wilt en zet de schakelaar om. Dat is de hele stap — het wordt direct opgeslagen en elke gemonitorde server volgt de instelling meteen.

De lijst is gegroepeerd in vier vragen:

• Heeft de machine het moeilijk? — CPU, geheugen, schijfruimte en load average.
• Is er iets kapot? — een service die is uitgevallen, een service of container die steeds opnieuw opstart, een proces dat de server heeft gestopt omdat het geheugen op was, en een server die stil is geworden.
• Is alles up-to-date? — openstaande beveiligingsupdates, een herstart die de server nog moet uitvoeren om updates te voltooien, en een Ubuntu Pro-abonnement dat een server niet meer dekt.
• Is het verkeer ongewoon? — netwerk- en schijfdoorvoer. De meeste mensen laten dit uit staan totdat ze weten hoe normaal eruitziet voor een specifieke server.

Een waarde wijzigen

1. Zoek de waarde in de zin onder de naam van de melding.
2. Klik erop, typ een nieuwe waarde en druk op Enter of klik ergens anders.

Er is geen opslaanknop en niets om te openen — het wordt meteen opgeslagen.

Twee waarden per melding:

• De drempel — hoe hoog de meting moet oplopen.
• De minuten — hoe lang het daar moet blijven voordat iemand wordt gewaarschuwd.

TipEen heel korte duur maakt van elke korte piek een melding, en meldingen waar niemand iets mee kan doen zijn precies de meldingen die mensen gaan negeren. Tien minuten is voor de meeste dingen een verstandig startpunt.

Als je abonnement metingen minder vaak opslaat dan het venster dat je kiest, laat InfraNest je geen venster instellen dat te kort is om te beoordelen — de regel zou dan nooit afgaan.

CPU-, geheugen- en I/O-druk meten iets dat load niet kan: hoeveel van elke minuut programma's hebben gewacht — op een processor, op vrijgemaakt geheugen, of op de schijf. Geheugendruk is vaak het eerste teken dat een server door zijn geheugen heen dreigt te raken, nog voordat er iets wordt gestopt; I/O-druk laat een trage schijf zien voordat iets anders dat doet. Deze zijn nieuw, dus de startwaarden zijn ruw ingeschat — pas ze aan zodra je hebt gezien wat normaal is voor jouw servers. Ze vereisen agentversie 0.14 of nieuwer en een redelijk recente Linux-kernel.

Load wordt ingesteld per CPU-kern. Load telt het werk dat wacht op een processor, dus hetzelfde getal betekent iets anders op een kleine en een grote server: 2 is een volledig bezette server met twee kernen, en bij een server met acht kernen een kwart bezet. Een limiet van 1,0 per kern betekent \“elke kern bezet\”, ongeacht de server, dus één instelling past bij je hele vloot. InfraNest gebruikt het aantal kernen dat de agent rapporteert, of dat van het abonnement bij je provider, en de melding vermeldt beide: \“limiet 8 (1 per kern × 8 kernen)\”. Als geen van beide bekend is, wordt de server behandeld alsof hij één kern heeft.

De server is stil geworden heeft een eigen minimum, om de tegenovergestelde reden. De agent meldt zich volgens het schema van je abonnement, dus tussen twee volkomen normale meldingen in kan een gezonde server een paar minuten stil zijn. Daarom is de kortste instelling vijf minuten, of drie gemiste meldingen bij een abonnement dat minder vaak rapporteert (vijftien minuten wanneer er elke vijf minuten wordt gerapporteerd). Als eerder een kortere limiet was ingesteld, of je abonnement sindsdien is gewijzigd, wacht de melding toch dat minimum af en toont de pagina de waarde die daadwerkelijk wordt gebruikt.

Een schijf die zonder bestanden valt in plaats van zonder ruimte

Inodes raken op houdt iets in de gaten dat de melding over schijfruimte niet kan zien. Elk bestand op een schijf gebruikt één inode, en de meeste schijven hebben daar een vast aantal van. Een schijf vol kleine bestanden — mailwachtrijen, PHP-sessies, cachemappen — kan ze allemaal opmaken terwijl er nog gigabytes vrij zijn, en vanaf dat moment weigert hij elk nieuw bestand terwijl het schijfruimtecijfer zegt dat alles in orde is. Deze melding gaat af wanneer de volste schijf, geteld in bestanden, boven 90% blijft. De Disk-kaart van de server toont dit cijfer onder een schijf zodra deze voor de helft gebruikt is.

Sommige bestandssystemen, zoals btrfs, hebben geen vast aantal inodes en raken hier nooit op deze manier door op; daarop blijft de melding stil. Hiervoor is agentversie 0.13 of nieuwer nodig.

Een schijf die binnenkort vol zal zijn

Een schijf zal binnenkort vol zijn geeft antwoord op de vraag waar het schijfruimtepercentage alleen een indicatie van is: niet \“hoe vol is hij\” maar \“wanneer is hij vol\”. InfraNest kijkt hoe snel elke schijf de afgelopen week is gegroeid — dezelfde prognose die de Disk-kaart van de server toont — en meldt het één keer wanneer een schijf op koers ligt om vol te raken binnen het aantal dagen dat je hebt gekozen (aanvankelijk een week). Een grote schijf die maandenlang op 88% blijft staan, blijft stil; een kleine schijf die een paar procent per dag vult, wordt tijdig opgemerkt. Wanneer een schijf stopt met vullen, of veel langzamer vult dan je limiet, krijg je daar ook bericht van.

Hiervoor is de agent nodig, die de geschiedenis per schijf bijhoudt waarop de prognose is gebaseerd.

Updates en herstarts

De twee meldingen onder Is alles up-to-date? werken enigszins anders dan de rest, omdat waar ze op letten een tijdje mag duren.

• Beveiligingsupdates staan te wachten wordt gemeten in uren: aanvankelijk \“meer dan 0, gedurende 24 uur\”, en de melding verdwijnt zodra de server is bijgewerkt. Op een server die updates zelf installeert, worden sommige bewust een paar dagen uitgesteld, dus daar krijg je pas bericht zodra updates een week hebben gewacht. Dat betekent meestal dat de automatische updates zelf zijn gestopt.
• Een herstart staat open wordt gemeten in dagen. Je krijgt één keer bericht, wanneer een server langer op een herstart heeft gewacht dan het aantal dagen dat je hebt gekozen — aanvankelijk een week. Een herstart binnen die tijd, zoals de automatische nachtelijke herstart die veel Ubuntu-servers uitvoeren, stuurt helemaal niets. De pagina van de server toont een openstaande herstart vanaf het moment dat die verschijnt. Als de server zichzelf herstart na updates, krijg je bericht de ochtend nadat hij had moeten herstarten en dat niet deed. De pagina van de server toont hoe dit is ingesteld, onder Automatic updates.

Beveiligingsupdates staan te wachten is afhankelijk van informatie die alleen Debian en Ubuntu over zichzelf bijhouden, dus op andere systemen blijft deze stil. Een herstart staat open werkt op elke Linux-server met een actuele agent, en Windows-servers rapporteren dit ook, via Windows Update. Arch is de uitzondering: het verwijdert de bestanden van de actieve kernel bij het updaten, waardoor de melding daar stil blijft.

Wanneer een RAID-array een schijf verliest

Dedicated servers bewaren hun gegevens meestal op twee schijven tegelijk (software-RAID 1), zodat er één kan uitvallen zonder dat er iets verloren gaat. Een RAID-array heeft een schijf verloren meldt wanneer een array een kwartier lang op minder schijven draait dan waarvoor hij gebouwd is, en nogmaals wanneer hij weer compleet is. Als een vervangende schijf al wordt gevuld, geeft het bericht aan hoever dat gevorderd is. De System-kaart van de server toont elke array onder RAID.

Servers zonder software-RAID — de meeste cloudservers — hebben niets te melden en de melding blijft stil. Hiervoor is agentversie 0.14 of nieuwer nodig.

Wanneer de klok van een server niet meer gelijk loopt

De klok synchroniseert niet meer meldt wanneer een server waarvan de klok gesynchroniseerd werd gehouden, dit een half uur lang niet meer is geweest. De System-kaart van de server toont de status van de klok onder Clock.

Sommige servers melden hun klok nooit als gesynchroniseerd en dat is prima — het hostingplatform houdt de tijd zelf gelijk. Deze melding spreekt zich alleen uit over een server die hij ooit gesynchroniseerd heeft gezien, dus die blijven stil. Hiervoor is agentversie 0.14 of nieuwer nodig.

Wanneer Ubuntu Pro een server niet meer dekt

Ubuntu Pro is verlopen meldt wanneer een server die aan Ubuntu Pro was gekoppeld, dat niet meer is. Livepatch en de extra beveiligingsupdates (ESM) stoppen op dat moment, en de server zelf vermeldt dit nergens.

Je krijgt bericht zodra de server het aantal minuten dat je hebt gekozen (aanvankelijk een uur) zonder Ubuntu Pro is geweest. Wanneer de server weer gedekt is, krijg je een melding dat alles weer in orde is. Servers die nooit Ubuntu Pro hebben gehad, worden met rust gelaten.

De System-kaart van de server toont hetzelfde: of de server gekoppeld is, en of Livepatch en ESM aan staan. Hiervoor is agentversie 0.11.0 of nieuwer nodig.

Wanneer een server zonder geheugen komt te zitten

De server had onvoldoende geheugen meldt wanneer een server zo weinig geheugen over had dat hij een programma moest stoppen om door te kunnen gaan. De geheugengrafiek kan dit niet laten zien — het stoppen van het programma is precies wat het geheugen vrijmaakte, waardoor de volgende meting er gezond uitziet.

Je krijgt één keer bericht, zelfs als meerdere programma's achter elkaar worden gestopt. Wanneer er gedurende het aantal minuten dat je hebt gekozen (aanvankelijk een uur) niets meer is gestopt, krijg je een melding dat alles weer in orde is. De e-mail vermeldt het commando dat je op de server kunt uitvoeren om te zien om welk programma het ging.

De System-kaart van de server toont ook hoeveel programma's op deze manier zijn gestopt sinds de server voor het laatst is gestart. Hiervoor is agentversie 0.10.0 of nieuwer nodig.

Wanneer een service steeds opnieuw opstart

Een service blijft opnieuw opstarten meldt wanneer één service op een server steeds vastloopt en opnieuw wordt gestart. Dit begint bij 3 herstarts binnen 15 minuten — beide waarden staan in de zin en je kunt ze wijzigen. Alleen herstarts die de server zelf heeft uitgevoerd, tellen mee.

Je krijgt één keer bericht, met de naam van de service en hoe vaak deze is herstart. Wanneer er gedurende de lengte van het venster niets meer is herstart, krijg je een melding dat alles weer in orde is. Een service die je op een server hebt gekozen te negeren, activeert deze melding niet.

Wanneer een container steeds opnieuw opstart

Een container blijft opnieuw opstarten is dezelfde melding voor Docker- en Podman-containers, en gaat aanvankelijk af wanneer een container 3 keer binnen 15 minuten herstart. Je kunt beide waarden wijzigen.

De melding benoemt de container met zijn korte ID in plaats van zijn naam, omdat de agent zelf nooit verbinding maakt met Docker. Je krijgt één keer bericht, en een melding dat alles weer in orde is wanneer er gedurende de lengte van het venster geen enkele container is herstart. Containers kunnen nog niet één voor één worden genegeerd; om deze melding op één server te stoppen, schakel je hem voor die server uit.

Waar elke melding daadwerkelijk op let

Elke ingeschakelde melding toont voor hoeveel servers deze geldt — \“Aan · 12 van 14 servers\” — en elke melding heeft een zin die precies aangeeft wanneer deze afgaat.

NoteMeldingen met de aanduiding Needs agent houden iets in de gaten dat geen enkele cloudprovider rapporteert. Je kunt ze voor de organisatie inschakelen, maar ze gaan alleen af op servers waar de agent is geïnstalleerd. Op een server zonder agent vermeldt de melding dit op de rij en biedt deze meteen aan om de agent daar te installeren.

Eén server wijzigen

1. Open de server via Monitoring → Servers.
2. Ga naar het tabblad Alerts & rules.

Je krijgt dezelfde lijst te zien, met wat die machine daadwerkelijk doet: Normal, Firing, of uit. Een server die een herstart nodig heeft, toont Waiting in plaats van Firing.

• Meldingen die van de organisatie komen, zijn gemarkeerd als Org default.
• Wijzig daar een waarde en deze wordt Changed here — alleen die server wordt beïnvloed.
• Reset zet de waarde terug naar die van de organisatie.
• Een melding op die pagina uitschakelen, schakelt deze alleen voor die server uit. De standaardinstelling uitschakelen, schakelt deze overal uit.

Een melding die je organisatie helemaal niet heeft ingeschakeld, kan niet voor één server afzonderlijk worden ingeschakeld — de rij vermeldt dit en verwijst terug naar hier.

Iets uitschakelen

1. Zet de schakelaar weer uit.

Er wordt niets verwijderd: alle waarden die per server zijn ingesteld, blijven bewaard en worden weer van kracht als je de melding later weer inschakelt.