Service Level Rapportage

Afwisselend connectieprobleem na livegang ODC Noord

In het weekend van 7 en 8 september is DRP verhuisd naar een nieuwe hostinglocatie bij ODC Noord. De migratie leek in eerste instantie een succes, echter kwamen er al snel meldingen binnen van gebruikers die aangaven soms wel, en soms geen verbinding te kunnen maken met de applicatie. Oorzaak van het probleem werd door ODC Noord verondersteld te liggen in een verkeerde configuratie van de load-balancer. Er is veel tijd besteed aan het doorvoeren van een betere config. Na het doorvoeren bleek dit geen verschil te maken en zat de oorzaak elders. Uiteindelijk bleek dat de secundaire node van de HA proxy aan de achterkant dicht te staan, waardoor er geen verkeer werd toegelaten. Dit was vervolgens eenvoudig te verhelpen. Doordat we eerst op het verkeerde spoor zaten, heeft het langer geduurd om de storing te verhelpen.

Netwerkstoring

Om 11:00 gaf de monitoring aan dat diensten op het Standaard Platform niet te benaderen waren. Dit leidt tot onverwacht gedrag in de applicatie. Uit voorzorg is de applicatie om 11:30 in onderhoudsmodus geplaatst, waardoor gebruikers niet meer in de applicatie kunnen werken. Rond 13:00 is de storing opgelost en is de applicatie weer uit onderhoud gehaald.

Niet mogelijk om grondslagen toe te voegen

We hebben meerdere meldingen ontvangen dat het niet mogelijk bleek om regelingen uit het Basis Wettenbestand te zoeken om te koppelen als grondslag voor een regeling in DROP. De oorzaak bleek een foutieve DNS wijziging, waardoor de linktool (LiDO) niet meer benaderd kon worden. Dit is opgelost door de foutieve wijziging weer terug te draaien.

Uitval door gebrek aan schijfruimte

Door het optimaliseren van de database (zie verstoring 28 mei 2024) is plotseling zeer veel logging informatie vastgelegd. Hierdoor liep de schijf vol, waardoor het niet mogelijk was om nieuwe dossiers aan te maken of bestaande dossiers een nieuwe status te geven. Dit is opgelost door de schijven uit te breiden en de logging informatie op te schonen.

Uitval door overbelasting

Door een grote toename van het aantal aanleveringen via 3PAS was het voor het systeem soms niet mogelijk om snel genoeg dossiers aan te maken. Als gevolg hiervan werden bepaalde dossiers niet aangemaakt door een time-out. Ook gebruikers van de website konden hier hinder van ondervinden. Het probleem is vanzelf opgehouden naar mate het rustiger werd. Later is dit structureel aangepakt door de database slimmer in te richten en de performance te verhogen.

Foutieve content door storing ConfiguratieService

DRP gebruikt een ConfiguratieService om voor elk document op te halen welke metagegevens toegestaan en verplicht zijn. Door een fout in de ConfiguratieService was het tijdelijk mogelijk om documenten aan te maken met een ongeldige combinatie van metagegevens. Om te voorkomen dat dit veel herstelwerk zou opleveren is ervoor gekozen om DRP in onderhoudsmodus te plaatsen. Hierdoor konden gebruikers niet meer inloggen en was het dus ook niet mogelijk om nieuwe documenten aan te maken. In de tussentijd is de ConfiguratieService hersteld, zodat daarna documenten weer op de correcte manier werden aangemaakt.

Onbeschikbaarheid van het inlogmechanisme

Door een menselijke fout is een wachtwoord van een intern component gewijzigd, waardoor systemen niet meer met elkaar konden communiceren. Effect hiervan was dat gebruikers niet meer konden inloggen in de DRP applicaties en dat aanleveringen via 3PAS niet meer mogelijk waren.

Storing bij hostingleverancier

Aan het begin van de dag bleek uit de monitoring dat de backend-services al sinds 2:00 's nachts onbereikbaar waren. Er bleek sprake van een storing bij de hostingleverancier. Deze is rond 8:45 opgelost. De applicatie is niet in onderhoud geweest. Verreweg het grootste deel van de storing heeft zich buiten het servicewindow afgespeeld.

Storing bij hostingleverancier

Rond 15:45 sloeg de monitoring alarm dat diverse backend-services niet bereikbaar waren. Dit zijn allemaal services die gemigreerd zijn naar het nieuwe hostingplatform voor KOOP. Vanuit de hosting partner is bevestigd dat er een storing was. Om 16:05 is DRP in onderhoudsmodus geplaatst om te voorkomen dat gebruikers documenten aanmaken die later in de verwerking uitvallen. Rond 17:05 gaf de monitoring aan dat de backend weer benaderbaar was en heeft onze hostingpartner gevraagd of de applicatie weer operationeel was. Na een controle is de applicatie om 17:15 uit onderhoudsmodus gehaald.

Hostingmigratie ValidatieService

Om 11:30 werden we door een 3PAS-leverancier benaderd met de vraag of er een storing was, omdat ze zagen dat veel berichten niet afgeleverd konden worden op het koppelvlak. De oorzaak bleek te liggen in een migratie van een andere dienst van KOOP, die door DRP wordt gebruikt om de inhoud van documenten te controleren. De performance van deze dienst op de nieuwe hostinglocatie was significant lager, waardoor verzoeken om documenten te controleren niet op tijd afgehandeld konden worden. Voor gebruikers van de website betekende dit dat de stap 'Goedkeuren' soms niet mogelijk was en opnieuw gedaan moet worden. Voor aanleveringen via het 3PAS-koppelvlak betekende dit dat het hele bericht werd afgekeurd en dat de aanleverende partij deze opnieuw moest sturen. Het probleem is opgelost door de migratie terug te draaien en de dienst weer op de oude hostinglocatie te activeren. Uiteindelijk is de dienst op 2 april alsnog met succes gemigreerd zonder performanceverlies.

DDoS aanval op Overheid.nl

Rond 8:00 heeft één van onze hostingpartners geconstateerd dat er een DDoS aanval werd uitgevoerd op de website Overheid.nl. Aangezien KOOP gebruikmaakt van een gedeelde infrastructuur voor onder andere Overheid.nl en DRP, werd ook DRP hierdoor getroffen. Door de aanval werkte de interne verwerking van documenten niet goed. De websites van DRP bleven wel goed bereikbaar. Om 9:00 is besloten om de applicatie in onderhoud te zetten. Als eerste oplossing is ervoor gekozen om Overheid.nl af te schermen van de overige KOOP diensten, zodat de DDoS aanval geen effect meer had. Vanaf 9:30 kleurde de monitoring weer groen. Om 9:50 is besloten om de applicatie weer uit onderhoud te halen.

Netwerkstoring tussen hostingpartijen

KOOP is bezig met het migreren van de infrastructuur van een commerciële hostingaanbieder naar het Standaard Platform van Logius. De migratie gaat gefaseerd, hierdoor staat een deel van de DRP software nog bij de oude aanbieder en een deel op het Standaard Platform. Voor de communicatie tussen deze hostinglocaties zijn VPN-tunnels ingericht.

In de ochtend van 21 december is opgevallen dat de monitoring die het verkeer tussen beide hostinglocaties in de gaten houdt sinds 5:15 alerts gaf. Het effect was dat de interne verwerking van publicaties soms niet goed functioneerde. De website was voor gebruikers wel goed te bereiken. Omdat het aantal fouten dusdanig hoog opliep en het gedrag van de applicatie onvoorspelbaar was, hebben we uit voorzorg de applicatie in onderhoudsmodus gezet rond 10:45. Gevolg hiervan was dat gebruikers geen gebruik meer konden maken van de applicatie.

De oorzaak lijkt te liggen in een andere applicatie van KOOP die zoveel verkeer genereerde dat de hostingpartner dit automatisch blokkeerde. Omdat DRP vanaf dezelfde locatie verbinding maakt, was deze hier ook slachtoffer van. De oplossing was het isoleren van de overtredende applicatie. Nadat deze was afgescheiden van de overige KOOP applicaties is het netwerk gestabiliseerd. Rond 14:15 is
DRP uit onderhoud gehaald en konden gebruikers weer inloggen.

*De data in deze tabel hebben een onnauwkeurigheid. Niet alle wijzigingen worden altijd op de juiste manier geregistreerd.
 

*De data in deze tabel hebben een onnauwkeurigheid. Niet alle wijzigingen worden altijd op de juiste manier geregistreerd.
 

*De data in deze tabel hebben een onnauwkeurigheid. Niet alle wijzigingen worden altijd op de juiste manier geregistreerd.
 

*De data in deze tabel hebben een onnauwkeurigheid. Niet alle wijzigingen worden altijd op de juiste manier geregistreerd.
 

*De data in deze tabel hebben een onnauwkeurigheid. Niet alle wijzigingen worden altijd op de juiste manier geregistreerd.
 

*De data in deze tabel hebben een onnauwkeurigheid. Niet alle wijzigingen worden altijd op de juiste manier geregistreerd.
 

*De data in deze tabel hebben een onnauwkeurigheid. Niet alle wijzigingen worden altijd op de juiste manier geregistreerd.
 

*De data in deze tabel hebben een onnauwkeurigheid. Niet alle wijzigingen worden altijd op de juiste manier geregistreerd.
 

*De data in deze tabel hebben een onnauwkeurigheid. Niet alle wijzigingen worden altijd op de juiste manier geregistreerd.
 

*De data in deze tabel hebben een onnauwkeurigheid. Niet alle wijzigingen worden altijd op de juiste manier geregistreerd.
 

*De data in deze tabel hebben een onnauwkeurigheid. Niet alle wijzigingen worden altijd op de juiste manier geregistreerd.