In de Service Niveau Overeenkomst staat een beschikbaarheid voor de DRP productieomgeving van minimaal 99% en van de preproductieomgeving minimaal 95%. De hieronder opgegeven beschikbaarheidspercentages hebben een tijdsvenster van 24 uur per dag, 7 dagen per week gemiddeld over de hele maand.
In de Service Niveau Overeenkomst staat de responstijd van de invoeromgeving met een standaard geborgde piekbelasting van maximaal 0,3 seconden. De responstijd van de invoeromgeving staat gelijk aan de gemeten responstijd van de inlogpagina van DRP.
Onder 'incidenten' verstaan we: elke gebeurtenis die niet tot de standaardoperatie van een dienst behoort en die een interruptie of een vermindering van de kwaliteit van die dienst kan veroorzaken. Afhankelijk van de aard en ernst van het incident wordt een bepaalde prioriteit toegekend:
Prioriteit
Omschrijving
Prio 1
Een ernstige verstoring die alle gebruikers van DRP raakt waardoor het niet langer mogelijk is om op de gebruikelijke wijze documenten in te voeren of waardoor de interne werking zodanig verslechterd is dat documenten niet meer gepubliceerd kunnen worden.
Prio 2
Een verstoring die slechts enkele gebruikers of organisaties raakt waardoor het niet langer mogelijk is om op de gebruikelijke wijze documenten in te voeren.
Prio 3
Alle incidenten die niet vallen onder de definities van Prio 1 of Prio 2.
In onderstaand overzicht wordt weergegeven hoeveel incidenten er in de afgelopen periode door gebruikers zijn gemeld.
Alle incidenten die Prio 1 toegekend hebben gekregen worden hieronder toegelicht en incidenten met Prio 2 met een dusdanige impact dat ze het vermelden waard zijn.
Overbelasting VPN tunnel
KOOP is bezig met een hostingmigratie van haar diensten en infrastructuur naar een nieuwe aanbieder. Inmiddels is vrijwel alle software overgezet naar de nieuwe locatie, echter de data nog niet. Om ervoor te zorgen dat de applicaties nog steeds data kunnen ophalen en wijzigen zijn VPN tunnels ingericht waar het dataverkeer doorheen kan lopen. Op 26 februari vielen er in DRP meerdere documenten uit bij het transformeren naar de verschijningsvormen zoals ze op Officielebekendmakingen.nl gepubliceerd worden, doordat data niet snel genoeg door de VPN tunnel ging. Omdat alle producten van KOOP gebruik maken van deze tunnel, was het niet direct duidelijk waardoor het probleem werd veroorzaakt. Uiteindelijk bleek dat Wetten.nl veel extra verkeer genereerde; waarschijnlijk door bots van Google en andere zoekmachines.
Omdat het werken in DRP niet goed mogelijk was, is DRP om 9:20 in onderhoudsmodus geplaatst. In de loop van de middag stabiliseerde de situatie waarnaar DRP vanaf 14:10 weer bruikbaar was. Bij Wetten.nl zijn maatregelen genomen om het verkeer binnen de perken te houden. KOOP gaat alle data in het tweede kwartaal van 2025 ook verhuizen naar het nieuwe platform. Hierna zijn de VPN tunnels niet meer nodig, en kan dit specifieke probleem niet meer voorkomen.
Storing Repository Webclient
DRP maakt gebruik van een webclient om bestanden te kunnen benaderen die zijn opgeslagen op de algemene publicatie repository van KOOP. Op de publicatie repository worden bijvoorbeeld alle publicaties die via DROP worden gemaakt geplaatst, zodat ze via internet opgevraagd kunnen worden. Op de publicatie repository staan echter ook bestanden die gebruikt worden in het creatieproces in DRP. Op 13 februari was de repositorry webclient plotseling niet bereikbaar, waardoor DRP ook deze bestanden niet meer kon ophalen. Als gevolg hiervan was het niet langer mogelijk om nieuwe documenten aan te maken. Een herstart van de repository webclient heeft het probleem vrij snel kunnen verhelpen.
Netwerkstoring
Op 3 februari hadden we last van een netwerkstoring waardoor systemen waarvan DRP afhankelijk is, af en aan niet benaderbaar waren. Als gevolg hiervan was het niet mogelijk om in de applicatie te kunnen werken of aan te leveren op het koppelvlak. De storing is uiteindelijk verholpen door onze hostingpartner Standaard Platform.
Vertraging bij de ValidatieService
Op 27 januari was het tijdelijk niet mogelijk om dossiers aan te maken in DRP. Dit is vergelijkbaar met het voortdurende probleem dat speelt sinds 14 januari, maar is niet helemaal hetzelfde. In dit geval bleek de ValidatieService die DRP gebruikt om dossiers goed te keuren langzaam. Het gevolg hiervan is dat dossiers op elkaar moesten wachten en tijdens het aanmaken al mislukten. De oorzaak bleek te liggen in een aantal pods van de ValidatieService, die op het Standaard Platform niet goed bereikbaar waren, waardoor de totale capaciteit van de ValidatieService beperkt was. Dit is opgelost door de ValidatieService als geheel te herstarten. DRP heeft hiervoor kortstondig (ongeveer 3 minuten) in onderhoud gestaan.
Niet mogelijk om grondslagen toe te voegen
Rond 12 uur bleek het niet meer mogelijk om grondslagen toe te voegen uit het Basis Wettenbestand. Deze regelingen worden geleverd vanuit LinkedData Overheid (LiDO). Het leek er even op dat de storing snel verholpen was, omdat LiDO weer beschikbaar was, echter werd bij een zoekvraag naar een regeling niet alle regelingonderdelen teruggegeven, waardoor het alsnog niet mogelijk was om de grondslag toe te voegen. Om 16:30 is het probleem volledig opgelost.
Netwerkstoring
Op 16 januari zagen we connectiviteitsproblemen met het Standaard Platform waarop een deel van de backend van DRP gehost wordt. De storing bleek onderdeel van een grotere netwerkstoring bij het Standaard Platform. Dit is uiteindelijk door de leverancier verholpen.
Onmogelijk om dossiers aan te maken
Op 15 januari was het tijdelijk niet mogelijk om dossiers aan te maken. Dit lijkt op het probleem dat als sinds 14 januari speelt, maar dit is niet precies hetzelfde. In dit geval liepen de responstijden van de repository webclient op. Deze wordt gebruikt om documenten te downloaden uit de KOOP-collecties. Dit is onder andere nodig voor het goedkeuren van dossiers in DRP. De oorzaak bleek te liggen in een kopieeractie die wordt uitgevoerd in het kader van een hostingmigratie. Als onderdeel hiervan moeten alle collecties van KOOP worden overgezet naar een andere locatie. Deze handelingen vormden een te grote belasting voor het systeem dat hierdoor erg traag werd. Als gevolg van deze storing is ervoor gekozen om de kopieeractie stop te zetten. Later is deze weer hervat, maar met een beperking op de maximaal te gebruiken bandbreedte.
Onmogelijk om dossiers aan te maken tijdens piekmomenten
Sinds 14 januari kampen gebruikers bijna dagelijks met het probleem dat het tijdelijk niet mogelijk is om dossiers aan te maken. Dit probleem doet zich zowel voor bij invoer in de website als via het 3PAS koppelvlak. Het speelt met name in de ochtend tussen 11:00 en 12:00 omdat er dan veel (geautomatiseerd) wordt aangeleverd. In de software kunnen aanleveringen niet goed parallel verwerkt worden. Hierdoor moeten dossiers wachten voordat het voorgaande dossier volledig is aangemaakt. Wanneer er te veel op hetzelfde moment wordt aangeleverd, vallen er dossiers uit nadat er enige tijd gewacht is. Er is geen duidelijk aanwezige reden waarom het probleem sinds dit moment speelt.
Sinds 6 februari is het probleem gedeeltelijk opgelost door verbeteringen in het goedkeuringsmechanisme. Hierdoor gaat het goedkeuren van documenten sneller waardoor aanleveringen minder lang op elkaar hoeven te wachten. Het probleem is volledig opgelost met versie 9.9 van DRP. Hierin zit een verbetering die ervoor zorgt dat 3PAS aanleveringen parallel verwerkt kunnen worden, waardoor ze helemaal niet meer hoeven te wachten. Dit heeft als extra voordeel dat ook gebruikers van de website sneller documenten kunnen aanmaken.
Geen verkeer over VPN tunnels
Monitoring gaf aan dat er geen verkeer mogelijk was over de VPN tunnels die DRP gebruikt voor de communicatie met achterliggende systemen. Het probleem is na 10 minuten vanzelf opgehouden. De applicatie is niet in onderhoud geweest.
Netwerkstoring
Rond 9.30 uur heeft KOOP een melding gekregen dat er bij de hostingpartner ODC Noord een storing was. Het effect van de storing was dat DRP niet meer bij zijn eigen database kon, waardoor werken in de applicatie onmogelijk was. Doordat het hele team op een planningsevenement was, duurde het even voordat de applicatie in onderhoudsmodus werd geplaatst. Dit is rond 11:15 alsnog gedaan. ODC Noord heeft de storing kunnen verhelpen en rond 13:00 is DRP uit onderhoud gehaald.
Ongeldige doorverwijzing
Sommige gebruikers werden bij het inloggen onterecht doorverwezen naar de DigiD inlog provider die al enkele jaren niet meer bestaat. Het is niet duidelijk waar dit door werd veroorzaakt, niet alle gebruikers hadden hier last van. De pagina verversen werkte bij de meeste gebruikers als workaround, zodat ze naar het reguliere KOOP inlogscherm werden verwezen. Het probleem is vanzelf opgehouden. Voor de zekerheid is de DigidBridge (verwijzer naar DigiD) helemaal uitgezet.
Storing mogelijk veroorzaakt door onderhoud bij hostingpartij
Deze storing was vergelijkbaar met de storing van 25 november. Ook op deze dag werd er onderhoud uitgevoerd aan het Standaard Platform waarop DRP gehost wordt. In theorie moet dit platform overdag aangepast kunnen worden, zonder dat de applicaties die daarop draaien er last van hebben. In de praktijk bleek dat DRP erg traag was, waardoor het aanmaken van nieuwe dossiers niet snel genoeg ging. Acties van gebruikers moesten vervolgens op elkaar wachten wat leidde tot foutmeldingen voor de gebruikers.
Storing mogelijk veroorzaakt door onderhoud bij hostingpartij
Op deze dag werd er onderhoud uitgevoerd aan het Standaard Platform waarop DRP gehost wordt. In theorie moet dit platform overdag aangepast kunnen worden, zonder dat de applicaties die daarop draaien er last van hebben. In de praktijk bleek dat DRP erg traag was, waardoor het aanmaken van nieuwe dossiers niet snel genoeg ging. Acties van gebruikers moesten vervolgens op elkaar wachten wat leidde tot foutmeldingen voor de gebruikers.
Storing bij netwerkprovider Odido
We kregen de melding dat de generieke ValidatieService van KOOP niet beschikbaar was. Deze ValidatieService wordt gebruikt bij het goedkeuren van documenten en bij de Word-import. Dit deel van de applicatie werkte dan ook niet. Omdat er nog wel ingelogd kon worden, is besloten om de applicatie niet in onderhoudsmodus te plaatsen. Gebruikers konden in principe doorwerken, maar werden wel vaak geconfronteerd met foutmeldingen.
De oorzaak leek achteraf te liggen bij een storing bij netwerkprovider Odido. Het is echter niet duidelijk waarom deze specifieke dienst van KOOP niet beschikbaar was, en andere diensten wel correct functioneerden.
Afwisselend connectieprobleem na livegang ODC Noord
In het weekend van 7 en 8 september is DRP verhuisd naar een nieuwe hostinglocatie bij ODC Noord. De migratie leek in eerste instantie een succes, echter kwamen er al snel meldingen binnen van gebruikers die aangaven soms wel, en soms geen verbinding te kunnen maken met de applicatie. Oorzaak van het probleem werd door ODC Noord verondersteld te liggen in een verkeerde configuratie van de load-balancer. Er is veel tijd besteed aan het doorvoeren van een betere config. Na het doorvoeren bleek dit geen verschil te maken en zat de oorzaak elders. Uiteindelijk bleek dat de secundaire node van de HA proxy aan de achterkant dicht te staan, waardoor er geen verkeer werd toegelaten. Dit was vervolgens eenvoudig te verhelpen. Doordat we eerst op het verkeerde spoor zaten, heeft het langer geduurd om de storing te verhelpen.
Netwerkstoring
Om 11:00 gaf de monitoring aan dat diensten op het Standaard Platform niet te benaderen waren. Dit leidt tot onverwacht gedrag in de applicatie. Uit voorzorg is de applicatie om 11:30 in onderhoudsmodus geplaatst, waardoor gebruikers niet meer in de applicatie kunnen werken. Rond 13:00 is de storing opgelost en is de applicatie weer uit onderhoud gehaald.
Niet mogelijk om grondslagen toe te voegen
We hebben meerdere meldingen ontvangen dat het niet mogelijk bleek om regelingen uit het Basis Wettenbestand te zoeken om te koppelen als grondslag voor een regeling in DROP. De oorzaak bleek een foutieve DNS wijziging, waardoor de linktool (LiDO) niet meer benaderd kon worden. Dit is opgelost door de foutieve wijziging weer terug te draaien.
Uitval door gebrek aan schijfruimte
Door het optimaliseren van de database (zie verstoring 28 mei 2024) is plotseling zeer veel logging informatie vastgelegd. Hierdoor liep de schijf vol, waardoor het niet mogelijk was om nieuwe dossiers aan te maken of bestaande dossiers een nieuwe status te geven. Dit is opgelost door de schijven uit te breiden en de logging informatie op te schonen.
Uitval door overbelasting
Door een grote toename van het aantal aanleveringen via 3PAS was het voor het systeem soms niet mogelijk om snel genoeg dossiers aan te maken. Als gevolg hiervan werden bepaalde dossiers niet aangemaakt door een time-out. Ook gebruikers van de website konden hier hinder van ondervinden. Het probleem is vanzelf opgehouden naar mate het rustiger werd. Later is dit structureel aangepakt door de database slimmer in te richten en de performance te verhogen.
Foutieve content door storing ConfiguratieService
DRP gebruikt een ConfiguratieService om voor elk document op te halen welke metagegevens toegestaan en verplicht zijn. Door een fout in de ConfiguratieService was het tijdelijk mogelijk om documenten aan te maken met een ongeldige combinatie van metagegevens. Om te voorkomen dat dit veel herstelwerk zou opleveren is ervoor gekozen om DRP in onderhoudsmodus te plaatsen. Hierdoor konden gebruikers niet meer inloggen en was het dus ook niet mogelijk om nieuwe documenten aan te maken. In de tussentijd is de ConfiguratieService hersteld, zodat daarna documenten weer op de correcte manier werden aangemaakt.
Onbeschikbaarheid van het inlogmechanisme
Door een menselijke fout is een wachtwoord van een intern component gewijzigd, waardoor systemen niet meer met elkaar konden communiceren. Effect hiervan was dat gebruikers niet meer konden inloggen in de DRP applicaties en dat aanleveringen via 3PAS niet meer mogelijk waren.
Storing bij hostingleverancier
Aan het begin van de dag bleek uit de monitoring dat de backend-services al sinds 2:00 's nachts onbereikbaar waren. Er bleek sprake van een storing bij de hostingleverancier. Deze is rond 8:45 opgelost. De applicatie is niet in onderhoud geweest. Verreweg het grootste deel van de storing heeft zich buiten het servicewindow afgespeeld.
In de Service Niveau Overeenkomst staat de norm beschreven dat per 12 maanden 90% van het aantal incidenten binnen de aangegeven oplostijd wordt opgelost. In onderstaande tabel staat hoeveel incidenten er in de afgelopen 12 maanden waren en hoeveel er daarvan opgelost zijn binnen de aangegeven oplostijd. We gaan intern analyseren waarom het KOOP in de afgelopen 12 maanden niet is gelukt om, met name voor prio 2 incidenten, aan de norm te kunnen voldoen.
Oplostijden incidenten
Type incident
Oplostijd volgens SNO
Aantal in periode maart 2024 t/m februari 2025
Opgelost binnen aangegeven oplostijd in periode maart 2024 t/m februari 2025
Prio 1
4 uur (kantooruren)
20
80%
Prio 2
8 uur (kantooruren)
14
36%
Prio 3
40 uur (kantooruren)
55
76%
Wijzigingenbeheer
In de Service Niveau Overeenkomst staan doorlooptijden beschreven voor standaardwijzigingen. En staat de norm beschreven dat per maand 90% van het aantal standaardwijzigingen binnen de aangegeven doorlooptijd wordt afgehandeld. In onderstaande tabel staat hoeveel standaardwijzigingen er in de afgelopen maand waren en hoeveel er daarvan gehaald zijn binnen de aangegeven doorlooptijd.
*De data in deze tabel hebben een onnauwkeurigheid. Niet alle wijzigingen worden altijd op de juiste manier geregistreerd.
Voor het doorvoeren van software-updates werkt KOOP in sprints van twee weken. In de nieuwsbrief leest u of de release van de nieuwe software doorgaat en wat de verbeteringen zijn. Tijdens de release staat de applicatie in onderhoud.
Portalen
Documenten die via DRP gepubliceerd worden, worden aan de buitenwereld ontsloten via de portalen Officielebekendmakingen.nl, Lokaleregelgeving.overheid.nl en Berichten over uw Buurt.
Het portaal Lokaleregelgeving.overheid.nl kent nog geen formele beschikbaarheidscriteria. Indien in de toekomst deze beschikbaarheidscriteria alsnog worden vastgesteld, zullen deze worden toegevoegd aan de Service Niveau Overeenkomst en zullen we hier rapporteren of deze gehaald zijn.
Berichten over uw Buurt rondom een zelfgekozen adres
Een overzicht van het aantal geabonneerde gebruikers per gemeente op de e-mailservice Berichten over uw Buurt rondom uw woonadres is nog niet beschikbaar. KOOP en Logius werken aan de realisatie van een platform dat voorziet in deze informatiebehoefte. Zodra er meer bekend is over de opleverdatum, communiceren we dit via de tweewekelijkse nieuwsbrief.
