Wat was er aan de hand?

Onze DNS provider die de domeinnaam beheert had een technische fout gemaakt met de verlenging van de domeinnaam. Hierdoor schoot de domeinnaam www.onatal.nl op zaterdag “op slot”. Wij hebben zelfs nog voordat de domeinnaam verliep contact met hen gehad om te vragen of alles wel goed ging. Zij gaven aan dat het allemaal goed was en het verder op de gebruikelijke wijze zou verlopen. Zoals we allemaal gemerkt hebben was dit niet het geval.

Het was puur een administratieve fout welke betrekking had op een adres wat niet door ons zelf was te wijzigen. Een simpele aanpassing was nodig, maar wij kwamen er bij het bedrijf niet doorheen. Het was weekend en niemand was te bereiken die dit kon aanpassen. Net zoals jullie als verloskundigen die 24/7 bereikbaar zijn zijn wij dat ook en was dit gewoon weg onbegrijpelijk. Wij hadden dit ook echt niet verwacht van de grootste domein provider ter wereld.

Wat hebben wij gedaan?

• Wij hebben per direct de installaties bereikbaar gemaakt op de alternatieve link www.onatalpwd.nl. Deze was binnen een half uur beschikbaar. Dit domein had een SSL certificaat, maar was verlopen. Dit betekende niet dat de verbinding onveilig was. De verbinding was gewoon netjes versleuteld, maar browsers geven hierover wel waarschuwingen om alert te blijven.
• De volgende actie was om voor deze domein het certificaat te verlengen. Wat bleek? Ook deze partij was gesloten in het weekend en was dus niet mogelijk om deze te verlengen, aan te vragen, dan wel te installeren.
• Toen hebben we samen met onze system administrator het voor elkaar gekregen een nieuw certificaat aan te vragen voor www.onatallijn1.nl op een manier waar uiteindelijk geen certificaat uitgevende partij voor nodig was. Dit was in ongeveer een uur gerealiseerd. Hierdoor kon er ook via deze manier via een versleutelde verbinding gewerkt worden in de eigen installatie, maar dan zonder de melding van de browsers.
• Uiteindelijk hebben wij de standaard domeinnaam vanochtend verhuist omdat het bedrijf ook na het weekend erg traag was met het oplossen van het probleem. Het zou maandag einde dag opgelost zijn, maar ook dit was niet het geval. Wij hebben de gehele nacht door om de 2 uur aan de telefoon gehangen en uiteindelijk vanochtend via een andere provider onze eigen domeinnaam weg gekaapt bij deze onderneming.

Communicatie?

Dit was lastig. Onze domeinnaam www.onatal.nl was niet beschikbaar dus ook de email was niet actief. Tickets konden niet gestuurd worden, de status website was niet te bereiken en de telefoondienst was gesloten in het weekend, dus ook dit stuitte op problemen.

Gelukkig konden wij snel mensen bereiken via Facebook, en later ook via Twitter. Niet optimaal, maar heeft erg geholpen jullie als gebruikers op de hoogte te houden. Wij hebben alles direct proberen te beantwoorden en waar nodig direct te bellen, zodat wij konden helpen als het nodig was. Uiteindelijk hebben wij ook nog via email verdere informatie kunnen verstrekken en vragen kunnen ontvangen en beantwoorden.

Wat hebben wij geleerd?

Persoonlijk zijn we erg teleurgesteld dat zoiets als dit kon gebeuren en hebben wij een aantal harde lessen geleerd.

Les 1: Maak met alle partners afspraken over beschikbaarheid in spoed situaties.

Wij hebben met onze partners omtrent de servers en met degene die de servers onderhouden strakke afspraken. Wij zijn dan ook per direct vertrokken bij deze domein provider die deze bizar slechte service heeft geleverd. Nu verspreiden wij de standaard en uitwijk domeinen over verschillende providers. Met deze nieuwe partijen zijn wij uitgebreidere en heldere afspraken aan het maken met betrekking tot 24/7 bereikbaarheid in geval van spoed situaties als deze.

Les 2: Communicatie, communicatie, communicatie.

Doordat we vrij snel een uitwijk locatie beschikbaar hadden was de daadwerkelijke onbereikbaarheid beperkt. Maar wij gaan ons wel beter voorbereiden om snel onze klanten te bereiken in situaties als deze:

• Voor-ingerichte mailing lijst voor directe spoed communicatie via email

• Directe communicatie via sociale media. Like ons op Facebook en volg ons via Twitter.

• Een spoed telefoonnummer. Een nummer wat wij zelf beheren en welke wij direct door kunnen schakelen zodra er een probleem zich voordoet.

Les 3: Technisch voorbereid op alles

Wij hebben de afgelopen 7 jaar veel geleerd en meegemaakt. Daardoor zijn we op veel voorbereid. Maar deze situatie zagen wij niet aankomen. Zo’n simpele handeling zo slecht afhandelen is voor ons nog steeds onbegrijpelijk. Wij hebben in de afgelopen jaren alle afhankelijkheid zoveel mogelijk beperkt en zullen dit in de toekomst nog verder doortrekken:

• De status website via een andere domein laten lopen. Deze site draait al op een andere server op een fysiek andere locatie dan de andere servers. Maar met het domein probleem was deze dus niet bereikbaar.

• Wij behouden de alternatieve link inclusief het SSL certificaat als permanente uitwijk mogelijkheid

Samenvatting van de impact

• Na de eerste melding hebben wij na een half uur de eerste oplossing kunnen bieden en de bereikbaarheid kunnen herstellen via de uitwijk locatie.

• Een uur later waren ook de certificaten weer netjes op orde waardoor waarschuwingen van browsers niet meer getoond werden.

• Helaas heeft ‘t tot dinsdag ochtend moeten duren voordat het gebruikelijke adres www.onatal.nl weer bereikbaar was, maar al deze tijd is via de uitwijk locatie de beschikbaarheid behouden.

Afsluitend

Onze oprechte excuses zijn op z’n plaats. Als bedrijf wat een dergelijke kritieke dienst verleend voor haar klanten plaatsen jullie veel vertrouwen in ons. Hier zijn wij trots op en schamen ons dan ook wanneer, ongeacht de reden, dat vertrouwen geschonden wordt.

Wij hopen dat we met deze transparante communicatie en heldere oplossingen het vertrouwen kunnen herstellen en behouden.

Wij willen jullie bedanken voor jullie begrip de fijne communicatie en ook vooral voor de vele steunbetuigingen die wij de afgelopen dagen hebben gekregen.

Wanneer jullie nog op- en aanmerkingen hebben over hoe wij dit nog beter kunnen doen in de toekomst horen wij het graag. Er kunnen weer gewoon tickets worden gestuurd of emails naar support@onatal.nl maar ook nog steeds naar support@onatallijn1.nl.

Met vriendelijke groet,

Joost Faassen en Joost Martens