2021-06-21

Nätverk Nätverksproblem

Vi har just nu ett nätverksproblem som gör att det inte går att komma åt resurser hos oss, bland annat vår hemsida, vi håller på att undersöka vad det beror på.

Uppdatering 16:30: Vi har identifierat problemet och jobbar på en lösning.

Uppdatering 16:40: Majoriteten av tjänsterna som låg nere har börjat komma igång och vi arbetar på att få igång resten inom kort.

Uppdatering 18:07: Läget fortsätter att förbättras, de flesta system ska vara igång igen men vi fortsätter att jobba på det.

Uppdatering 20:34: Alla tjänster fungerar sedan 18:45, en rapport kommer imorgon efter utredning.

Uppdatering 28 jun, Incidentrapport:
Trots att många tagit semester nu under sommaren är vi på Oderland kvar och svarar på era frågor i vår support, utvecklar och förändrar vår kundavdelning för att förenkla för er kunder och installerar nya servrar för att ligga i framkant prestandamässigt. Vi har nyligen tagit emot en beställning på nya virtualiseringsnoder med senaste generationen AMD-processorer (AMD EPYC Milan) som kommer användas för våra webbhotellservrar. Vi vill att ni kunder ska kunna uppleva fördelen med ny, snabbare hårdvara så snabbt som möjligt och har därför redan under maj och juni driftsatt flera servrar som våra webbhotellservrar körs på idag.

Vi har fortfarande några kvar att driftsätta och i samband med driftsättningen sker nätverkskonfiguration. Varje fysisk server är inkopplad i minst två separata switchar för redundans och kopplar automatiskt mellan anslutningarna om länken till switchen går ner. Vid driftsättningen av en server ändras därmed konfigurationen på två switchar. När detta gjordes den 21 juni så gjordes först ändringen på ena anslutningen, A, till servern utan problem. När anslutning B sen skulle konfigureras så orsakade samma förändring problem i switch B som låste sitt dataplan. Det innebär att trafiken som kom in till switchen inte skickades någonstans. Problemet förvärrades av att switchen rapporterade till servrarna som är anslutna till den att länken var uppe och därmed kopplade servrarna inte över till sin andra anslutning. För att åtgärna problemet försökte vi först med en omstart av switchen, detta förbättrade dock inte situationen och vi gjorde då en avstängning följt att start av switchen vilken efter omstart återgick till normal funktionalitet.

Två virtualiseringsnoder kunde inte aktivera sina anslutningar igen efter problemen och de virtuella maskiner som kördes på dessa virtualiseringsnoder behövde därmed startas upp manuellt på andra noder.

Vi har kontakt med tillverkaren av switchen för att hitta anledningen till att dataplanet sluta fungera.