ThePlanet (Houston, US), het datacenter dat zondag-middag te kampen kreeg met een ontploffing in hun technische ruimte, heeft wat tegenslag met alles weer up-and-running te krijgen. Murphy is vlakbij, want hun noodgenerator doet het nu ook al niet meer …
Maandag-ochtend werd er weer stroom voorzien voor het 2e verdiep van het datacenter (voor zo’n 6000 servers), zodat enkel het 1e verdiep – dat de grootste schade opliep bij de ontploffing – nog offline was. Het herbouwen van de technische ruimte zou weken duren, dus werd er een generator bijgehaald die als “lapmiddel” nodige stroom moest voorzien.
This morning at approximately 2:45 a.m. CST, the temporary generator supplying power to the servers and environmental control systems located in Phase 1 of our H1 facility shut down. This was caused by some faulty current sensors in the output breaker. The sensors detected an out of balance current condition that did not exist. Technicians from the generator company were onsite within 15 minutes. After working on the breaker for an hour, they believed the issue was remedied, and the generator was restarted. As the servers and environmental control systems were brought back online, the breaker again caused the generator to trip offline. At this time we have a replacement breaker in route to the site and will get power restored as soon as physically possible.
Die generator heeft het dus laten weten, en ondertussen is er een 2e in aankomst. Kortom; na 3 dagen zijn er nog steeds 3000 servers offline, en stelt ThePlanet maar voor om die servers te verhuizen naar een ander datacenter.
We understand the difficult situation this causes for our customers. As such, we are offering to move all H1 Phase 1 customers to our H2 data center here in Houston. This requires physically moving servers to our data center, which is approximately three miles away from the H1 data center. It also requires IP address changes for all servers relocated to H2.
Aangezien zowat elke server bereikbaar is via een hostname, en een DNS update gemiddeld zo’n 6 uur duurt, is het dus nog niet helemaal opgelost … In 2003 was er al een gelijkaardig incident, waarbij een brand een groot deel van de klanten offline bracht.