Normenreihe EN 50600 für Rechenzentren

Seit einiger Zeit gibt es für Rechenzentren die EN 50600. Können wir nun Tier 1-4 vergessen? Antworten darauf und was anders und besser wurde, wird im Artikel angesprochen.

In medias res

Die Normenreihe 50600 umfasst alle Bereiche des Rechenzentrums. Von der Beurteilung des akzeptablen Grenzrisikos bis zu den Klassen 1 bis 4, welche neben der Stromversorgung- und Verteilung auch alle anderen Gewerke und auch die Aspekte des Betriebes eines Datencenters beinhalten. Näher im Fokus stehen die Design-Klassen der Versorgung- und der Verteilung der elektrischen Energie in vier Stufen. Die Klassen 1 und 2 sind einkanalige Verteilungen und die Klassen 3 und 4 Zweikanalige. Die Klassen 2 und 4 sind zudem mit redundanten USV/DC-Systemen ausgelegt. Für die Betriebsaufrechterhaltung im Fehlerfall kommt der Abtrennbarkeit eine hohe Bedeutung zu.

Normen zu Rechenzentren

Wenn über Verfügbarkeitsklassen in Rechenzentren gesprochen wird, fallen noch heute die Begriffe Tier 1 bis 4. Die Begriffe kamen ursprünglich vom amerikanischen Uptime-Institut, welches die proprietären Standards über Rechenzentren herausgaben und dies heute noch tun. Auch der TIA-942-Tier-Standard hat eine ähnliche Definition, macht jedoch im Gegensatz zum Uptime-Institute konkrete technische Vorgaben für das Netzwerk-Cabling. Daneben gibt es noch weitere. In Europa haben wir seit einigen Jahren eine viel besser an die hiesige Situation angepasste Norm: Die EN-50600-Reihe. Sie verfolgt einen heuristischen Ansatz, womit der empirische und gesamtheitliche Approach gemeint ist. Die Managementebene mit der vom Kerngeschäft abgeleiteten Risikoanalyse, die Planung, der Bau und der Betrieb sind im Klassifizierungssystem berücksichtigt.

	50600-x	TIA-942-A	ANSI/BICSI 002	Kommerzielle Assessoren
Bereich	Gesamte DC Infrastruktur	nur Cabling	Gesamte DC Infrastruktur	Hauptsächlich Power und Klimatisierung
Europäische Norm	✔	✘	✘	✘
Regionale Anwendung	International anwendbar durch Verwendung von ISO/IEC-Normen als Referenz	USA	USA	International
Förderung der Energieeffizienz	✔	✘	✘	✘
Management und Betrieb	✔	✘	✘	?
Einbeziehung von globalen KPIs	✔	✘	✘	?
Kommerziell neutral	✔	✔	✔	✘
Unabhängige Bewertung	✔	✔	?	✘
Business-Ansatz	✔	✘	✘	✔

Im Folgenden wollen wir uns den für die Gebäude-Elektroingenieure wichtigen Aspekten der Versorgungssicherheit annehmen.

Wie Abb. 1 zeigt, ist die Normenreihe 50600 in generelle Konzepte, Planung, Betrieb, Management mit Key-Performance-Indikatoren und Supportinformationen und Technische Reports gegliedert. Die Normenreihe umfasst alle Bereiche der Gebäudetechnik, alle Ebenen der Organisation darin eingeschlossen das strategische Management. Ein Rechenzentrum erreicht eine bestimmte Klasse nur dann, wenn es entsprechend geplant, gebaut und auch betrieben wird.

Akzeptables Risiko

In den General Standards 50600-1 geht man von der Festlegung des akzeptablen Grenzrisikos aus. Diese determiniert im wesentlichen die folgenden Faktoren:

a) Die Auswirkungen auf das Geschäft. Damit sind die Kosten gemeint, die mit einem Ausfall der Leistungserbringung verbunden sind. Dazu gehören eine Reihe von Faktoren so auch die Funktion und Bedeutung des RZ.
b) Der externe kommerzielle Druck (z.B. Versicherungskosten).

Zur Beurteilung des Gesamtrisikos lässt die Norm offen, welche Methode angewendet werden soll. Dazu kann ein vorhandenes Managementtool verwendet werden, welches den Vergleich zum akzeptablen Gesamtrisiko beurteilt und die Verbesserungen mit Trends aufzeigt. Jedes Ereignis, das die Dienstleistung des Datacenters stören kann, wird Ereignisrisiko genannt. Alle Ereignisrisiken müssen mit dem gleichen Massstab beurteilt werden. Das Gesamtrisiko nach dieser Norm beinhaltet nicht nur die internen Ereignisse, sondern auch externe Ereignisse und Angriffe. So spielt der Standort bezüglich Gesamtrisiko eine gleichbedeutende Rolle wie die Versorgungsstruktur. Die Auswirkungen wie auch die Eintretenswahrscheinlichkeit werden in vier Stufen quantifiziert (siehe unten).

---

---

Nachdem das Risiko auf diese Art quantifiziert ist, können die Ausfallkosten berechnet werden, um risikomindernde Massnahmen zu definieren. Erst daraus kann dann das Design der RZ-Infrastruktur festgelegt werden. Die Wahl des erforderlichen Design ist kostenrelevant. Wenn ein voll redundantes System gebaut wird, aber höchstens ein teilredundantes System erforderlich wäre, ist es müssig über Kosteneinsparungen, Rabatte bei den Planern und Unternehmern zu diskutieren. Oft wird hier leider einfach auf das Bauchgefühl gehört und das ist zu wenig.

Für den planenden Ingenieur ist nun das Design wichtig: Ich konzentriere mich hier stark auf die Versorgungssicherheit und die dafür geschaffenen Klassen. Die Wahl der Klasse geht aus der Risikoanalyse hervor. Anders als bei anderen Ansätzen, wird hier eine pragmatische auf Erfahrung beruhende gesamtheitliche Herangehensweise verwendet.

Eine Lösung ist angemessen nach Klasse 1, wenn das Ergebnis der Risikoanalyse folgendes zulässt:

• Ein einziger Fehler in einem Funktionselement kann zum Verlust der Funktionsfähigkeit führen;
• eine geplante Wartung kann die Abschaltung der Last erfordern.

Eine Lösung ist angemessen nach Klasse 2, wenn das Ergebnis der Risikoanalyse folgendes als notwenig erachtet:

• ein einzelner Fehler in einem Gerät darf nicht zum Verlust der Funktionsfähigkeit dieses Pfades (über redundante Geräte) führen;
• die routinemässig geplante Wartung eines redundanten Geräts darf nicht die Abschaltung der Last erfordern. Hinweis: Ein Ausfall des Pfades kann zu einer ungeplanten Abschaltung der Last führen und die routinemässige Wartung nicht redundanter Geräte kann eine geplante Abschaltung der Last erfordern.

Eine Lösung ist angemessen nach Klasse 3, wenn das Ergebnis der Risikoanalyse folgendes als notwenig erachtet:

• ein Fehler eines Funktionselements darf nicht zum Verlust der Funktionsfähigkeit führen;
• die geplante Wartung darf nicht die Abschaltung der Last erfordern;
• für die Umgebungskontrolle: Obwohl ein Ausfall eines Pfades zu einer ungeplanten Abschaltung der Last führen kann, dürfen die Wartungsroutinen keine geplante Abschaltung der Last erfordern, da der passive Pfad dazu dient, die gleichzeitige Wartung zu ermöglichen und die Wiederherstellung der Betriebszeit nach dem Ausfall eines Pfades zu verringern.(Minimierung der mittleren Ausfallzeit)
• Alle Pfade müssen so ausgelegt sein, dass sie die maximale Last aufnehmen können.

Eine Lösung der Klasse 4 (fehlertolerante Lösung außer während der Wartung) ist angemessen, wenn das Ergebnis der der Risikobewertung dies als notwendig erachtet:

• ein Fehler eines Funktionselements nicht zum Verlust der Funktionsfähigkeit führt;
• die geplante Instandhaltung darf nicht die Abschaltung der Last erfordern;
• für die Stromversorgung und -verteilung: ein einzelnes Ereignis, das ein Funktionselement beeinträchtigt, darf nicht zu einem Verlust der Funktionsfähigkeit führen in der Lastabschaltung;
• für die Umgebungskontrolle: ein Ausfall eines Pfades darf nicht zu einer ungeplanten Lastabschaltung führen.
• Alle Pfade müssen so ausgelegt sein, dass sie die maximale Last aufnehmen können.

Die Implementierung höherer Verfügbarkeitsklassen bedingt nicht nur die Planung und Installation von anspruchsvollen Lösungen, sondern auch die betrieblich-organisatorische Massnahmen wie geschultes Servicepersonal, Ersatzteilhaltung, Wartungsverträge, präzise Handlungsanweisungen im Fehlerfall, Eskalation der Information etc.

Versorgung

Im folgenden wollen wir und den Klassen 1 bis 4 hinsichtlich der elektrischen Versorgung näher zuwenden (roter Teil der Tabelle 1 und Eigenschaften Tabelle 2)

Wir unterscheiden hier zuerst die Versorgung und die Verteilung. Die Versorgung beinhaltet die Speisung auf die Primärverteilung. Sie kann eine Primäre, eine Sekundäre oder eine Zusätzliche sein. Primäre und Sekundäre können zum Beispiel eine Haupt- und eine Nebeneinspeisung ab einer Trafostation sind, wo bei die Nebeneinspeisung unabhängig von der Hauptspeisung und ständig verfügbar sein muss. Die Zusätzliche ist eine Netzersatzanlage oder eine unabhängige Noteinspeisung die bei einem Ausfall der primären oder sekundären Versorgung Strom liefert. Denkbar wäre hier meiner Ansicht nach auch eine Einspeisung aus einem Bahnnetz über einen Umformer. Die verschiedenen Quellen werden je nach Klasse zusammengeschaltet oder umgeschaltet in der Hauptverteilung. Die Sammelschiene nach den Einspeisungen stellt die Abgrenzung zur Verteilung dar.

• 

• 

• 

• 

Verteilung

Die Verteilung ist je nach Klasse ein- oder zweikanalig mit oder ohne Redundanz. Die Klasse 1 ist einkanalig ohne Redundanz. Ein Ausfall eines Elementes führt zu einem Ausfall der Versorgung.
Die Klasse 2 dagegen hat bereits eine redundante DC- oder USV-Versorgung, ist jedoch immer noch einkanalig. Redundante Systeme sind parallelgeschaltet, daher wird die Last im Verhältnis der Admittanzen auf die beiden redundanten Pfade aufgeteilt.

Erst in der Klasse 3 kommt eine zweikanalige Versorgung zur Anwendung. Der zweite Kanal kann hier jedoch noch direkt vom 2. Netz kommen und muss nicht USV-versorgt sein. Bei der zweikanaligen Versorgung stellt der zweite Kanal jeweils die Redundanz dar. Im Normalbetrieb ist die Last so gleichmässig auf die beiden Zweige verteilt, wie das Equipment in den Steckdosen der Racks gesteckt sind. Der zweite Weg könnte quasi auch weg gedacht werden. In diesem Fall würde dann ein einziger Kanal die ganze Last tragen. Die Last kippt also auf den noch intakten Pfad. Bei der Klasse 4 sind dann beide Pfade über eine oder mehrere parallele USV-Anlagen versorgt. Werden mehrere USV-Anlagen pro Weg installiert, ergibt sich aus den Forderungen der Zweikanaligkeit eine Redundanz. Das bedeutet, dass unter der Voraussetzung, dass beide Versorgungskanäle verfügbar sind, kann eine USV-Anlage ausfallen und die zweikanalige Versorgung ist immer noch gewährleistet.

• 

• 

• 

• 

Kupplungen

Dort wo in Rechenzentren Kupplungen zweier Netze vorgesehen sind, müssen diese immer in der Form Netz-Knoten-Knoten-Netz sein, damit in einem Wartungs-, Störungs- oder Havariefall eine spannungsunabhängige vollständige Trennung erfolgen kann.

Das selbe gilt auch für Bypassschaltungen. Die endliche Nutzungsdauer einer USV-Anlage erfordert zu einem bestimmten Zeitpunkt ein Ersatz. Ein solcher Ersatz kann auch bei einem nichtredundanten einkanaligen System ohne Unterbrechung (ungestörte Netzversorgung vorausgesetzt) erfolgen, wenn das System sinnvoll geplant ist. Das ist gegeben wenn die USV-Anlage vollständig überbrückt und allseitig getrennt werden kann. Die Bypassschaltung sollte dabei lieferantenunabhängig sein.

Ob und wann die Begriffe Tier 1 bis 4 in Europa ganz verschwinden ist schwer zu beantworten. Klar ist jedoch, dass die EN 50600 die europäischen Verhältnisse besser abbildet.

Welche Bedeutung der Schutztechnik in einem Rechenzentrum zu kommt und ob sie in der Lage ist alles über den Haufen zu werfen, lesen Sie bezüglich USV und bezüglich Leistungsschalter. Und wenn Sie interessiert ob Sie eher eine Schmelzsicherung oder doch lieber einen Leistungsschalter verwenden wollen, dann finden sie auch das auf Power-affairs.ch.

Ausblick

Ein weiterer Artikel zur Umsetzung der Norm nach elektrotechnischen Aspekten erfolgt im 2022. Dort geht es dann darum, wie mit Clusterbildung kleinere Kurzschlussleistungen in den Systemen erreicht werden kann.

Begriffe

Umgebungskontrolle = Klimatisierung des RZ
Admittanz = Wechselstromleitwert, Reziprokwert der Impedanz

Quellen

Normenreihe EN 50600

Abbildungen: Markus Gehrig aus der Norm aufbereitet

Alle Rechte an Bildern und Texten bleiben vorbehalten. Die Verwendung von Texten und Bildern in anderen Publikationen ist nicht zugelassen.