CFD-Simulationen zur effizienten Kühlung von ­
Server-Räumen

Damit Server gut funktionieren, müssen sie kühl bleiben. Allein ein Anstieg von nur 9 °C Umgebungstemperatur (22 °C auf 31 °C) kann zu einer Leistungseinbuße von 50 % führen. Spürbar in der Rechengeschwindigkeit und in möglichen Ausfallrisiken und Datenverlusten. Um dies zu vermeiden, kommt der Klimatisierung von Rechenzentren eine wichtige Rolle zu. Der Ideenreichtum in möglichen Ansätzen zur Kühlung ist groß; von traditionellen Klimaanlagen (CRAC/CRAH), über In-Row-Kühlung, Unterflurkühlung, Flüssigkeitskühlung, freie Kühlung, Verdunstungskühlung, bis hin zu Wärmepumpen oder Geothermischen Systemen.

All den Ideen und Ansätzen für eine nachhaltige Kühlung fehlt oft nur der Blick „hinter die Kulissen“, also hinter die Fassade der Naturgesetze. Diese Fassade können moderne Simulationstechnologien durchdringen. Hier können Ingenieure im Detail erkennen, wie effektiv die Kühlung in der Realität sein wird und noch viel wichtiger: welche Stellschrauben sich drehen lassen, um den Wirkungsgrad und die Wirtschaftlichkeit weiter zu erhöhen.

Simulierte Rechenzentrums-­Klimatisierung

Ausgehend von einem Beispiel mit Kaltgang-Einhausungen (Cold Aisle Containment) konnten ingenieurtechnische Simulationen den Wirkungsgrad der geplanten Kühleffizienz eines Rechenzentrums deutlich verbessern. Kaltgang-Einhausungen sorgen hier dafür, dass kalte Luft gezielt an die Server-Racks geleitet wird, getrennt von der warmen, wieder wegströmenden Luft. So soll das erneute Ansaugen warmer Luft und damit die potenzielle Bildung von Hot Spots verhindert werden. Mit Hilfe der CFD (Computational-Fluid-Dynamics) Strömungssimulation wird nun das Strömungs- und Temperaturverhalten der kalten und warmen Luft simuliert.

Das Rechenzentrum digital

Hierfür werden die geometrischen Daten des Serverraumes, der Racks, der Verlustleistungen in den Racks sowie Wege und Volumenströme der Zu- und Abluft, inklusive der Leistung der Ventilatoren und Klimaanlagen, in das Rechensystem eingespielt, wie an Bild 1 und 2 zu sehen ist. Bild 1 zeigt dabei die Ausgangsvariante, Bild 2 die optimierte Variante des betrachteten Rechenzentrums.

Um noch genauer zu werden, ist die Aufstellung der Serverracks bis hin zu einzelnen Rechnerleistungen mit der entsprechenden Wärmeentwicklung Teil der Berechnung. Diese Detailgenauigkeit lohnt sich. Denn je genauer die Ingenieure in der Simulation sehen, wo sich beispielsweise stärkere Wärmequellen, möglicherweise Freiräume oder Luftverwirbelungen (sogenannte Totwassergebiete) befinden, umso stärker können Optimierungen ins Gewicht fallen. Die Aufstellung der Server innerhalb der Farmen wird meist ohnehin vor Baubeginn geplant.

Der Blick hinter die Kulissen

Ein ideales Kühlungskonzept wäre, wenn beim kleinstmöglichen Luftstrom die zulässige Temperatur von 38 °C nicht überschritten wird. In unserem Beispiel sind gemäß Bild 3 Bereiche mit hoher Temperatur der Kühlluft erkennbar, während andere Bereiche im Raum kälter als notwendig bleiben. Es bilden sich HotSpots, die einzelnen Racks werden also nicht gleichmäßig gekühlt. Um bei allen Racks die zulässige Maximaltemperatur einzuhalten, wäre ein höherer Luftstrom erforderlich als bei einer durchdachten Kühlung. Dies schlägt sich sowohl bei den Baukosten als auch bei den Betriebskosten nieder.

Aus diesen Erkenntnissen konnten die Ingenieure bei Merkle CAE Solutions nun mögliche Szenarien und Varianten untersuchen, um die optimale Lösung zu finden. Für das Rechenzentrum war in diesem Fall die gleichmäßige Kühlluftzufuhr durch einen Kanal mit einem konstanten Querschnitt im Boden nicht zielführend. Simulationsberechnungen zeigen deutlich, dass eine gezielte Aufteilung und Lenkung der Kühlluft über die im Boden einzubringenden Kanäle zu einer gleichmäßigeren Luftzufuhr und damit einer gleichmäßigeren Temperaturverteilung führt. Durch die bessere Strömungsführung konnte die zur Verfügung stehende Luft besser eingesetzt werden, was sich in einer gleichmäßigeren Temperaturverteilung der Kühlluft nach dem Erwärmen zeigt (siehe Bild 4 und 5).

Betriebskosten reduziert

Durch die gezielte Führung und gleichmäßigere Aufteilung der Kühlluft konnte die Effizienz der Kühlung erheblich verbessert werden. Die baulichen, beziehungsweise geräteseitigen Anpassungen waren überschaubar, die Wirkung auf die laufenden Betriebskosten jedoch deutlich spürbar. Der benötigte Luftvolumenstrom konnte um circa 7 % gegenüber der Ausgangsvariante reduziert werden.

Ein Server mit einer Leistung von 90 kW benötigt im Jahr 788.000 kWh Energie für die Kühlung. Durch eine Einsparung von 7 % würde man also 55.000 kWh pro Jahr einsparen. Bei einem Industriestrompreis von aktuell 17,65 Cent wären das 9.700 €. Das eingesparte CO₂ (420 g/ kWh) läge bei 22 Tonnen, was beim aktuellen CO₂-Preis von 45 € je Tonne nochmals 990,00 € ausmacht – und das bereits im ersten Jahr, bei einem vergleichsweise kleinen Rechenzentrum. Bei steigenden Energie- und CO₂-Preisen macht sich die Simulation schnell bezahlt – selbst bei kleineren Installationen.

Gleichzeitig werden im Beispiel des Rechenzentrums die einzelnen Racks besser gekühlt. Durch den geringeren Volumenstrom kann ein kompakteres Klimagerät eingesetzt werden, wodurch die Leistungsaufnahme hier ebenfalls etwas geringer ist.

Nachhaltige Einsparungen

Im Beispiel des simulierten Rechenzentrums hatte man für die Klimatechnik bereits ein fortschrittliches System eingeplant. Dies hatte jedoch einige Schwachstellen. Über einfache Leitbleche zur gezielten Aufteilung und Lenkung der Luftströmungen können oft hervorragende Ergebnisse erzielt werden, sofern sie mittels Simulation erkannt werden können.

Die Luft kann gleichmäßiger an die Serverracks geführt werden. Racks mit hohen Verlustleistungen können gezielt mit mehr Kühlluft versorgt werden, falls dies erforderlich ist, während Racks mit weniger Leistung mit weniger Kühlluft auskommen. Hotspots bei einer bestimmten, gegebenen Leistungsverteilung können erkannt und vermieden werden, bevor sie entstehen und in den meisten Fällen wird die Leistung der Klimatechnik nach unten korrigiert – einfach, indem man Strömungen intelligenter und zielgerichteter lenkt. Die Simulation führt zu einer besseren Kühleffizienz, wodurch sowohl die Baukosten als auch die Betriebskosten gesenkt werden können. Damit lassen sich in größeren Rechenzentren Kosten im 7-stelligen Bereich, in kleineren Zentren oft im 5-stelligen Bereich einsparen.

Wann macht Simulation Sinn?

Optimale Ergebnisse liefert die Simulation in der Planungsphase. Wenn die Aufteilung und Leistungswerte des Rechenzentrums sowie der geplanten Klima-Anlage bekannt sind, aber noch nicht „in Beton gegossen“ wurden. Auch nachträglich lassen sich mittels Simulationstechnologien in bestehenden Zentren noch merkliche Optimierungen durchführen. Diese sind dann oftmals aber durch bauliche Gegebenheiten begrenzt.

Betrachtet man die Einsparungen bei Investition und Betrieb, machen sich Simulationen sehr schnell bezahlt und bieten einen schnellen ROI.

Erweiterte Möglichkeiten mit ­Multi-Physik-Simulation

Die heutige Technologiespanne bei Simulationen ermöglicht immer tiefere Einblicke. Dabei spielt vor allem die Kombination unterschiedlicher Simulationsdisziplinen eine tragende Rolle. Durch Multi-Physik-Simulationen lassen sich nicht nur gegebene geometrische Möglichkeiten oder Strömungen prüfen, sondern über alle Bereiche der Physik simulieren – gleichzeitig. Mehrere physikalische Disziplinen, angefangen bei der Festigkeit, der Statik und der Dynamik bei Schwingungen und Schockbelastung, dem Strömungsverhalten, dem Einfluss elektromagnetischer Felder, der Akustik bis hin zu chemischen Reaktionen bei der Ausbreitung von Explosionswellen und thermischen Feldern oder dem Verhalten von Partikeln lassen sich die Fachgebiete in Kombination betrachten. Als Beispiel für eine multiphysikalische Aufgabenstellung ist die entstehende Wärme beim Fließen von elektrischem Strom zu nennen, die durch die umgebende Luft abgeführt wird. Hier ist man direkt bei einem Rechenzentrum.

Vor allem bei der Entwicklung neuer Technologien sind Multi-Physik-Simulationen ein wahrer Turbo. Man läuft nun nicht mehr der Natur hinterher, sondern ist jetzt so weit, die Natur ins Digitale zu gießen, um Ideen und Innovationen zu entwickeln, die uns im Vergleich zu Simulationen in nur einer Disziplin oft ganze Meilensteine voranbringen, denkt man z.B. an Miniaturisierung oder gar Mikrofluidik, bis zur Forschung und Entwicklung von Materialien oder Bauteilen.

Im Hinblick auf die Klimatechnik lassen sich hier der Einsatz oder die Kombination unterschiedlichster Technologien prüfen, was in der Gebäudetechnik und im Reinraum spannend ist. Aber auch bei sensiblen Einrichtungen, wie Hyperscale- oder Edge-Rechenzentren, können mit Multi-Physik-Simulationen mehr Hintergrundinformationen gewonnen werden. Selbst neue Technologien zur Kühlung, sei es mit Wasser, Dampf, Gasen oder die Kombination unterschiedlicher Medien, werden mit dem Einsatz von Simulationstechnologien schneller und effizienter entwickelt. In nahezu allen Bereichen bringt die Simulation eine Steigerung des Wirkungsgrades und bei manchen Projekten sogar Innovationen hervor.

Gewusst wie

Allein bei der Optimierung der Klimatisierung von Rechenzentren blickt Merkle CAE Solutions auf gut 20 Jahre Erfahrung zurück. Und genau hier trennt sich die Spreu vom Weizen. Simulationswerkzeuge, seien es Computer oder Programme, haben sich in den letzten Jahren rasant entwickelt. Sie sind austauschbares Handwerkszeug. Die Kunst liegt aber im Verständnis der Zusammenhänge, dem intelligenten Stellen der richtigen Fragen und der Wahl des geeigneten Simulationsmodells, um genau diese Fragen hinreichend genau zu beantworten. Was muss im Versuch geprüft werden und wo ist die Simulation besser geeignet? Was muss mitbetrachtet werden und was kann vernachlässigt werden? Das bestimmt in hohem Maße die Qualität der Ergebnisse und das ist menschliche Ingenieurleistung.

Wichtig bei der Simulation der Klimatisierung von Rechenzentren sind Pragmatismus und eine solide Kosten-/Nutzen-Rechnung. Vergoldete Kühlungskanäle sind möglicherweise ein netter Hingucker, aber ökonomisch dann doch etwas übertrieben. Wobei die Simulation tatsächlich auch bis zur Materialauswahl gespielt werden kann, um auch hier noch das letzte Quäntchen an Optimierungen auszuspielen.

Optimierungen auf Basis ingenieurtechnischer Simulationen sind nicht nur für große Rechenzentren essenziell. Die Energiepreise werden voraussichtlich nicht sinken – ebenso wenig, wie die Leistung der Serverfarmen. Durchdachte Kühlungsstrategien sind ein wertvolles Tool zur Kostenoptimierung, aber auch zur Sicherstellung der Lauffähigkeit der Rechenzentren.