DKV-Seminar Kühlung von Rechenzentren
Potentiale, Kühlungsbedarf, Normen, Wärmepumpen, Abwärmenutzung und marktwirtschaftliche Gesichtspunkte
Vom 22.-23. Februar 2024 fand zum fünften Mal das DKV-Seminar Kühlung von Rechenzentren in Karlsruhe statt, welches auch dieses Mal mit 31 Teilnehmern und Vortragenden gut besucht war. In neun Fachvorträgen wurden den Teilnehmern die besonderen Anforderungen der Kühlung verschiedener Rechenzentrumsarten nahegebracht. Den Abschluss bildete ein Besuch des nationalen Hochleistungs-Rechenzentrums Karlsruhe am Karlsruher Institut für Technologie (KIT).
Der DKV veranstaltet seit 2015 jährlich im Wechsel zwischen der DKV Jahrestagung und dem „Chillventa Congress“ ein Kolloquium zur Kühlung von Rechenzentren. Hieraus ist dann auch der Bedarf für das zweitägige Seminar zum Thema entstanden, über das hier berichtet wird. In diesem Jahr findet das nächste Kolloquium wieder auf dem „Chillventa Congress“ am Vortag der Messe statt (Montag, 7.10.2024).
Die Kühlung von Rechenzentren ist ein stetig wachsender Markt. Der Energiebedarf für Rechenzentren und kleineren IT-Installationen ist zwischen 2010 und 2022 um 70 % gestiegen und lag 2022 bei 18 TWh. Prognosen gehen davon aus, dass allein in Deutschland der Energieverbrauch für Rechenzentren auf 30 TWh im Jahre 2030 ansteigen wird.
Deutschland ist zwar der größte Rechenzentrumsstandort in Europa, aber eine aktive Ansiedelungspolitik für Rechenzentren gibt es derzeit nicht. Umso wichtiger ist es, die Effizienz von Rechenzentren zu steigern, um gegenüber anderen europäischen Ländern konkurrenzfähig zu sein.
Für die stetig steigende Digitalisierung, KI-Anwendungen, Automatisierung, etc. steigt auch der Bedarf an weiteren Rechenzentren enorm an. Weitere Treiber sind die wachsende Nutzung von Colocation- und Cloud-Rechenzentren. Außerdem ist der Datenschutz ein enormer Treiber, bei dem die Nutzer sicherstellen wollen, dass ihre Daten in Deutschland verarbeitet werden.
Zunächst gab Dr. Ralph Hintemann vom Borderstep Institut für Innovation und Nachhaltigkeit einen Überblick über Marktentwicklungen und Energieeinsparpotentiale bei Rechenzentren. Hierbei erläuterte er zunächst die Definition von einem Rechenzentrum und stellte verschiedene Arten von Rechenzentren vor. Er zeigte das starke Wachstum des Marktes welt-, europa- und deutschlandweit auf, wobei er auch auf eine Konzentration weniger Marktteilnehmer im Clouddienst hinwies. Aufgrund immer strengerer Regularien steigt die Nutzung von Clouddiensten deutlich an.
In Deutschland wurde am 13.11.2023 das verabschiedete Gesetz zur Steigerung der Energieeffizienz in Deutschland (Energieeffizienzgesetz – EnEfG) veröffentlicht, welches im Abschnitt 4 die Energieeffizienz von Rechenzentren regelt. Hierbei wird auch die künftige Energieverbrauchseffektivität festgelegt (Power Usage Effectiveness PUE = Gesamtenergieverbrauch / Energieverbrauch IT-Equipment). Rechenzentren, die ab dem 1. Juli 2026 den Betrieb aufnehmen, sind so zu errichten und zu betreiben, dass sie eine Energieverbrauchseffektivität von kleiner oder gleich 1,2 erreichen. Derzeit liegt dieser Wert im Mittel bei 1,55. Für Rechenzentren, die nach dem 01.01.2019 in Betrieb genommen wurden und einen PUE von 1,30 erreichten, wurde das Umweltzeichen Blauer Engel verliehen. Hintemann und auch viele andere Referenten halten somit den anzustrebenden Wert von kleiner oder gleich 1,2 für extrem herausfordernd. Dies auch im Hinblick auf die Tatsache, dass große Rechenzentren, die ab dem 1. Juli 2026 in Betrieb gehen, derzeit schon in der Planungsphase sind oder diese schon abgeschlossen haben.
Dr. Berthold Mengede ging ausführlich auf die nationale und internationale Normung für Rechenzentrumskühlung ein. Hierbei ging er besonders auf die ASHRAE TC 9.9, die Überarbeitung der VDI 2054 und natürlich auch auf das Energieeffizienzgesetz (EnEfG) ein. Mengede äußerte sich ebenfalls kritisch hinsichtlich der Erreichbarkeit der Energieverbrauchseffektivität von kleiner oder gleich 1,2 und auch zu deren Sinnhaftigkeit.
Prof. Dr. Thorsten Urbaneck von der Technischen Universität Chemnitz berichtete über die Ergebnisse des von der EU geförderten RenewIT Projektes. Hierbei ging es um Komponenten der Kühlung eines Rechenzentrums, der Wärmerückgewinnung und der Nutzung erneuerbarer, volatiler Energie. Er zeigte die starke Abhängigkeit der Effektivität der Kühlung und des Energieeinsatzes von den klimatischen Verhältnissen in Europa auf. Hierbei wurde deutlich, dass eine optimale Kühlung kein Standard ist, sondern stets von den lokalen Verhältnissen abhängt, die es zu berücksichtigen gilt.
In einem zweiten Vortrag von Prof. Urbaneck ging es um den Vergleich der Luft- und Wasserkühlung. Hierbei verglich er die Kühlung eines Rechenzentrums mit Hilfe einer Kompressionskältemaschine, der freien Kühlung mit Außenluft und der freien Kühlung mit Wasser. Demnach konnte der geringste PUE Wert bei der Kühlung mit Außenluft erreicht werden. Auch dabei verglich er die Varianten für verschiedene Orte in Europa von Stockholm bis Madrid.
Thomas Fischer von der dc-ce RZ-Beratung ging ausführlich auf Rechenzentrumskühlung aus marktwirtschaftlicher Sicht ein. Er beschrieb die unterschiedlichen Rechenzentren hinsichtlich Verfügbarkeit und Leistungsanforderung. Bei der Verfügbarkeit gibt es vier Level von der einfachen Ausführung der Kälteerzeugung und Rückkühlung bis zur doppelten unabhängigen Ausführung. Je nach kundenspezifischen Anforderungen ist die Modularität hinsichtlich Erstausbau, Wachstum und Endausbau festzulegen. Die jeweilige Leistung ist festzulegen und Rahmenbedingungen, die lokal stark differieren, sind zu berücksichtigen. Darüber hinaus sind auch gesetzliche Rahmenbedingungen einzuhalten, wie z.B. das EnEfG, worauf auch Fischer einging. Weiterhin zeigte er verschiedene Beispiele und ging dabei auch auf Details wie das Kühlen mit Kreuzstromwärmeübertragern ein. Eine Entwicklungstendenz besteht darin, dass die Leistungsdichte der Server stark zunimmt und die lokale Kühlung mit Wasser die Luftkühlung ablöst. Dies hat natürlich Einfluss auf den kompletten Kühlkreislauf und auch auf die Abwärmenutzung.
Das Thema Abwärmenutzung behandelte Juan Carlos Cacho Alonso von der Firma Rittal in seinem Vortrag über Kühltechnologien für Rechenzentren. Er beschrieb einerseits den Stand der Technik bei der Luftkühlung und beschrieb dann die neuen Technologien der Flüssigkeits- und Immersionskühlung, die sich mehr und mehr durchsetzen. Bei der Flüssigkeitskühlung werden die wärmeabgebenden Komponenten auf eine wasserdurchströmte Platte (Cold Plates) montiert. Auch hier gibt es interessante Kombinationen mit der Luftkühlung, bei der die flüssigkeitsgekühlte Platte mit Wärmerohren verbunden ist, die wiederum in einem Wärmeübertrager mit Luft gekühlt werden, wobei es hier vor allem um die Oberflächenvergrößerung geht. Die Entwicklung bei Luft und Wasserkühlung geht dahin, dass die Racks direkt mit der jeweiligen Kühlstruktur ausgerüstet werden, so dass man die Server „nur“ noch einschieben muss.
Dr.- Ing. Rainer Jakobs (DMJ Consulting) beschrieb die sinnvolle Nutzung von Wärmepumpen für den Einsatz in Rechenzentren. Seine prinzipielle Anregung bezogen auf die Abwärme: „Verschwendung vermeiden! Verwendung suchen!“ oder „Don´t waste your waste heat!“.
In einem kurzen Rückblick erläuterte er die Entwicklung der Wärmepumpen seit der ersten Energiekrise in der Schweiz vor und im 2. Weltkrieg sowie die Bedeutung in den Ölkrisen seit den 70er Jahren des vorigen Jahrhunderts. Anhand zahlreicher Beispiele zeigte er auf, wo die Abwärme bereits jetzt sehr gut genutzt wird und somit Kosten eingespart werden. Abwärme auf niedrigem Temperaturniveau lässt sich durch Wärmepumpen auf ein höheres Temperaturniveau anheben und dann auch für entsprechende Zwecke nutzen. Wärmepumpen in Haushalt, Gewerbe und Industrie sind mittlerweile auch in Deutschland eine etablierte Technologie, wie die steigenden Verkaufszahlen der letzten Jahre zeigen. Dennoch sind andere europäische Länder hier deutlich weiter, wie Jakobs mit zahlreichen Beispielen dokumentierte. Mit den aktuellen Zahlen für die Rechenzentren erläuterte er die großen Potentiale der Abwärmenutzung. Planer und Anlagenbauer sollten immer alle Möglichkeiten prüfen und den Betreiber intensiv beraten. Kreativität ist gefordert.
Passend hierzu referierte Uwe Ströbel von der Stulz GmbH über Wärmerückgewinnung in Rechenzentren. Auch er ging zu Beginn auf die Herausforderungen des EnEfG ein, welches u.a. die Abwärmenutzung von Rechenzentren vorschreibt bzw. regelt. Hier gibt es jedoch weitere Herausforderungen, wie den unterschiedlichen Zeitablauf beim Bau von Rechenzentren und Wärmenetzen – ebenso kann der Ausbau eines Rechenzentrums ein Ungleichgewicht zwischen Wärmeanfall und Wärmebedarf zur Folge haben. Hier regt Ströbel ein intelligentes Umschalten von mechanischer Kühlung, freier Kühlung und Nutzung einer Wärmepumpe an. In diesem Zusammenhang diskutierte er verschiedene Systeme und Betriebsweisen, welche diesen Anforderungen gerecht werden.
Simon Raffeiner vom Karlsruher Institut für Technologie (KIT) hielt schließlich einen Vortrag über energieeffizientes Hochleistungsrechnen am KIT – dieses Hochleistungsrechenzentrum konnte zum Abschluss des Seminars auch besichtigt werden.
Das KIT ist seit 2021 ein nationales Hochleistungszentrum: HoreKa (siehe Bild 1) ist einer der leistungsstärksten Supercomputer Europas und einer der energieeffizientesten Supercomputer der Welt. Aufgrund der hohen Leistungsdichte sind die Server wassergekühlt – für das Rechenzentrum gibt es drei Wasserkreisläufe.
Aufgrund seiner Betriebserfahrung lenkte Raffeiner den Blick auch auf einige Details, Verbesserungspotentiale hinsichtlich des Betriebes und neue Trends. Beispielsweise geht eine Trendumkehr dahin, dass die künftigen Serverelemente wieder bei tieferen Temperaturen betrieben werden sollen. In der Vergangenheit wurde die Serverelemente eher dahingehend entwickelt, dass sie mit immer höheren Temperaturen betrieben werden konnten, was natürlich einer Abwärmenutzung entgegenkam.
An der Besichtigung des Rechenzentrums nahmen fast alle Seminarteilnehmer teil und drückten dort auch ihr Interesse und ihre Begeisterung über das gesamte Seminar aus. So zeigten die Evaluationsbögen, auf denen die Teilnehmer das Seminar und die Vortragenden bewerteten konnten, durchweg eine äußerst gute Beurteilung.
Seminarprogramm
Begrüßung und Einführung
Dr. Holger Neumann, Karlsruher Institut für Technologie, Institut für Technische Physik | Kryotechnik
Marktentwicklungen und Energieeinsparpotenziale bei Rechenzentren
· Marktvolumen und Wachstumsraten
· Trends im Rechenzentrumsmarkt
· Entwicklung des Energiebedarfs von Rechenzentren
· Kühlbedarf von Rechenzentren
· Wärmerückgewinnung: Chancen und Herausforderungen
Dr. Ralph Hintemann, Borderstep Institut für Innovation und Nachhaltigkeit
Normen
· ASHRAE TC 9.9
· ISO/IEC JTC 1 SC 39 NP
· EN 50600 - X
· VDI 2054
Dr. Berthold Mengede
Das RenewIT-Projekt – Technische Lösungen mit sehr hohem Anteil erneuerbarer Energie
Prof. Dr.-Ing. habil. Thorsten Urbaneck, Technische Universität Chemnitz
RZ-Kühlung aus der marktwirtschaftlichen Sicht
· Rahmenbedingungen aus Betreibersicht
· Kühlungsmethoden im Vergleich
· TCO Betrachtung für unterschiedliche Lösungen
Thomas Fischer, dc-ce RZ-Beratung GmbH & Co. KG
Vergleich der Luft- und Wasserkühlung
· Vor- und Nachteile der Luft- und Wasserkühlung
· Rechenbeispiele
Prof. Dr.-Ing. habil. Thorsten Urbaneck, Technische Universität Chemnitz
Kühlungsmedien, -kreisläufe, Komponenten in der IT-Welt
· Treiber und Hemmschuhe der Flüssigkühlung in der IT
· Die verschiedenen Varianten der Flüssigkühlung und deren Vor- und Nachteile
· Komponenten
· Synergieeffekte mit anderen Teilbereichen und Gewerken
Juan Carlos Cacho Alonso, Rittal
Nutzung von Wärmepumpen
Dr. Rainer Jakobs
Datacenter – DC Wärmepumpensystem
Uwe Ströbel, Stulz GmbH
Energieeffizientes Hochleistungsrechnen am KIT
· Ausgangsparameter
· Gebäude und Technik
Simon Raffeiner, KIT
Besichtigung des Nationalen HPC-Rechenzentrums am KIT
Simon Raffeiner, KIT