Vor der letzten Supercomputing23-Konferenz in Denver fand ein Pre-Conference-Workshop namens NRG@SC23 statt, organisiert von Elizabeth Leake (STEM-Trek) und Bryan Johnston (Center for High-Performance Computing, South Africa) mit Unterstützung von Google, der US National Science Foundation, dem SC23 General Chair, VAST Data, AWS und Airlink Airlines. Ziel des Pre-Conference-Workshops, der fünften Ausgabe, war es, eine vielfältige Gruppe von Forschenden aus unterversorgten Regionen zusammenzubringen, um über die Herausforderungen beim Betrieb großer HPC-Cluster mit begrenzten Ressourcen zu sprechen.

Herausforderung #1: Stromversorgung

Die unmittelbare Herausforderung für alle, die in Entwicklungsländern große HPC-Cluster betreiben wollen, ist die Stromversorgung. Was bis zu dieser Konferenz weniger offensichtlich war: die Auswirkungen des Versuchs, in einem dieser Länder ein HPC-Zentrum zu betreiben. Was tun, wenn der Strom im Rahmen geplanter „Lastabschaltungen“ regelmäßig zwei Stunden am Tag abgestellt wird oder wenn ein ungeplanter, tagelanger Ausfall eintritt, weil wichtige Infrastruktur versagt? Man kann Dieselgeneratoren oder andere Notstromlösungen einsetzen, aber es besteht weiterhin die konkrete Gefahr, dass der Notstrom zur Neige geht.

All dies hat erhebliche Auswirkungen darauf, wie eine Forschungsorganisation ihre Systeme behandelt und Workloads verwaltet. Es gibt einige Ausweichstrategien, auch wenn keine davon ideal ist:

• An Tagen mit geringerer Verfügbarkeit nur eine begrenzte Strommenge beziehen
• Sicherstellen, dass die Hochfahrzeiten bei einem Stromausfall so kurz wie möglich sind (ich nehme an, das ist tatsächlich etwas Positives, wenn man die Zeit dafür investieren kann)
• Häufiger regelmäßige Wartung durchführen, weil die Maschinen öfter ein- und ausgeschaltet werden

Herausforderung #2: Bandbreite und Durchsatz

Die zweite Herausforderung, von der wir bei NRG@SC23 erfuhren, betrifft Netzwerkbandbreite und Durchsatz. Wenn man an großen HPC-Problemen arbeitet und große Datensätze aus anderen Ländern herunterladen muss, wird dies zu einem echten Problem. Vasilka Chergarova vom AmLight-Programm der Florida International University gab einen sehr guten Überblick darüber, wie all diese interkontinentalen Verbindungen verwaltet werden. Die physische Realität zu sehen, wie unsere Internetwelt verbunden ist, öffnet einem die Augen. Ähnlich wie bei zuverlässiger Stromversorgung haben wir in den entwickelten Ländern das große Glück, in einer Welt stabiler und zuverlässiger Netzwerke zu leben. In den USA arbeiten wir meist an HPC-Clustern, die dauerhaft verfügbar sind. In vielen Großstädten haben unsere Haushalte sogar so viel Bandbreite wie einige dieser Forschungseinrichtungen, manchmal deutlich mehr.

Herausforderung #3: Schulung

Neben den recht offensichtlichen Schwierigkeiten mit Stromversorgung und Netzwerken fehlt vielen HPC-Betreibern in Entwicklungsländern die Schulung, die sie benötigen, um ihre vorhandene Ausrüstung vollständig zu nutzen. Im Laufe der Jahre gab es viele Programme, die ältere HPC-Hardware an Entwicklungsländer gespendet haben. Das ist im Prinzip gut, aber die Hardware zu besitzen bedeutet nicht, dass ein Betreiber richtig darin geschult ist, sie zu handhaben, oder weiß, was er damit tun soll. Prozesse, die Einrichtungen in reicheren Ländern längst automatisiert haben, laufen in Entwicklungsländern noch manuell, weil sie es so kennen. Wenn sie zum Beispiel eine weitere Person zum System hinzufügen möchten, gehen sie tatsächlich auf die Kommandozeile und fügen sie direkt hinzu, so wie wir es in den entwickelten Ländern vor 20 Jahren gemacht haben. Auch wenn dies veraltet wirkt, könnte es angesichts der unterschiedlichen Umstände tatsächlich die beste Option sein. Viele Forschungseinrichtungen in entwickelten Ländern sind zu Infrastructure as Code übergegangen und fügen Nutzer automatisch über die im Laufe der Jahre aufgebauten Systeme für den Betrieb in großem Maßstab hinzu. All das ist sinnvoll, wenn ein System Tausende Nutzer hat. Wenn das aber nicht der Fall ist und es in vielen dieser Entwicklungsländer nur eine sehr kleine Gruppe von Menschen gibt, die diese Systeme nutzen, kann dieses scheinbar veraltete Verfahren für ihre Situation durchaus die zweckmäßigste und richtige Lösung sein.

Arbeiten im großen Maßstab bringt echte Vorteile. Ohne die Fähigkeit, den Zugang zur benötigten Ausrüstung in größerem Maßstab zu unterstützen, fehlt auch der Kontext für diesen größeren Maßstab. Bestimmte Verfahren und Schulungen werden erst bei größerem Maßstab nötig, und es gibt Chancen, die bei kleinerem Maßstab nicht verfügbar sind. Die Frage des Maßstabs ist ein Henne-Ei-Problem: Wenn eine Einrichtung heute nicht in diesem Maßstab arbeitet, wird sie dann skalieren und den Dienst für mehr Menschen bereitstellen können? Vielleicht nicht. Dann können weitere Menschen nicht auf diesen Systemen arbeiten und nicht die skalierungsbedingten Reaktionen anstoßen, die sie künftig benötigen könnten. Man braucht die Herausforderungen des Maßstabs, um auch die Vorteile des Betriebs in diesem Maßstab zu realisieren.

Herausforderung #4: Finanzierung

In den Vorträgen bei NRG@SC23 war der häufigste rote Faden der Mangel an Finanzierung. Es ist natürlich keine kontroverse Annahme, dass Entwicklungsländer dieses Problem haben. Aber es geht um mehr als nur die Finanzierung der Ausrüstung und Infrastruktur, die für größere HPC-Systeme nötig sind. Natürlich wurde Hardware aus reicheren Ländern gespendet, und teilweise handelt es sich um ausgemusterte oder gebrauchte Ausrüstung. Darüber hinaus sind die Forschenden selbst im Vergleich zu ihren Kolleginnen und Kollegen in westlichen Ländern meist unterbezahlt. Es gibt ein großes Problem mit der Abwanderung von Fachkräften: Sobald Betreiber im Umgang mit diesen Systemen gut werden, werden sie häufig von Ländern oder Unternehmen angeworben, die ihnen weniger zahlen, als in diesem Land üblich wäre, aber deutlich mehr als in ihrem Heimatland.

Entwicklungsländer können mit diesen Gehaltserwartungen oft nicht mithalten und stecken deshalb in einem echten Dilemma. Wie können sie diese Menschen halten, sie bezahlen und zugleich die für die Forschung nötige Ausrüstung finanzieren? Wenn sie die richtige Ausrüstung bekämen und die Menschen bezahlen könnten, die inzwischen wissen, wie man mit diesen Systemen arbeitet, könnten sie vielleicht Technologien entwickeln, die ihrem Land mehr Wohlstand bringen. Doch sie fallen ständig zurück und brauchen entweder einen Schub an Technologie oder Geld, oder beides. Darauf gibt es natürlich keine einfachen Antworten. Aber es ist klar, dass Finanzierung einer der Hauptgründe dafür ist, warum es für diese Länder so schwierig ist, das zu erreichen, was in der HPC-Welt nötig ist.

Eine mögliche Lösung

Eines der interessantesten Projekte, das Elizabeth Leake und Kurt Keville (MIT) vorgeschlagen haben, ist ein Konsortium aus Unternehmen und Forschenden, das daran arbeitet, HPC-Hardware in eine Bauform zu bringen, die relativ kostengünstig in Entwicklungsländer geliefert werden kann. Sie nennen es „Isango“, das Zulu-Wort für Gateway. Der kleine Cluster soll helfen, HPC in entlegene Regionen der Welt zu bringen und Cloud-Bursting zu erleichtern. Dieses zusammensetzbare, portable und erschwingliche Paket lässt sich deutlich einfacher mit Strom versorgen als ein traditionelles Rechenzentrum. Die Hoffnung ist, dass sie über Isango einige der Sorgen rund um Finanzierung und Stromversorgung adressieren können und diesen Entwicklungsländern und unterversorgten Einrichtungen die Möglichkeit geben, sinnvolle Forschung zu betreiben.

Die übergreifende Frage, die den Workshop prägte und die Elizabeth und Kurt beantworten wollen, lautet: Wie stellen wir genügend HPC-Ressourcen bereit, damit Menschen lernen können und Betreiber den Kontext großer Systeme verstehen? Es scheint, dass sich ein großer Teil der HPC-Hardware-Community darauf konzentriert, riesige Rechenkapazitäten für große Installationen zu kaufen. Wenn diese Hardware und die darauf laufende Software 1000x effizienter wären, könnten wir die Talentpipeline mit Menschen aus Orten füllen, die HPC im großen Maßstab nicht unterstützen können.

Alles in allem war der STEM-Trek 23 Pre-Conference-Workshop eine sehr aufschlussreiche Erfahrung mit großer Vielfalt unter den Teilnehmenden. Wenn Sie sich für die Herausforderung von Rechenressourcen in Entwicklungsländern interessieren und mehr über STEM-Trek erfahren möchten, können Sie die Website hier besuchen und sich auf LinkedIn mit Elizabeth und Kurt vernetzen.