Um welche Themen wird es bei der diesjährigen EuroMPI21 gehen?

Dr. Marc-André Hermanns: Bei der diesjährigen Konferenz haben wir mehrere Beiträge zu einseitiger Kommunikation, Remote-Memory Access (RMA) und dem damit eng verbundenen Communication Progress sowie dem neuen Session-Konzept, das mit der Version MPI 4.0 eingeführt wurde. Darüber hinaus stehen Beiträge zu Themen wie kollektiven Kommunikationsalgorithmen und Code-Generierung auf dem Programm.

Warum sind diese Themen gerade jetzt wichtig?

Hermanns: Remote Memory Access bildet das dritte Kommunikationsparadigma neben Punkt-zu-Punkt- und kollektiver Kommunikation in MPI. Durch Änderungen in MPI 3.0 wurde RMA bei den Nutzer:innen immer attraktiver. Gleichzeitig werden Applikationen irregulärer in ihrem Verhalten, sie haben also nicht immer klare gemeinsame Kommunikationsphasen, sondern rechnen in eigenen Phasen. Um die Arbeit weiterhin effizient zu gestalten, kann sogenannte nicht-blockierende Kommunikation hilfreich sein. Deren Effizienz ist in solchen Szenarien allerdings stark von asynchronem "Communication Progress" abhängig. Die Sessions adressieren den in meinen Augen wichtigen Aspekt der Skalierbarkeit. Wenn Eingabedaten größer werden, muss man ihnen oft mit mehr Parallelität begegnen, um die Rechenzeit akzeptierbar zu halten. Sessions helfen, den Speicherverbrauch der MPI-Bibliothek zu begrenzen und gleichzeitig verschiedene Simulationsteile zu koppeln. Das ist neu, daher sollte jede:r Einsatzszenarien und Leistung genau prüfen.

Nach welchen Kriterien haben Sie als Programm Chair die Vortragsinhalte ausgewählt?

Hermanns: Das Programm kam durch ein wissenschaftliches Review-Verfahren zustande. Das Programme Committee setzt sich aus Wissenschaftler:innen aus der MPI Community zusammen, alle beurteilten für sich die einzelnen Beiträge, gab ihnen quasi eine Note, und aus der Mittelung aller Bewertungen kamen diejenigen Beiträge ins Programm, die die meisten Fachleute überzeugten.

Natürlich sind sie alle relevant – gibt es Highlights, die Sie besonders interessieren?

Hermanns: Ich habe mich selbst mit der Schnittstelle für einseitige Kommunikation oder dem Remote Memory Access intensiv auseinandergesetzt. Das war bisher eher ein Nischenthema. Deshalb freut es mich besonders, dass es in diesem Jahr mehrere Beiträge dazu gibt. Das Best Paper in diesem Jahr thematisiert den Communication Progress. Spannend sind auch die Beiträge zum neuen Sessions-Konzept. Hier tut sich ein neuer Bereich auf, der zeigt, dass MPI und seine Entwicklung noch lange nicht abschließend erforscht ist.

Sie analysieren MPI als Forscher – was genau? Und was finden Sie an dem Programmierschema interessant?

Hermanns: Ich interessiere mich besonders für Leistungs-Analysewerkzeuge mit Fokus auf MPI und anderen Schnittstellen für die parallele Programmierung mit verteiltem Speicher. Bislang lag der Schwerpunkt in Verfahren, mit denen Wartezeiten an Synchronisationspunkten von einseitiger Kommunikation erkannt werden konnten. Anwender:innen merken oft nicht, dass sie je nach Implementierung mit einem Remote-Memory-Zugriff zwei Prozesse implizit synchronisieren. Daher sollten sich die Entwickler:innen von Werkzeugen und Schnittstellen überlegen, welche Probleme damit entstehen könnten und wie sie Nutzer:innen darüber informieren können. Was mich hier fasziniert, ist das Spannungsfeld zwischen Information und Leistung. Je mehr Informationen zur Laufzeit ich versuche zu erfassen, desto höher ist die Gefahr, das Verhalten des zu messenden Programms zu beeinflussen und meine Messdaten zu verfälschen. Forschende sollten also abwägen, wo und wie sie Informationen erfassen. Im Schnittstellen-Design sollten sie besonders aufmerksam sein, da dies maßgeblich zum Erfolg beiträgt.

Nach 6 Jahren Vorbereitung ist jetzt Version 4.0 von MPI veröffentlicht worden. Welche Verbesserungen bringt sie fürs HPC?

Hermanns: Mit MPI 4.0 wurden neue Funktionen geschaffen, um sehr große Datenmengen einfach verschicken zu können. MPI 4.0 führt zudem eine persistente kollektive Kommunikation ein. Das Konzept kann in iterativen Simulationen die Effizienz erhöhen und wurde nun auf die kollektive Kommunikation erweitert. Mit dem Konzept "Partitioned Communcation" kommt zudem ein neues Verfahren für die Punkt-zu-Punkt Kommunikation. Es ermöglicht einer MPI Bibliothek Teile der Daten zu verschicken, bevor alle komplett zur Verfügung stehen. Hybride Programmierung, also die Mischung von MPI mit einer Thread-basierten Schnittstelle wird wichtiger, und die partitionierte Kommunikation lässt sich dafür nutzen. Mit den Sessions wurde die Initialisierung der MPI-Bibliothek modernisiert. Im Bereich der virtuellen Topologien ist einiges an Funktionalität hinzugefügt worden, um eine Anwendung einfacher auf die vorhandene Hardware-Architektur eines HPC-Systems anzupassen. Erste Methoden zur Laufzeitbehandlung von kritischen Fehlern wurden ebenfalls integriert, weil bisher etwa nach dem Ausfall eines Prozesses das ganze MPI-Programm abgebrochen wurde. Mit MPI 4.0 programmiert, kann eine Applikation einen Fehler selbst lösen. An der Erweiterung des MPI Tool Information Interfaces oder MPI_T habe ich selbst mitgearbeitet; wir konzipierten eine callback-basierte Schnittstelle, die eine Lücke bei der Aufzeichnung von Leistungsinformationen schließt.
 

Welche Erwartungen verbinden Sie mit der EuroMPI21?

Hermanns: Mit Blick auf MPI 4.0 erhoffe mir in diesem Jahr wieder einen regen Austausch zu den neuen Funktionen von MPI und wie diese von den Nutzer:innen aufgenommen werden. Interessant wird sein, in welche Richtung das Forum weitergeht, um künftig die Wünsche der Nutzer umzusetzen.

Und welche mit dem Gastgeber LRZ?

Hermanns: Der letzte Besuch am LRZ ist schon einige Jahre her, ich hatte mich darauf gefreut, wieder einmal nach Garching zu kommen. Die Pandemie macht uns leider einen Strich durch die Rechnung. Oft schafft der Austragungsort seine eigene Note, weil sich Forschende aus der Region ohne Aufwand einbringen können. Aber das ist ja die große Chance virtueller Konferenzen – sie ermöglicht die einfache Teilnahme weltweit.