Trzy superkomputery Cyfronetu wśród najszybszych i najbardziej energooszczędnych komputerów świata

Superkomputer dostarcza polskiemu środowisku naukowemu i gospodarce najnowocześniejszych zasobów obliczeniowych opartych na procesorach CPU i na akceleratorach GPGPU najnowszej generacji wraz z niezbędnym podsystemem składowania danych opartym na bardzo szybkich pamięciach flash. Konfiguracja Atheny obejmuje: serwery z procesorami AMD EPYC (w sumie 6.144 rdzenie obliczeniowe CPU) oraz 384 karty GPGPU NVIDIA A100. Niezbędnym elementem umożliwiającym wykorzystanie tak dużej mocy obliczeniowej w efektywny sposób jest zapewnienie wysokowydajnej sieci wewnętrznej superkomputera (Infiniband HDR o przepustowości 4 × 200 Gb/s na serwer) oraz bardzo szybkiego podsystemu dyskowego. Jest on zbudowany w oparciu o otwarte oprogramowanie Lustre oraz dedykowane serwery dyskowe wyposażone w pamięci flash w standardzie NVMe.

Architektura Atheny wychodzi naprzeciw potrzebom użytkowników superkomputerów Cyfronetu, którzy wykorzystują infrastrukturę obliczeniową zarówno do wykonywania standardowych wysokowydajnych symulacji naukowych, jak i do stosowania metod sztucznej inteligencji (AI) i uczenia maszynowego (ML) w badaniach z zakresu medycyny, farmakologii, biologii, chemii, fizyki oraz wielu innych dziedzin nauki. Moc obliczeniowa Atheny dla obliczeń AI to prawie 240 PetaFlops!

Helios – nowe światło dla innowacji w polskiej nauce i gospodarce

Superkomputer Helios to nowy system instalowany w ACK Cyfronet AGH, powstały w wyniku prac realizowanych w koordynowanym przez Cyfronet projekcie Narodowa Infrastruktura Superkomputerowa dla EuroHPC – EuroHPC PL. Superkomputer został zbudowany według projektu Cyfronetu przez Hewlett-Packard Enterprise w oparciu o platformę HPE Cray EX4000 i docelowo będzie się składał z trzech partycji obliczeniowych:

1. CPU wyposażonej w 75 264 rdzeni obliczeniowych AMD Zen4 oraz 200 TB pamięci operacyjnej DDR5,
2. GPU wyposażonej w 440 superczipów NVIDIA Grace Hopper GH200,
3. INT dla pracy interaktywnej, wyposażonej w 24 akceleratory NVIDIA H100 i szybką lokalną pamięć NVMe.

Ze względu na bieżącą instalację systemu, do testów na potrzeby TOP500 zgłoszono tylko partycję procesorów ogólnego przeznaczenia (CPU) o mocy obliczeniowej 3,4 PetaFlops. Pomimo tego, Helios został odnotowany na liście TOP500 i zajął miejsce 291. Po pełnej instalacji systemu, kiedy zostaną uruchomione wszystkie partycje, Helios ma osiągać ok. 35 PFlops teoretycznej mocy obliczeniowej. Na obecnej liście ta moc pozwoliłaby Heliosowi na zajęcie lokaty wśród 50 najszybszych superkomputerów świata.

Podsystem dyskowy Heliosa składa się z dwóch rodzajów systemów plików Lustre: scratch o pojemności 1,5 PB i prędkości ponad 1,8 TB/s oraz project o pojemności 16 PB i prędkości niemal 200 GB/s. Wszystkie komponenty superkomputera połączone są ze sobą siecią Slingshot o prędkości 200 Gb/s. Platforma HPE Cray EX4000, w oparciu o którą zbudowano Heliosa, jest także używana w budowie najszybszych superkomputerów na świecie (Frontier) oraz w Europie (LUMI). Dzięki bezpośredniemu chłodzeniu cieczą partycji CPU i GPU, możliwe jest osiągnięcie bardzo niskiego wskaźnika PUE (Power Usage Effectiveness) dla systemu, a w efekcie zwiększenie jego efektywności energetycznej i obniżenie kosztów eksploatacji. Dodatkowo, dzięki odzyskowi ciepła odpadowego produkowanego przez Heliosa, możliwe będzie wykorzystanie go do ogrzewania.

Już w pierwszej połowie 2024 r. – po zakończeniu instalacji i etapie gruntownego testowania infrastruktury – Helios będzie dostępny zarówno dla jednostek naukowych, jak i podmiotów gospodarki i administracji publicznej. Spodziewanym efektem jest rozwój innowacyjnych badań oraz przyspieszenie wprowadzania na rynek opartych na nich technologii.

Ares – wojownik dla nauki

Superkomputer Ares oferuje łączną moc obliczeniową ponad 4 PetaFlops (teoretyczna wydajność części CPU to ponad 3,5 PetaFlops, a części GPU to ponad 0,5 PetaFlops). Ares jest zbudowany z serwerów obliczeniowych z procesorami firmy Intel (model Xeon Platinum), podzielonych na trzy grupy:

• 532 serwery, każdy wyposażony w 192 GB pamięci RAM,
• 256 serwerów, każdy wyposażony w 384 GB pamięci RAM,
• 9 serwerów, każdy posiadający 8 kart NVIDIA Tesla V100.

Superkomputer posiada 37.824 rdzenie obliczeniowe. Aresa wspomaga również system dyskowy o pojemności ponad 11 PB. Do przesyłania danych używana jest sieć typu InfiniBand EDR. Na opublikowanej w listopadzie liście TOP500 Ares zajął pozycję 404.

Światowa czołówka wydajności energetycznej

Równolegle do ogłoszenia listy TOP500 superkomputerów o największej mocy publikowana jest lista Green500 superkomputerów o najwyższej wydajności energetycznej, obliczanej jako współczynnik liczby operacji zmiennoprzecinkowych na sekundę (mocy obliczeniowej superkomputera) do poboru energii. Dużym sukcesem jest zajęcie w obecnym rankingu przez Athenę 22 miejsca na liście Green500 najbardziej efektywnych energetycznie superkomputerów świata. Ta pozycja świadczy o doskonałym stosunku udostępnianej mocy obliczeniowej do poboru energii elektrycznej. Na liście Green500 nie zabrakło też Aresa, który znalazł się na wysokim 114 miejscu. Z kolei Helios – CPU zajął na liście Green500 lokatę 344.

Obliczenia naukowe z różnych dziedzin

Naukowcy prowadzący badania z wykorzystaniem infrastruktury Cyfronetu reprezentują wiele dziedzin. Zaawansowane modelowanie i obliczenia numeryczne są wykorzystywane głównie w zakresie: chemii, biologii, fizyki, medycyny i technologii materiałowej, a także astronomii, geologii i ochrony środowiska. Superkomputery w Cyfronecie dostępne w ramach infrastruktury PLGrid są również wykorzystywane na potrzeby fizyki wysokich energii (projekty ATLAS, LHCb, ALICE i CMS), astrofizyki (CTA, LOFAR), nauk o Ziemi (EPOS), europejskiego źródła spalacyjnego (ESS), biologii (WeNMR) oraz nauk humanistycznych i społecznych (CLARIN).

Polska na tle Europy i świata

Najszybszym superkomputerem na świecie po raz kolejny został Frontier zainstalowany w Oak Ridge National Laboratory (ORNL) w USA. To pierwszy superkomputer, który przekroczył barierę 1 EksaFlops (EksaFlops – 10¹⁸ operacji zmiennoprzecinkowych na sekundę), a jego teoretyczna moc obliczeniowa to 1,68 EksaFlops. W światowym TOP10 znalazło się sześć maszyn z USA, trzy z Europy i jedna z Japonii.

Najszybszym superkomputerem europejskim został ponownie superkomputer LUMI zbudowany dzięki współpracy 10 państw europejskich, w tym Polski. Na listopadowej liście TOP500 superkomputer LUMI znalazł się na piątym miejscu. Obecna teoretyczna moc obliczeniowa superkomputera LUMI to 531 PetaFlops. Polscy naukowcy mogą uzyskać dostęp do superkomputera LUMI za pośrednictwem infrastruktury PLGrid. Działania w tym zakresie są koordynowane przez ACK Cyfronet AGH. Więcej informacji na ten temat na stronie: https://cyfronet.pl/lumi.

Polskie superkomputery na liście TOP500

Na najnowszej liście TOP500 znalazły się cztery superkomputery z Polski. Pełne zestawienie zajętych miejsc wraz z wartościami teoretycznej mocy obliczeniowej przedstawia się następująco:

• 155 – Akademickie Centrum Komputerowe CYFRONET AGH, Athena (7710 TeraFlops),
• 221 – Poznańskie Centrum Superkomputerowo Sieciowe IChB PAN, Altair (5880 TeraFlops),
• 291 – Akademickie Centrum Komputerowe CYFRONET AGH, Helios CPU (3400 TeraFlops),
• 404 – Akademickie Centrum Komputerowe CYFRONET AGH, Ares (3510 TeraFlops).

Wykorzystaj moc superkomputerów w badaniach naukowych

Superkomputery umożliwiają znaczące skrócenie czasu wykonywania obliczeń do kilku godzin lub tygodni, które przy użyciu pojedynczych komputerów często zajęłyby wiele lat (w konkretnych rzeczywistych przypadkach ponad 150, 700 czy nawet 1000 lat). Użytkownicy Cyfronetu korzystają z profesjonalnego wsparcia – od szkoleń po indywidualne konsultacje z ekspertami.

Informacje dotyczące zasobów ACK Cyfronet AGH i podejmowanych działań są dostępne na stronie ACK Cyfronet AGH, natomiast spis usług w ramach infrastruktury PLGrid znajduje się w Poradnikach PLGrid.