LUMI for fuld udblæsning hjælper forskning i nye materialer til solceller, katalysatorer og kvanteteknologi

Det hele startede faktisk lidt tilfældigt, fortæller Kristian Sommer Thygesen, professor, DTU Fysik. Vi vidste godt, at store GPU-baserede exascale supercomputere ville blive en vigtig brik i fremtidens HPC-landskab og dermed for meget af vores forskning, men vi var alligevel lidt tilbageholdende. Vi ville godt lige se det lidt mere an. Vi havde kontakt til CSC i Finland i forbindelse med et andet projekt [NOMAD, red], og var i gang med at få porteret vores elektronstruktur software-kode, som vi bruger til at regne på materialer med, over på AMD-GPU’er. En del af NOMAD-projektet handlede om at få udviklet workflow software til exascale computere, som gør, at man kan styre rigtigt mange beregninger på en gang. Det er der nemlig behov for, når man anvender en supercomputer som f.eks. LUMI, der kan køre 100.000 beregninger simultant med 10 beregninger på hver af de 10.000 GPU’er. Det var jo oplagt at teste workflow-softwaren på LUMI for at se, om softwaren virkelig kunne skalere til så stor en computer.

LUMI Grand Challenge

Vi blev kontaktet af CSC, som gav os den mulighed, at vi kunne køre på LUMI i 6 timer, dvs. ved fuld kapacitet. Vi vidste ikke engang, at det var en mulighed. Der var bare lige det ved det, at vi kun havde 14 dage til at forberede os i. Ærlig talt, jeg troede ikke, at det kunne lade sig gøre, fortæller Kristian med et skævt smil. Han vendte det med sit team, men det kunne vi ikke nå, mente de. Og så alligevel, de ville ikke sige nej til udfordringen, så vi slog til, og vi satte alle sejl til. Men det var ikke uden udfordringer. I løbet af de her 14 dage var LUMI faktisk nede i en relativt stor del af tiden, så det var svært at teste vores koder ordentligt. Mit team på 5 personer knoklede dag og nat bogstaveligt talt for at få det hele sat op. Der er rigtigt mange komponenter, der skal spille sammen når man skal køre reel produktion på verdens 3. største computer. Der var vores simulerings-kode, GPAW, som kun lige akkurat var blevet GPU-køreklar. Så var der workflow-manageren, der var databasen med de 100.000 materialer, der skulle undersøges, altså selve den videnskabelige del, og til sidst var der håndteringen af Lustre-filsystemet på LUMI. Heldigvis for processen, var både DeiC, DTU Front Office og eksperterne ved CSC i Finland meget hjælpsomme og hurtige til at reagere på vores henvendelser. 

In the Zone

Der var rigtigt mange tekniske udfordringer under selve Grand Challenge eksekveringen, som vi skulle løse på meget kort tid. Jeg var ovre i ´kontrolrummet´ engang i mellem for at høre teamet, hvordan det gik, men jeg kunne slet ikke komme i kontakt med dem. Jeg havde været ude med sushi til dem på instituttet om lørdagen, hvor de sad til midnat og lavede de sidste forberedelser. Det var superspændende og også motiverende for os alle, selvom vi ikke fik det ud af det rent videnskabeligt, som vi havde håbet på, fordi de første 4 timer faktisk gik med at løse nogle tekniske problemer relateret til et software bibliotek, som var blevet opdateret på LUMI. Til gengæld fungerede alt den sidste times tid, og der fik vi demonstreret, at vores workflow-software virkelig fungerede og kunne skalere til exascale (eller 0.5exascale for at være helt præcis). Det fungerede, og vi kørte 50.000 beregninger simultant på LUMI.

Billede

Foto: Kristian Sommer Thygesen

På billedet ses Kristian Sommer Thygesen med sit udviklerteam bestående af Mikael Kuisma, Jens Jørgen Mortensen, Ask Hjort Larsen og Tara Boland.

Beregninger baseret på kvantemekaniske principper kræver HPC

Vi kender den atomare struktur af omkring 200.000 krystallinske materialer, men for langt størstedelen af dem kender vi ikke deres basale mekaniske, elektroniske, optiske eller magnetiske egenskaber, og dermed kan vi ikke vurdere deres anvendelsespotentiale. I stedet for at udføre traditionelle og tidskrævende laboratorieforsøg for at identificere de mange materialers egenskaber, kan man i dag udføre beregninger, der kan fortælle os materialernes egenskaber, f.eks. deres mekaniske styrke eller deres evne til at absorbere lys. Disse typer beregninger er baseret direkte på de kvantemekaniske ligninger, hvilket gør dem meget nøjagtige, men det kræver bare massive HPC-ressourcer. Hidtil har vi udelukkende udført vores beregninger på DTU-supercomputeren Niflheim, som er et CPU-anlæg, fordi der ikke har været adgang til store GPU-anlæg. Det er også en af årsagerne til, at vi ikke tidligere er gået i gang med at flytte vores kode til GPU’erne. Med adgangen til LUMI er der sket et skifte for os.

LUMI-supercomputeren kan accelerere vores forskning i materialer til solceller og katalysatorer

Brugen af HPC i materialeforskning er ikke nyt. I kælderen på DTU Fysik står Niflheim supercomputeren. Den kunne vi godt have kørt vores beregninger på, men LUMI er bare 100 gange hurtigere. Udover at udføre materialeberegninger så forsker vi også i at udvikle bedre simuleringsmetoder. Her handler det dels om at opnå højere nøjagtighed under nogle helt idealiserede forhold, men også om at komme tættere på virkeligheden hvor forholdene aldrig er helt ideelle. På sigt er det vores plan at kombinere vores beregninger med kunstig intelligens (AI), for derved at accelerere hele forskningsprocessen.

Kunstig intelligens (AI) hjælper til at opdage helt nye materialer

Ideen er at benytte AI til at guide vores beregninger hen imod de materialer, der er mest interessante, f.eks. indenfor udvikling af solcelle-materialer og katalysatorer. Vi vil gerne finde bedre katalysatorer til elektrolyse og solceller, der kan være tyndere og mere fleksible. Udover at bestemme egenskaberne af de allerede kendte materialer, hvilket var formålet med LUMI Grand Challenge projektet, så er der et behov for at opdage helt nye materialer, fordi flaskehalsen ofte er i de materialer, vi har til rådighed (som vi kender). Der er rigtigt mange materialer, som i princippet kunne produceres, hvis vi blander de rigtige elementer i de rette forhold og under de rette betingelser. Her er kombinationen af AI og de kvantemekaniske beregninger, vi laver på supercomputere virkelig vejen frem. Vi kører faktisk på LUMI lige nu (Juni 2023, red), for vi fik ikke brugt alle vores GPU-timer, og vi får nu regnet alle de her materialer igennem. Alle resultaterne inkl. meta-data som f.eks. gør, at data bliver FAIR, lægger vi i en tilgængelig online database.

LUMI er blevet fast gæst hos DTU Fysik

Hovedformålet og udfordringen med LUMI Grand Challenge var ikke at udføre selve beregningerne, men at skalere beregningerne til at udnytte de 10.000 GPU’er på LUMI. Nu hvor vi har fordøjet oplevelsen og haft tid til at implementere og forbedre softwaren føler vi os godt klædt på til at anvende LUMI mere regelmæssigt. Det er jo rigtig mange ressourcer, som vi kan tappe ind i, og det vil vi gøre i kombination med vores egen supercomputer, Niflheim. Nu skal vi bare ind i et flow, hvor vi husker at få ansøgt om LUMI-ressourcerne, som vi nok vil anvende til mere strategiske projekter. Som nævnt har jeg selv været lidt tilbageholdende med at bruge GPU/LUMI, fordi jeg tænkte, at det ville blive for krævende at portere kode mv. Men da vi så fandt ud af, at det var overskueligt, at der var fin hjælp at hente, så vil jeg sige, at det er bare at springe ud i det. På den lange bane, er det jo en god ide at komme i gang, evt. få noget hjælp til det, fordi det bevæger sig i den retning med store GPU-baserede skridt!

LUMI kan virkeliggøre større projekter og større tanker

Med LUMI-ressourcerne kan vi tænke nogle større projekter og nogle større tanker. Vi kan adressere nogle videnskabelige udfordringer, som ikke kun er rigtig mange beregninger med rigtigt mange materialer mappet ud, men f.eks. beregne nogle mere komplekse egenskaber for de her materialer.

”Vi kan simpelthen med højere nøjagtighed komme tættere på virkeligheden med de beregninger, vi laver, fordi vi kan have flere faktorer med i beregningerne. Virkeligheden er kompleks”, fortæller Kristian Sommer Thygesen, DTU Fysik.

LUMI er en supercomputer på et andet niveau, end det vi normalt går rundt og kalder supercomputere herhjemme.

Ressourcer

1. LUMI supercomputer: https://www.lumi-supercomputer.eu    

2. Søg om regnekraft på LUMI: https://www.deic.dk/da/Supercomputere/Sog-om-HPC-regnekraft

3. Full machine run på LUMI se mere her: https://docs.lumi-supercomputer.eu/runjobs/scheduled-jobs/hero-runs/