Nye grupper forskere vil anvende supercomputere til nye typer opgaver. Det stiller nye krav til supercomputerne og hvordan vi administrerer dem – krav som kun kan løses med en kombination af software og nye kompetencer hos medarbejderne.
Det mener Kristian Kristensen og Bernd Dammann fra DTU’s Computing Center (DCC), der omfatter et HPC-kompetence- og driftscenter (High Performance Computing). Her står de blandt andet for at administrere 13 lokale HPC-installationer på DTU.
”Vi ser ikke kun HPC som noget hardware. Vi opfatter det primært som et laboratorium, et legerum, hvor forskere kan afprøve helt nye løsninger på en ofte hurtigere og billigere måde end tilfældet er ved fysiske eksperimenter,” siger Kristian Kristensen.
Traditionelt har en lille gruppe forskere brugt supercomputere intensivt. Områder som højenergifysik, biokemi, astronomi og andre med store regnebehov har haft stor glæde af supercomputerne. Resultatet har været en samling HPC-installationer med meget høj kapacitet, men ofte skræddersyet til at løse en bestemt type problemer.
”I fremtiden vil flere og flere fagfelter få brug for at simulere og modellere problemer. Og et nyt område, der i stigende grad konvergerer med HPC-området: Analyse af store datamængder, det nogle kalder big data,” siger Kristian Kristensen.
Styr på ressourcerne
Med de nye fagfelter følger nye typer beregnings- og databehandlingsopgaver – og en flok nye brugere, der ikke nødvendigvis er fortrolige med at starte et batch-job fra en Unix-kommandoprompt.
”Traditionelt har HPC-verdenen ignoreret behovet for investeringer i software. Især i form af investeringer i HPC-softwareværktøjer såsom compilere, debuggere, schedulere og workload management. Men de nye brugere og arbejdsområder gør det nødvendigt for HPC-installationerne at investere mere i software,” mener Kristian Kristensen.
Som eksempel nævner han software, der kan styre jobs og fordele regneressourcer.
”En HPC-installation vil optimalt set være i brug hele tiden, men ofte mest i peak-perioder. Derfor bør det være muligt at deles om ressourcerne, så andre brugere kan komme til, når de primære brugere ikke udnytter ressourcen fuldt ud. Men det kræver software til at optimere og styre fordelingen – og jo mere det kan automatiseres, jo bedre,” siger han.
Han ser gerne en form for portalløsning, hvor brugerne via et web-interface kan starte og følge deres regneopgaver.
Eksperter hjælper
Foruden software mener Kristian Kristensen, at man i forbindelse med HPC-installationerne typisk også har overset et andet væsentligt element: Den menneskelige faktor.
”Forskerne er specialister i deres fagområde. Men de er ikke nødvendigvis specialister i, hvordan et problem oversættes til noget, som en computer kan udføre. Her er der brug for specialister – og de skal have andre kompetencer end en systemadministrator. Specialisten skal forstå mapningen hele vejen fra problemdomænet ned til den fysiske hardware,” siger han. Det er årsagen til, at DTU har oprettet et HPC-kompetencecenter med netop den slags specialister.
Som eksempel nævner han, at det i dag er muligt at køre nogle opgaver på chips, der egentlig er udviklet til grafikkort i spillecomputere. De kan sætte fart på beregningerne, men de er anderledes at programmere end traditionelle processorer og egner sig ikke til alle typer beregningsopgaver.
”Her kan en specialist hjælpe forskeren med at afgøre, om det overhovedet er besværet værd at skrive et program til de arkitekturer, eller om opgaven lettere kan løses på anden vis,” siger Kristian Kristensen.
Han venter, at der bliver et stigende behov for den type specialister. Det bliver en konsekvens, hvis forskere fra nye fagområder får øjnene op for mulighederne i HPC:
”Hvis for eksempel forskere fra humaniora eller andre fagområder uden tradition for at anvende HPC, hvor der er langt fra problem til hardware, vil i gang med at bruge det, får de brug for hjælp. Her ser jeg et område, hvor DeiC kan udfylde en vigtig funktion med at hjælpe sådanne nye brugere i gang,” siger han.
Virtualisering på vej
Inden for administrativ it er mange gået over til servervirtualisering. Her lægger man et virtualiseringslag ind mellem hardware og styresystem. Det giver fleksibilitet og bedre udnyttelse af hardwaren. Men virtualisering er ikke udbredt på danske HPC-anlæg.
”De traditionelle HPC-brugere er skeptiske over for virtualisering, fordi det ekstra softwarelag tager 5-10 procent af performance. Men til gengæld får man en øget fleksibilitet. Hvis jeg kører et job på en CPU med 16 kerner, hvor jobbet kun udnytter de otte, bliver de andre ikke udnyttet. Det kan de blive med virtualisering. Det er også muligt at flytte et kørende job, hvis en node giver problemer. Så på længere sigt vil vi se virtualisering i HPC-verdenen,” mener Bernd Dammann.
Fleksibiliteten kan udnyttes til at give større frihed ved valg af software.
”Indimellem kommer en forsker med noget software, han har udviklet på sin pc med en bestemt Linux-version. På vores cluster kører vi udelukkende enterprise Linux, og det har ikke altid de samme biblioteker som forskernes maskiner. Derfor kan det give problemer at flytte softwaren fra udviklingsmaskinen til HPC-anlægget. Med virtualisering kunne vi oprette en virtuel maskine, der svarer fuldstændig til den, forskeren sidder med,” siger Bernd Dammann.
De to ser fortsat et behov for både lokale HPC-ressourcer som dem, de selv administrerer, nationale ressourcer som dem, DeiC står bag, og internationale samarbejder som PRACE (Partnership for Advanced Computing in Europe).