Det moderna datacentret har många flaskhalsar att brottas med och jag gissar att ni alla, precis som jag är otrolgit trött på uttrycket flaskhalsar vid det här laget... 😂 Men ett fenomen som i branschen kallas för "minnesväggen" eller på engelska, "memory wall", är ett stort problem för utevecklingen av AI. Samtidigt som antalet processorkärnor per sockel har ökat dramatiskt, där exempelvis moderna serverprocessorer kan integrera upp till 288 kärnor så har tillväxten av minneskanaler per kärna inte kunnat hålla jämna steg.
Detta begränsar både tillgänglig minnesbandbredd och kapacitet per kärna vilket i sin tur skapar flaskhalsar för minnesintensiva arbetsprogram som storskaliga språkmodeller, in-memory-databaser aka IMDBMS och högpresterande beräkningar.
Och det är här som dagens tema kommer in i bilden. Nämligen Compute Express Link eller förkortat CXL som ser ut att kunna bli standarden för att lösa denna flaskhals. Tänk på CXL som en ny, supersnabb motorväg i datorn som gör att CPU och GPU kan dela på samma minne direkt. De slipper kopiera filer fram och tillbaka och man kan kliva över flera steg i den tidigare processen vilket gör att allt går mycket snabbare.