Cerebras Systems, een Amerikaanse startup, lanceerde de grootste chip met meer dan 1,2 biljoen transistors en een afmeting van 46.225 vierkante millimeter. De nieuwe Cerebras Wafer Scale Engine (WSE) -chip is geoptimaliseerd voor AI en is 56,7 keer groter dan de grootste grafische verwerkingseenheid die 815 vierkante millimeter meet en 21,1 miljard transistors bevat. De nieuwe Cerebras Wafer Scale Engine (WSE) biedt 3.000 keer meer high-speed on-chip geheugen en wordt geleverd met 10.000 keer meer geheugenbandbreedte. Het grotere formaat van de chip zorgt ervoor dat informatie sneller kan worden verwerkt en kan zelfs de time-to-insights of 'trainingstijd' verkorten waardoor de onderzoekers meer ideeën kunnen testen, meer data kunnen gebruiken en nieuwe problemen kunnen oplossen.
De Cerebras WSE is ontworpen voor AI en bevat fundamentele innovaties die de nieuwste stand van de techniek bevorderen door het oplossen van tientallen jaren oude technische uitdagingen met een beperkte chipgrootte - zoals cross-reticle-connectiviteit, opbrengst, vermogensafgifte en verpakking. De WSE kan berekeningen en communicatie versnellen, wat de trainingstijd verkort. De WSE heeft 56,7 keer meer siliciumoppervlak dan de grootste grafische verwerkingseenheid. De WSE kan ook meer cores leveren om meer berekeningen uit te voeren en beschikt over meer geheugen dichter bij de cores, zodat de cores efficiënt kunnen werken. Alle communicatie wordt op silicium zelf gehouden omdat het enorme aantal kernen en het geheugen op een enkele chip zijn ingebed.
De Cerebras WSE-chip bevat 46.225mm2 silicium en herbergt 400.000 AI-geoptimaliseerde, geen cache, geen overhead, rekenkernen en 18 gigabyte lokaal, gedistribueerd, supersnel SRAM-geheugen. De chip wordt geleverd met 9 petabytes per seconde aan geheugenbandbreedte, waarbij kernen met elkaar zijn verbonden met een fijnmazig, volledig hardware, op de chip met mesh verbonden communicatienetwerk dat een totale bandbreedte van 100 petabits per seconde levert. Dit betekent dat de communicatiebandbreedte met lage latentie van WSE extreem groot is, waardoor de groepen kernen met maximale efficiëntie kunnen samenwerken, en geheugenbandbreedte is niet langer een bottleneck. Meer lokaal geheugen, meer cores en een fabric met lage latentie en hoge bandbreedte vormen samen de optimale architectuur voor het versnellen van AI-werk.
De kenmerken van Cerebras WSE-chip:
- Verhoogde cores: de WSE integreert 400.000 AI-geoptimaliseerde rekenkernen genaamd SLAC (Sparse Linear Algebra Cores) die programmeerbaar, flexibel en geoptimaliseerd zijn voor de spaarzame lineaire algebra die ten grondslag ligt aan alle neurale netwerkberekeningen. De programmeerbaarheid van SLAC zorgt ervoor dat de kernen gemakkelijk alle neurale netwerkalgoritmen kunnen uitvoeren in een steeds veranderend machine learning-veld. De WSE-kernen bevatten door Cerebras uitgevonden technologie voor het oogsten van schaarsheid die de rekenprestaties op schaarse workloads (workloads die nullen bevatten) zoals deep learning versnellen.
- Verbeterd geheugen: de Cerebras WSE integreert meer lokaal geheugen samen met meer cores, wat meer is dan welke chip dan ook, die flexibele, snelle berekeningen mogelijk maakt met een lagere latentie en met minder energie. De WSE wordt geleverd met 18 GB (gigabyte) on-chip geheugen dat toegankelijk is via de kern in één klokcyclus. Deze verzameling core-local geheugen zorgt ervoor dat de WSE een totaal van 9 petabytes per seconde aan geheugenbandbreedte levert, wat 10.000 x meer geheugenbandbreedte en 3.000 x meer is.