Inferensverktyg lovar högre prestanda
AI hårdvara startup Cerebras har skapat en ny lösning för AI-inferens som potentiellt kan konkurrera med Nvidias GPU-erbjudanden för företag. Cerebras Inference tool är baserat på företagets Wafer-Scale Engine och lovar att leverera häpnadsväckande prestanda. Enligt källor har verktyget uppnått hastigheter på 1.800 tokens per sekund för Llama 3.1 8B och 450 tokens per sekund… Läs mer »
