Mistral AI:s senaste modell, Mistral Stor 2 (ML2), påstås konkurrera med stora modeller från branschledare som OpenAI, Meta och Anthropic, trots att den bara är en bråkdel av deras storlek.
Tidpunkten för denna release är anmärkningsvärd och anländer samma vecka som Meta’ s lansering av sin jätte 405-miljard-parameter Llama 3.1 modell. Både ML2 och Llama 3 har imponerande funktioner, bland annat ett kontextfönster med 128.000 symboler för förbättrat minne och stöd för flera språk.
Mistral AI har länge differentierat sig genom sitt fokus på språklig mångfald, och ML2 fortsätter denna tradition. Modellen stöder “dussintals” språk och mer än 80 kodningsspråk, vilket gör den till ett mångsidigt verktyg för utvecklare och företag över hela världen.
Enligt Mistral’s benchmarks presterar ML2 konkurrenskraftigt mot toppmodeller som OpenAI’s GPT-4o, Anthropic’s Claude 3.5 Sonnet och Meta’s Llama 3.1 405B i olika språk-, kodnings- och matematiktester.
I det allmänt erkända MMLU-testet (Massive Multitask Language Understanding) uppnådde ML2 en poäng på 84 procent. Även om den ligger något efter sina konkurrenter (GPT-4o på 88,7%, Claude 3.5 Sonnet på 88,3% och Llama 3.1 405B på 88,6%) är det värt att notera att mänskliga domänexperter beräknas få cirka 89,8% på detta test.
Effektivitet: En viktig fördel
Det som utmärker ML2 är dess förmåga att uppnå hög prestanda med betydligt färre resurser än sina konkurrenter. Med 123 miljarder parametrar är ML2 mindre än en tredjedel så stor som Metas största modell och ungefär en fjortondel så stor som GPT-4. Denna effektivitet har stora konsekvenser för driftsättning och kommersiella tillämpningar.
Med full 16-bitars precision kräver ML2 ca 246 GB minne. Även om detta fortfarande är för mycket för en enda GPU kan den enkelt distribueras på en server med fyra till åtta GPU:er utan att behöva kvantiseras – en bedrift som inte nödvändigtvis kan uppnås med större modeller som GPT-4 eller Llama 3.1 405B.
Mistral understryker att ML2’s mindre fotavtryck innebär högre genomströmning, eftersom LLM-prestanda till stor del dikteras av minnesbandbredd. I praktiken innebär detta att ML2 kan generera svar snabbare än större modeller på samma hårdvara.
Att ta itu med viktiga utmaningar
Mistral har prioriterat att bekämpa hallucinationer – ett vanligt problem där AI-modeller genererar övertygande men felaktig information. Företaget hävdar att ML2 har finjusterats för att vara mer “försiktig och omdömesgill” i sina svar och bättre på att känna igen när den saknar tillräcklig information för att svara på en fråga.
ML2 är dessutom utformad för att bli bättre på att följa komplexa instruktioner, särskilt i längre konversationer. Denna förbättring av förmågan att följa instruktioner kan göra modellen mer mångsidig och användarvänlig i olika applikationer.
Som en blinkning till praktiska affärsfrågor har Mistral optimerat ML2 för att generera kortfattade svar där så är lämpligt. Även om utförliga utdata kan leda till högre benchmarkpoäng, resulterar de ofta i ökad beräkningstid och driftskostnader – ett övervägande som kan göra ML2 mer attraktivt för kommersiell användning.
Jämfört med tidigare Mistral Large har mycket mer arbete ägnats åt alignment och instruktionskapacitet. På WildBench, ArenaHard och MT Bench presterar den i nivå med de bästa modellerna, samtidigt som den är betydligt mindre verbal. (4/N) pic.twitter.com/fvPOqfLZSq
— Guillaume Lample @ ICLR 2024 (@GuillaumeLample) 24 juli 2024
Licensiering och tillgänglighet
ML2 är fritt tillgängligt på populära lagringsplatser som Kramande ansikteär dess licensvillkor mer restriktiva än vissa av Mistrals licensvillkor. tidigare erbjudanden.
Till skillnad från Apache 2-licensen för öppen källkod som används för Mistral-NeMo-12B-modellen, släpps ML2 under Mistral forskningslicens. Detta tillåter icke-kommersiell användning och forskningsanvändning men kräver en separat kommersiell licens för affärsapplikationer.
I den allt hårdare AI-kampen utgör Mistral’s ML2 ett betydande steg framåt när det gäller att balansera kraft, effektivitet och användbarhet. Huruvida den verkligen kan utmana teknikjättarnas dominans återstår att se, men lanseringen är verkligen ett spännande tillskott till fältet för stora språkmodeller.
(Foto av Sean Robertson)
Se även: Senatorer undersöker OpenAI om säkerhets- och anställningsförfaranden
Vill du lära dig mer om AI och big data från branschledare? Kolla in AI & Big Data Expo som äger rum i Amsterdam, Kalifornien och London. Det omfattande evenemanget är samlokaliserat med andra ledande evenemang, bland annat Konferens om intelligent automation, BlockX, Veckan för digital omvandling, och Cybersäkerhet & Cloud Expo.
Utforska andra kommande evenemang och webbseminarier om företagsteknik som drivs av TechForge här.
Inlägget Mistral Large 2: David till Big Tech’s Goliat(er) dök först upp på AI-nyheter.
