De exponentiella kostnaderna för AI-utveckling

Av | 29 juli 2024


Teknikjättar som Microsoft, Alphabet och Meta rider högt på en våg av intäkter från AI-drivna molntjänster, men drunknar samtidigt i de betydande kostnaderna för att flytta fram AI:s gränser. De senaste finansiella rapporterna ger en bild av ett tveeggat svärd: å ena sidan imponerande vinster, å andra sidan häpnadsväckande utgifter.

Denna dikotomi har lett till Bloomberg kallade på ett träffande sätt AI-utvecklingen för en ”enorm pengagrop”, vilket belyser den komplexa ekonomiska verkligheten bakom dagens AI-revolution. Kärnan i detta finansiella problem är en obeveklig strävan efter större och mer sofistikerade AI-modeller. Strävan efter artificiell allmän intelligens (AGI) har lett till att företagen utvecklar alltmer komplexa system, vilket exemplifieras av stora språkmodeller som GPT-4. Dessa modeller kräver enorm beräkningskraft, vilket driver upp hårdvarukostnaderna till aldrig tidigare skådade nivåer.

Till råga på allt har efterfrågan på specialiserade AI-chip, främst grafikprocessorer (GPU:er), skjutit i höjden. Nvidia, den ledande tillverkaren inom detta områdehar sett sitt marknadsvärde skjuta i höjden när teknikföretag kämpar för att säkra dessa viktiga komponenter. Dess H100-grafikchip, som är guldstandarden för träning av AI-modeller, har sålts för uppskattningsvis 30 000 dollar – och vissa återförsäljare erbjuder dem för flera gånger det beloppet.

Den globala chipbristen har bara förvärrat denna fråga, med vissa företag som väntar månader på att skaffa nödvändig hårdvara. Meta Verkställande direktör Zuckerberg tidigare sagt att hans företag planerade att förvärva 350 000 H100-chip i slutet av året för att stödja sina AI-forskningsinsatser. Även om han får en rabatt på bulkköp, lägger det snabbt till miljarder dollar.

Å andra sidan är tryck på mer avancerade AI har också gett upphov till en kapprustning inom chipdesign. Företag som Google och Amazon investerar stort i att utveckla sina egna AI-specifika processorer, i syfte att få en konkurrensfördel och minska beroendet av tredjepartsleverantörer. Denna trend mot skräddarsydda kisel lägger till ytterligare ett lager av komplexitet och kostnader i AI-utvecklingsprocessen.

Men hårdvaruutmaningen sträcker sig längre än till att bara köpa in chip. Skalan på moderna AI-modeller kräver massiva datacenter, som har sina egna tekniska hinder. Dessa anläggningar måste vara utformade för att hantera extrema beräkningsbelastningar samtidigt som värmeavledning och energiförbrukning hanteras effektivt. I takt med att modellerna blir större ökar också effektbehovet, vilket leder till betydligt högre driftskostnader och större miljöpåverkan.

I en podcast-intervju i början av april sa Dario Amodei, VD för OpenAI-rivalen Anthropic, att den nuvarande skörden av AI-modeller på marknaden kostar cirka 100 miljoner dollar att träna. ”De modeller som är under utbildning nu och som kommer att komma ut vid olika tidpunkter senare i år eller i början av nästa år ligger närmare 1 miljard dollar”, sa han. ”Och sedan tror jag att vi under 2025 och 2026 kommer att komma mer mot 5 eller 10 miljarder dollar.”

Sedan finns det data, AI-systemens livsnerv, som innebär sina egna tekniska utmaningar. Behovet av stora datamängder av hög kvalitet har lett till att företagen har gjort stora investeringar i teknik för insamling, rensning och annotering av data. Vissa företag utvecklar sofistikerade verktyg för generering av syntetiska data för att komplettera verkliga data, vilket ytterligare driver upp forsknings- och utvecklingskostnaderna.

Den snabba takten i AI-innovationen innebär också att infrastruktur och verktyg snabbt blir föråldrade. Företagen måste kontinuerligt uppgradera sina system och omskola sina modeller för att förbli konkurrenskraftiga, vilket skapar en konstant cykel av investeringar och föråldring.

”Den 25 april sa Microsoft att de spenderade 14 miljarder dollar på investeringar under det senaste kvartalet och förväntar sig att dessa kostnader kommer att ”öka väsentligt”, delvis drivet av AI-infrastrukturinvesteringar. Det var en ökning med 79% från föregående års kvartal. Alphabet sa att det spenderade 12 miljarder dollar under kvartalet, en ökning med 91% från ett år tidigare, och förväntar sig att resten av året kommer att vara ”på eller över” den nivån när det fokuserar på AI-möjligheter, ”läser Bloombergs artikel.

Bloomberg noterade också att Meta under tiden höjde sina uppskattningar för investeringar för året och nu tror att investeringarna kommer att vara 35 miljarder dollar till 40 miljarder dollar, vilket skulle vara en ökning med 42% i den övre delen av intervallet. ”Det citerade aggressiva investeringar i AI-forskning och produktutveckling,” Bloomberg skrev.

Intressant nog påpekar Bloombergs artikel också att trots dessa enorma kostnader bevisar teknikjättarna att AI kan vara en verklig intäktsdrivare. Microsoft och Alphabet rapporterade en betydande tillväxt i sina molnverksamheter, främst till följd av ökad efterfrågan på AI-tjänster. Detta tyder på att även om den initiala investeringen i AI-teknik är häpnadsväckande, är den potentiella avkastningen tillräckligt övertygande för att motivera utgifterna.

De höga kostnaderna för AI-utveckling väcker dock farhågor om marknadskoncentration. Som påpekas i artikeln kan de kostnader som är förknippade med banbrytande AI-forskning begränsa innovationen till en handfull välfinansierade företag, vilket potentiellt kan kväva konkurrensen och mångfalden inom området. Framöver kommer branschen att fokusera på att utveckla effektivare AI-teknik för att hantera dessa kostnadsutmaningar.

Forskning om tekniker som ”few-shot learning”, ”transfer learning” och mer energieffektiva modellarkitekturer syftar till att minska de beräkningsresurser som krävs för utveckling och driftsättning av AI. Dessutom kan utvecklingen mot edge AI – att köra AI-modeller på lokala enheter snarare än i molnet – bidra till att fördela beräkningsbelastningen och minska belastningen på centraliserade datacenter.

Detta skifte kräver dock sin egen uppsättning tekniska innovationer inom chipdesign och mjukvaruoptimering. Sammantaget står det klart att AI:s framtid inte bara kommer att formas av genombrott inom algoritmer och modelldesign utan också av vår förmåga att övervinna de enorma tekniska och ekonomiska hinder som följer med skalningen av AI-system. Företag som kan hantera dessa utmaningar på ett effektivt sätt kommer sannolikt att bli ledande i nästa fas av AI-revolutionen.

(Bild från Igor Omilaev)

Vill du lära dig mer om AI och big data från branschledare? Kolla in AI & Big Data Expo som äger rum i Amsterdam, Kalifornien och London. Det omfattande evenemanget är samlokaliserat med andra ledande evenemang, bland annat Konferens om intelligent automation, BlockX, Veckan för digital omvandling, och Cybersäkerhet & Cloud Expo.

Utforska andra kommande evenemang och webbseminarier om företagsteknik som drivs av TechForge här.

Taggar: ,





Source link