Deepseek's chatbot, die zich introduceerde met de intrigerende regel "Hallo, ik ben gemaakt zodat je alles kunt vragen en een antwoord kunt krijgen dat je misschien zou kunnen verrassen", is snel naar voren gekomen als een formidabele concurrent in de AI -markt. De impact ervan was zo belangrijk dat het leidde tot een van de grootste aandelenkoersdaling van Nvidia. Deze prestatie is geworteld in Deepseek's innovatieve benadering van AI -modelarchitectuur- en trainingsmethoden.

Het model van Deepseek valt op vanwege het gebruik van verschillende geavanceerde technologieën. De eerste is multi-token voorspelling (MTP) , waarbij het model meerdere woorden tegelijk voorspelt door verschillende delen van een zin te analyseren. Dit verbetert niet alleen de nauwkeurigheid, maar verbetert ook de efficiëntie. Een ander belangrijk kenmerk is de combinatie van experts (MOE) architectuur, die 256 neurale netwerken gebruikt, waarbij acht worden geactiveerd voor elke tokenverwerkingstaak. Dit versnelt de training en stimuleert de prestaties. Ten slotte richt multi-head latent aandacht (MLA) zich op cruciale delen van een zin, die herhaaldelijk belangrijke details extraheert om belangrijke nuances in de invoergegevens vast te leggen.

Afbeelding: ensigame.com

Deepseek, een prominente Chinese startup, beweert dit concurrerende AI -model tegen minimale kosten te hebben ontwikkeld. Ze stellen dat ze slechts $ 6 miljoen hebben uitgegeven aan het trainen van Deepseek V3, met behulp van slechts 2048 grafische processors. Analisten van Semianalysis hebben echter ontdekt dat Deepseek een enorme computationele infrastructuur heeft, bestaande uit ongeveer 50.000 NVIDIA -hopper GPU's, waaronder 10.000 H800 -eenheden, 10.000 H100s en extra H20 GPU's. Deze bronnen zijn verspreid over meerdere datacenters en worden gebruikt voor AI -training, onderzoek en financiële modellering.

Afbeelding: ensigame.com

De totale investering van het bedrijf in servers is ongeveer $ 1,6 miljard, met operationele kosten geschat op $ 944 miljoen. Deepseek is een dochteronderneming van het Chinese hedgefonds High-Flyer, dat in 2023 de startup afspoont om zich te concentreren op AI-technologieën. In tegenstelling tot de meeste startups, bezit Deepseek zijn datacenters, waardoor volledige controle over AI -modeloptimalisatie en snellere innovatie -implementatie mogelijk is. Het bedrijf blijft zelf gefinancierd en verbetert zijn flexibiliteit en besluitvormingssnelheid.

Afbeelding: ensigame.com

Bovendien trekt Deepseek toptalent van toonaangevende Chinese universiteiten, waarbij sommige onderzoekers jaarlijks meer dan $ 1,3 miljoen verdienen. Ondanks de claim van het bedrijf over het uitgeven van slechts $ 6 miljoen aan training, is dit cijfer alleen verantwoordelijk voor GPU-gebruik tijdens pre-training en sluit onderzoekskosten, modelverfijning, gegevensverwerking en infrastructuurkosten uit. Sinds de oprichting heeft Deepseek meer dan $ 500 miljoen geïnvesteerd in AI -ontwikkeling. De compacte structuur stelt het in staat om AI -innovaties actief en effectief te implementeren.

Afbeelding: ensigame.com

Het voorbeeld van Deepseek toont aan dat een goed gefinancierd, onafhankelijk AI-bedrijf kan concurreren met marktleiders. Experts merken echter op dat het succes van het bedrijf te wijten is aan aanzienlijke investeringen, technische doorbraken en een sterk team, in plaats van een "revolutionair budget" voor het ontwikkelen van AI -modellen. Desondanks blijven de kosten van Deepseek lager dan die van zijn concurrenten; Hoewel Deepseek bijvoorbeeld $ 5 miljoen besteedde aan R1, kostte Chatgpt4o $ 100 miljoen om te trainen.