दीपसेक के चैटबॉट, जिसने खुद को पेचीदा लाइन "हाय, मैं बनाया गया था, इसलिए आप कुछ भी पूछ सकते हैं और एक उत्तर प्राप्त कर सकते हैं जो आपको आश्चर्यचकित कर सकता है," जल्दी से एआई बाजार में एक दुर्जेय प्रतियोगी के रूप में उभरा है। इसका प्रभाव इतना महत्वपूर्ण था कि इसने एनवीडिया के सबसे बड़े स्टॉक प्राइस ड्रॉप्स में से एक का नेतृत्व किया। यह उपलब्धि एआई मॉडल वास्तुकला और प्रशिक्षण विधियों के लिए दीपसेक के अभिनव दृष्टिकोण में निहित है।

दीपसेक का मॉडल कई उन्नत प्रौद्योगिकियों के उपयोग के कारण बाहर खड़ा है। पहला बहु-टोकन भविष्यवाणी (एमटीपी) है, जहां मॉडल एक वाक्य के विभिन्न हिस्सों का विश्लेषण करके एक साथ कई शब्दों की भविष्यवाणी करता है। यह न केवल सटीकता में सुधार करता है, बल्कि दक्षता को भी बढ़ाता है। एक अन्य प्रमुख विशेषता विशेषज्ञों (एमओई) आर्किटेक्चर का मिश्रण है, जो 256 तंत्रिका नेटवर्क को नियुक्त करती है, प्रत्येक टोकन प्रसंस्करण कार्य के लिए आठ को सक्रिय करती है। यह प्रशिक्षण को तेज करता है और प्रदर्शन को बढ़ाता है। अंत में, मल्टी-हेड लेटेंट ध्यान (एमएलए) एक वाक्य के महत्वपूर्ण भागों पर ध्यान केंद्रित करता है, इनपुट डेटा में महत्वपूर्ण बारीकियों को पकड़ने के लिए बार-बार महत्वपूर्ण विवरण निकालता है।

चित्र: ensigame.com

दीपसेक, एक प्रमुख चीनी स्टार्टअप, इस प्रतिस्पर्धी एआई मॉडल को न्यूनतम लागत पर विकसित करने का दावा करता है। वे कहते हैं कि उन्होंने केवल 2048 ग्राफिक्स प्रोसेसर का उपयोग करते हुए, दीपसेक वी 3 को प्रशिक्षित करने पर केवल $ 6 मिलियन खर्च किए। हालांकि, सेमियनलिसिस के विश्लेषकों ने खुलासा किया है कि डीपसेक एक विशाल कम्प्यूटेशनल इन्फ्रास्ट्रक्चर का संचालन करता है, जिसमें लगभग 50,000 एनवीडिया हॉपर जीपीयू शामिल हैं, जिसमें 10,000 एच 800 यूनिट, 10,000 एच 100 और अतिरिक्त एच 20 जीपीयू शामिल हैं। ये संसाधन कई डेटा केंद्रों में फैले हुए हैं और एआई प्रशिक्षण, अनुसंधान और वित्तीय मॉडलिंग के लिए उपयोग किए जाते हैं।

चित्र: ensigame.com

सर्वर में कंपनी का कुल निवेश लगभग 1.6 बिलियन डॉलर है, जिसमें परिचालन खर्च $ 944 मिलियन है। दीपसेक चीनी हेज फंड हाई-फ्लाइर की एक सहायक कंपनी है, जो 2023 में एआई टेक्नोलॉजीज पर ध्यान केंद्रित करने के लिए स्टार्टअप को बंद कर देती है। अधिकांश स्टार्टअप्स के विपरीत, डीपसेक अपने डेटा सेंटर का मालिक है, एआई मॉडल अनुकूलन और तेजी से नवाचार कार्यान्वयन पर पूर्ण नियंत्रण की अनुमति देता है। कंपनी स्व-वित्त पोषित है, अपनी लचीलापन और निर्णय लेने की गति को बढ़ाती है।

चित्र: ensigame.com

इसके अलावा, दीपसेक प्रमुख चीनी विश्वविद्यालयों से शीर्ष प्रतिभाओं को आकर्षित करता है, कुछ शोधकर्ताओं ने सालाना 1.3 मिलियन डॉलर से अधिक कमाई। प्रशिक्षण पर सिर्फ $ 6 मिलियन खर्च करने के कंपनी के दावे के बावजूद, यह आंकड़ा केवल पूर्व-प्रशिक्षण के दौरान GPU उपयोग के लिए जिम्मेदार है और अनुसंधान खर्च, मॉडल शोधन, डेटा प्रसंस्करण और बुनियादी ढांचे की लागत को बाहर करता है। अपनी स्थापना के बाद से, दीपसेक ने एआई विकास में $ 500 मिलियन से अधिक का निवेश किया है। इसकी कॉम्पैक्ट संरचना इसे सक्रिय रूप से और प्रभावी ढंग से एआई नवाचारों को लागू करने में सक्षम बनाती है।

चित्र: ensigame.com

दीपसेक का उदाहरण दर्शाता है कि एक अच्छी तरह से वित्त पोषित, स्वतंत्र एआई कंपनी उद्योग के नेताओं के साथ प्रतिस्पर्धा कर सकती है। हालांकि, विशेषज्ञ ध्यान देते हैं कि कंपनी की सफलता एआई मॉडल विकसित करने के लिए "क्रांतिकारी बजट" के बजाय महत्वपूर्ण निवेश, तकनीकी सफलताओं और एक मजबूत टीम के कारण है। इसके बावजूद, डीपसेक की लागत उसके प्रतिद्वंद्वियों की तुलना में कम है; उदाहरण के लिए, जबकि दीपसेक ने R1 पर $ 5 मिलियन खर्च किए, CHATGPT4O को प्रशिक्षित करने के लिए $ 100 मिलियन का खर्च आया।