Deepseek 's Chatbot은 흥미로운 라인으로 자신을 소개했습니다. "안녕하세요, 나는 당신이 무엇이든 물어보고 당신을 놀라게 할 수있는 답을 얻을 수 있도록 만들어졌습니다."AI 시장에서 강력한 경쟁자로 빠르게 등장했습니다. 그 영향은 매우 중요하여 Nvidia의 가장 큰 주가 하락으로 이어졌습니다. 이 성과는 AI 모델 아키텍처 및 교육 방법에 대한 DeepSeek의 혁신적인 접근 방식에 뿌리를두고 있습니다.

DeepSeek의 모델은 여러 고급 기술을 사용하여 눈에 띄고 있습니다. 첫 번째는 MTP (Multi-Token Prediction) 이며, 여기서 모델은 문장의 다른 부분을 분석하여 여러 단어를 한 번에 예측합니다. 이것은 정확도를 향상시킬뿐만 아니라 효율성을 향상시킵니다. 또 다른 주요 특징은 256 개의 신경망을 사용하는 전문가 (MOE) 아키텍처의 혼합으로 각 토큰 처리 작업에 대해 8 개를 활성화합니다. 이것은 훈련을 가속화하고 성능을 향상시킵니다. 마지막으로, MLA (Multi-Head Prenatent Interetion)는 문장의 중요한 부분에 중점을 두어 입력 데이터의 중요한 뉘앙스를 캡처하기 위해 주요 세부 정보를 반복적으로 추출합니다.

이미지 : ensigame.com

저명한 중국 스타트 업인 Deepseek 은이 경쟁력있는 AI 모델을 최소한으로 개발했다고 주장합니다. 그들은 2048 개의 그래픽 프로세서를 사용하여 Deepseek V3를 훈련시키는 데 6 백만 달러를 지출했다고 말합니다. 그러나 Semianalysis의 분석가들은 DeepSeek이 10,000 H800 단위, 10,000 H100 및 추가 H20 GPU를 포함하여 약 50,000 NVIDIA HOPPER GPU를 포함하는 광대 한 계산 인프라를 운영하고 있음을 밝혀 냈습니다. 이러한 리소스는 여러 데이터 센터에 퍼져 있으며 AI 교육, 연구 및 재무 모델링에 사용됩니다.

이미지 : ensigame.com

회사의 서버에 대한 총 투자는 약 16 억 달러이며 운영 비용은 9 억 9,400 만 달러로 추정됩니다. DeepSeek은 중국 헤지 펀드 하이 플라이어의 자회사로, 2023 년에 AI 기술에 중점을두기 위해 스타트 업을 시작했습니다. 대부분의 신생 기업과 달리 DeepSeek은 데이터 센터를 소유하여 AI 모델 최적화와 더 빠른 혁신 구현을 완전히 제어 할 수 있습니다. 회사는 자체 자금을 유지하여 유연성과 의사 결정 속도를 향상시킵니다.

이미지 : ensigame.com

또한 Deepseek은 중국 최고의 대학에서 최고의 인재를 유치하고 일부 연구자들은 매년 130 만 달러 이상을 벌고 있습니다. 교육에 6 백만 달러를 지출 한 회사의 주장에도 불구하고,이 수치는 사전 훈련 중에 GPU 사용을 차지하며 연구 비용, 모델 개선, 데이터 처리 및 인프라 비용을 제외합니다. DeepSeek은 처음부터 AI 개발에 5 억 달러 이상을 투자했습니다. 소형 구조를 통해 AI 혁신을 적극적이고 효과적으로 구현할 수 있습니다.

이미지 : ensigame.com

DeepSeek의 예는 잘 자금을 지원하고 독립적 인 AI 회사가 업계 리더와 경쟁 할 수 있음을 보여줍니다. 그러나 전문가들은이 회사의 성공은 AI 모델 개발을위한 "혁신적인 예산"보다는 상당한 투자, 기술 혁신 및 강력한 팀 때문이라고 지적합니다. 그럼에도 불구하고 DeepSeek의 비용은 경쟁 업체의 비용보다 저렴합니다. 예를 들어, DeepSeek은 R1에 5 백만 달러를 소비했지만 ChatGpt4o는 훈련하는 데 1 억 달러가 들었습니다.