Chatbot của Deepseek, người đã giới thiệu với dòng hấp dẫn "Hi, tôi được tạo ra để bạn có thể hỏi bất cứ điều gì và nhận được câu trả lời thậm chí có thể làm bạn ngạc nhiên", đã nhanh chóng nổi lên như một đối thủ cạnh tranh đáng gờm trên thị trường AI. Tác động của nó rất quan trọng đến nỗi nó đã dẫn đến một trong những mức giá cổ phiếu lớn nhất của Nvidia. Thành tích này bắt nguồn từ cách tiếp cận sáng tạo của Deepseek đối với kiến ​​trúc và phương pháp đào tạo mô hình AI.

Mô hình của Deepseek nổi bật do sử dụng một số công nghệ tiên tiến. Đầu tiên là dự đoán đa điểm (MTP) , trong đó mô hình dự đoán nhiều từ cùng một lúc bằng cách phân tích các phần khác nhau của câu. Điều này không chỉ cải thiện độ chính xác mà còn tăng cường hiệu quả. Một tính năng quan trọng khác là hỗn hợp kiến ​​trúc chuyên gia (MOE) , sử dụng 256 mạng thần kinh, kích hoạt tám mạng cho mỗi nhiệm vụ xử lý mã thông báo. Điều này tăng tốc đào tạo và tăng hiệu suất. Cuối cùng, sự chú ý tiềm ẩn đa đầu (MLA) tập trung vào các phần quan trọng của câu, liên tục trích xuất các chi tiết chính để nắm bắt các sắc thái quan trọng trong dữ liệu đầu vào.

Hình ảnh: Ensigame.com

Deepseek, một công ty khởi nghiệp nổi bật của Trung Quốc, tuyên bố đã phát triển mô hình AI cạnh tranh này với chi phí tối thiểu. Họ nói rằng họ chỉ chi 6 triệu đô la cho việc đào tạo Deepseek V3, chỉ sử dụng 2048 bộ xử lý đồ họa. Tuy nhiên, các nhà phân tích từ Semianalysis đã phát hiện ra rằng Deepseek vận hành một cơ sở hạ tầng tính toán rộng lớn, bao gồm khoảng 50.000 GPU phễu NVIDIA, bao gồm 10.000 đơn vị H800, 10.000 H100 và GPU H20 bổ sung. Các tài nguyên này được trải rộng trên nhiều trung tâm dữ liệu và được sử dụng để đào tạo, nghiên cứu và mô hình tài chính AI.

Hình ảnh: Ensigame.com

Tổng số tiền đầu tư của công ty vào các máy chủ là khoảng 1,6 tỷ đô la, với chi phí hoạt động ước tính khoảng 944 triệu đô la. Deepseek là một công ty con của Quỹ phòng hộ Trung Quốc Flyer, công ty khởi nghiệp vào năm 2023 để tập trung vào các công nghệ AI. Không giống như hầu hết các công ty khởi nghiệp, Deepseek sở hữu các trung tâm dữ liệu của mình, cho phép kiểm soát hoàn toàn đối với tối ưu hóa mô hình AI và triển khai đổi mới nhanh hơn. Công ty vẫn tự tài trợ, tăng cường tính linh hoạt và tốc độ ra quyết định.

Hình ảnh: Ensigame.com

Hơn nữa, Deepseek thu hút tài năng hàng đầu từ các trường đại học hàng đầu Trung Quốc, với một số nhà nghiên cứu kiếm được hơn 1,3 triệu đô la hàng năm. Mặc dù công ty yêu cầu chi tiêu chỉ 6 triệu đô la cho đào tạo, con số này chỉ chiếm mức sử dụng GPU trong quá trình đào tạo trước và loại trừ chi phí nghiên cứu, tinh chỉnh mô hình, xử lý dữ liệu và chi phí cơ sở hạ tầng. Kể từ khi thành lập, Deepseek đã đầu tư hơn 500 triệu đô la vào phát triển AI. Cấu trúc nhỏ gọn của nó cho phép nó thực hiện các đổi mới AI một cách tích cực và hiệu quả.

Hình ảnh: Ensigame.com

Ví dụ của Deepseek chứng minh rằng một công ty AI độc lập, được tài trợ tốt có thể cạnh tranh với các nhà lãnh đạo trong ngành. Tuy nhiên, các chuyên gia lưu ý rằng thành công của công ty là do các khoản đầu tư đáng kể, đột phá kỹ thuật và một nhóm mạnh mẽ, thay vì "ngân sách cách mạng" để phát triển các mô hình AI. Mặc dù vậy, chi phí của Deepseek vẫn thấp hơn so với các đối thủ cạnh tranh; Chẳng hạn, trong khi Deepseek đã chi 5 triệu đô la cho R1, TATGPT4O có giá 100 triệu đô la để đào tạo.