Zaskakująco niedrogi model AI Deepseek wyzwala gigantów branżowych. Firma twierdzi, że przeszkoliła swoją potężną sieć neuronową Deepseek V3 za zaledwie 6 milionów dolarów za pomocą tylko 2048 GPU, znacznie podcinając konkurentów. Jednak liczba ta jest myląca.
Obraz: engame.com
DeepSeek V3 wykorzystuje innowacyjne technologie: Prognozowanie wielofunkcyjne (MTP) w celu zwiększenia dokładności i wydajności; Mieszanka ekspertów (MOE) , wykorzystująca 256 sieci neuronowych, w celu przyspieszenia szkolenia i poprawy wydajności; oraz Wielowłótniego ukrytą uwagę (MLA) Aby skupić się na kluczowych elementach zdań, minimalizując utratę informacji.
Obraz: engame.com
W przeciwieństwie do ich początkowego twierdzenia, semianaliza ujawniła rozległą infrastrukturę Deepseek, obejmującą około 50 000 GPU Nvidia Hopper w wielu centrach danych, co stanowi całkowitą inwestycję około 1,6 miliarda dolarów i koszty operacyjne 944 mln USD. Obejmuje to znaczne inwestycje w personel, a niektórzy badacze zarabiają ponad 1,3 miliona dolarów rocznie.
Obraz: engame.com
Deepseek, spółka zależna od High-Flyer, chińskiego funduszu hedgingowego, jest właścicielem swoich centrów danych, zapewniając większą kontrolę i szybszą wdrażanie innowacji. To samowystarczalne podejście przyczynia się do jego zwinności. Liczba 6 milionów dolarów odzwierciedla jedynie koszty GPU przed treningiem, z wyłączeniem badań, udoskonalania, przetwarzania danych i infrastruktury. Rzeczywista inwestycja Deepseek w rozwój AI przekracza 500 milionów dolarów.
Obraz: engame.com
Podczas gdy sukces Deepseek wynika ze znacznych inwestycji, postępów technologicznych i wykwalifikowanego zespołu, jej „przyjazna budżet” narracja jest nadmiernym uproszczeniem. Jednak nawet w przypadku skorygowanych liczb koszty Deepseek wciąż są blade w porównaniu z konkurentami. Na przykład model R1 Deepseek kosztował 5 milionów dolarów, a Chatgpt-4 kosztował 100 milionów dolarów. Wydajność i ukierunkowana struktura firmy pozwala jednak skutecznie konkurować z gigantami branżowymi, pomimo znacznych inwestycji.
