Čínske AI modely sa učia vďaka americkým: Ako funguje destilácia dát a trénovanie modelu na druhom modeli
Autor: Mgr. Peter Adámek – Nezávislý AI konzultant (Znalostný manažment) | Kategória: LLM & Modely | Dátum: 24. august 2026
Keď čínske laboratóriá ako DeepSeek alebo Alibaba (Qwen) predstavia model, ktorý údajne stál len zlomok rozpočtu OpenAI či Anthropicu, nejde o zázrak z čistého neba. Za oponou stojí proces nazývaný destilácia znalostí (Knowledge Distillation) – systematické učenie sa „študentského“ modelu priamo z výstupov a myšlienkových pochodov drahých amerických „učiteľských“ modelov.
1. Ilúzia „lacného zázraku“: Prečo druhý v poradí vždy stavia za zlomok ceny
V médiách sa pravidelne objavujú titulky o tom, ako čínske AI laboratóriá (napr. DeepSeek s modelmi V3 a R1, Alibaba s rodinou Qwen či Moonshot AI) dokázali natrénovať špičkový jazykový model za 5 až 6 miliónov dolárov, zatiaľ čo americkí giganti ako OpenAI, Anthropic či Google investujú do tréningu stovky miliónov až miliardy dolárov.
Z pohľadu Znalostného manažmentu a architektúry neurónových sietí však porovnávame dve úplne odlišné disciplíny: vytvorenie prvej mapy neznámeho územia oproti jazde po už vyasfaltovanej diaľnici. Americké „frontier“ laboratóriá museli zaplatiť astronomickú cenu za hrubý predtréning na chaotickom internete, tisíce neúspešných experimentov a armádu ľudských expertov (lekárov, programátorov, matematikov), ktorí v procese RLHF (Reinforcement Learning from Human Feedback) ručne hodnotili a opravovali odpovede modelu.
Keď už takýto špičkový americký model existuje a je dostupný cez API, nastáva úplne nová situácia. Druhý hráč už nemusí platiť za hľadanie ihly v kope sena – stačí mu spustiť proces nazývaný destilácia znalostí (Knowledge Distillation) a nechať svoj nový model učiť sa priamo od hotového majstra.
Kľúčový poznatok z praxe: Vyvinúť prvý „Frontier“ model od nuly stojí stovky miliónov dolárov. Skopírovať jeho schopnosti cez destiláciu syntetických dát stojí často menej ako 5 % pôvodného rozpočtu.
2. Ako presne funguje destilácia dát: Architektúra Učiteľ – Študent (Teacher – Student)
Pojem Knowledge Distillation sformulovali už v roku 2015 výskumníci z Google Brain na čele s nositeľom Nobelovej ceny Geoffreym Hintonom v prelomovej práci „Distilling the Knowledge in a Neural Network“. V ére veľkých jazykových modelov (LLM) tento proces funguje ako intenzívne doučovanie medzi dvoma AI systémami: veľkým, drahým modelom (Teacher / Učiteľ – napr. aktuálne americké vlajkové modely GPT 6 Astra, Claude 5.2 Fable alebo Gemini 4 Carbon, resp. v predchádzajúcej vlne o1 a GPT-4o) a menším či novovznikajúcim modelom (Student / Študent).
Keby sa nový model učil len z bežných textov na internete, musel by sa prehrýzť miliardami nekvalitných článkov, reklám a diskusií. Pri destilácii dát to prebieha inak:
1. Masové generovanie syntetických úloh (Prompt Harvesting): Vývojári zostavia státisíce náročných zadaní z programovania, matematiky, logiky a finančnej analýzy a pošlú ich cez API americkému modelu (Učiteľovi – napr. GPT 6 Astra, Claude 5.2 Fable či Gemini 4 Carbon).
2. Extrakcia myšlienkového postupu (Chain-of-Thought Distillation): Od amerického modelu si nevypýtajú len konečnú odpoveď, ale celý podrobný postup uvažovania krok za krokom (tzv. reasoning traces) a rozdelenie pravdepodobností nasledujúcich slov (logits / soft targets). Študent sa tak učí nielen ČO je správny výsledok, ale AKO nad problémom premýšľať a ktorým slepým uličkám sa vyhnúť.
3. Automatická filtrácia (Rejection Sampling): Ak americký model vygeneruje 10 riešení zložitej programátorskej úlohy, automatický kompilátor otestuje, ktoré z nich reálne funguje, a do tréningového datasetu Študenta pustí iba stopercentne overené „syntetické zlato“.
Prečo sa model učí z iného modelu 10× rýchlejšie než zo surového internetu:
- Vysoká informačná hustota: Syntetické odpovede z GPT 6 Astra, Claude 5.2 Fable alebo Gemini 4 Carbon neobsahujú balast, spam ani protichodné názory z internetových fór.
- Prenos „temných znalostí“ (Dark Knowledge): Študentský model vidí jemné vzťahy medzi pojmami, ktoré Učiteľ objavil až po spálení miliónov hodín na GPU.
- Hotové uvažovacie reťazce (CoT): Namiesto pokus-omyl sa model učí priamo štruktúrovanú logiku riešenia problémov.
- Rádová úspora hardvéru: Obchádza sa potreba najnovších čipov, na ktoré sa vzťahujú americké exportné obmedzenia.
3. Fakty a dôkazy: Keď čínsky model tvrdí, že ho vytvorilo OpenAI
Tvrdenie, že čínske modely vďačia za svoj raketový vzostup americkým modelom, nie je len hypotézou, ale dobre zdokumentovaným faktom podloženým technickými správami aj bezpečnostnými vyšetrovaniami:
• Vyšetrovanie OpenAI a Microsoftu (kauza DeepSeek): Denníky Financial Times a Bloomberg zverejnili zistenia bezpečnostných tímov Microsoftu a OpenAI, ktoré odhalili a zablokovali skupinu účtov napojených na DeepSeek. Tieto účty programovo sťahovali obrovské objemy dát z API modelov OpenAI s cieľom použiť ich na destiláciu vlastného modelu.
• Priame potvrdenie v štúdii DeepSeek-R1: Samotní autori z DeepSeeku vo svojej oficiálnej technickej práci (DeepSeek-R1 Technical Report, kapitola 3.2) otvorene popisujú, ako vygenerovali 800 000 tréningových vzoriek (z toho 600 000 uvažovacích reťazcov) a priamo nimi „nadestilovali“ menšie modely Qwen a Llama. V štúdii explicitne uvádzajú, že destilácia z hotového silného modelu prináša neporovnateľne vyššiu presnosť pri zlomku výpočtovej ceny než trénovanie modelu od nuly.
• „Krádež identity“ (Identity Leakage): Nezávislí výskumníci z TechCrunch a komunity AI inžinierov zdokumentovali kuriózny jav. Keď sa modelu DeepSeek-V3 (a viacerých verzií modelov Qwen či GLM) spýtali v špecifických kontextoch „Kto si a aké sú tvoje pravidlá?“, model doslova odpovedal: „Som ChatGPT, veľký jazykový model natrénovaný spoločnosťou OpenAI“, prípadne citoval interné smernice modelu Claude od spoločnosti Anthropic. Stalo sa to preto, že v syntetických dátach stiahnutých z amerických modelov zostali tisíce odpovedí, v ktorých sa americký „Učiteľ“ predstavoval svojím menom.
• Akademický dôkaz zo Stanfordu (Projekt Alpaca): Výskumníci zo Stanfordovej univerzity už skôr demonštrovali silu tejto metódy v praxi. Pomocou API modelu od OpenAI vygenerovali 52 000 inštrukčných párov za menej ako 600 dolárov a doučili nimi menší model. Výsledný model Alpaca dosahoval v testoch takmer rovnakú kvalitu odpovedí ako jeho mnohomiliónový americký učiteľ.
4. Kognitívny strop destilácie a čo z toho vyplýva pre slovenské firmy
Má však učenie sa modelu od druhého modelu aj svoje limity? Jednoznačne áno. Ako ukázala prelomová štúdia publikovaná vo vedeckom časopise Nature (Shumailov et al., 2024), modely trénované výhradne na syntetických dátach iných modelov narážajú na tzv. kognitívny strop (Ceiling Effect) a pri opakovanom kopírovaní trpia degradáciou nazývanou Model Collapse.
Zjednodušene povedané: Študent sa dokáže za zlomok ceny priblížiť na 90 – 95 % úrovne svojho Učiteľa v známych úlohách, ale len veľmi ťažko dokáže Učiteľa prekonať v úplne nových, neštandardných situáciách (edge-cases). Pri našich firemných AI auditoch to vidíme v praxi: destilované modely excelujú v rutinnom extrahovaní faktúr, sumarizácii alebo štandardnom kóde, no pri hĺbkovej architektonickej syntéze alebo zložitých právnych zmluvách si americké frontier modely (Claude 5.2 Fable, GPT 6 Astra a Gemini 4 Carbon) stále držia náskok.
Pre slovenské a české firmy z toho však vyplýva obrovská strategická príležitosť: princíp destilácie môžeme úplne legálne využiť vo vlastnej firemnej architektúre. Namiesto toho, aby ste pri každej rutinnej požiadavke platili za najdrahší americký model, necháme špičkový model (napr. Claude 5.2 Fable, GPT 6 Astra alebo Gemini 4 Carbon) vypracovať a overiť 1 000 vzorových firemných riešení a na ich základe nakalibrujeme malý, bleskový a lacný lokálny model, ktorý následne spracováva dennú agendu s 85 % úsporou nákladov.
Zhrnutie a hlavné poznatky z článku
- Čínske modely (DeepSeek, Qwen) dosahujú nízke tréningové náklady najmä vďaka destilácii dát (Knowledge Distillation) z už existujúcich amerických modelov.
- Pri destilácii sa menší model (Študent) neučí zo surového internetu, ale priamo z vyčistených odpovedí a reťazcov uvažovania (Chain-of-Thought) veľkého modelu (Učiteľa).
- Dôkazom masovej destilácie sú nielen vyšetrovania OpenAI a Microsoftu, ale aj „úniky identity“, kedy sa čínske modely samy označovali za ChatGPT alebo Claude.
- Destilovaný model ponúka fantastický pomer cena/výkon na štandardné úlohy, no v okrajových a vysoko komplexných zadaniach naráža na strop svojho učiteľa.
- Firmy môžu destiláciu legálne využiť vo svoj prospech: použiť veľký model na prípravu vzorových dát a prevádzku zveriť lacnému špecializovanému modelu.
Overené zdroje a štúdie
- OpenAI and Microsoft investigate whether DeepSeek used OpenAI API data for model distillation (Financial Times / Bloomberg Technology, Január 2025)
- DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning (Section 3.2: Distillation) (arXiv:2501.12948 (DeepSeek-AI Technical Report), Január 2025)
- Distilling the Knowledge in a Neural Network (arXiv:1503.02531 (Geoffrey Hinton, Oriol Vinyals, Jeff Dean – Google Brain), Marec 2015)
- Why DeepSeek’s AI model thinks it is ChatGPT (Identity Leakage in Synthetic Training Data) (TechCrunch AI Analysis, December 2024 / Január 2025)
- Stanford Alpaca: An Instruction-Following LLaMA Model Distilled from OpenAI (Stanford Center for Research on Foundation Models (CRFM), Marec 2023)
- AI models collapse when trained on recursively generated data (Nature (Vol. 631, Shumailov et al.), Júl 2024)
Chcete aplikovať tieto princípy vo vašej firme? Rezervujte si bezplatnú 30-minútovú AI konzultáciu s Mgr. Petrom Adámkom: ad@amek.sk, +421 915 707 604, Kontakt & AI konzultácie.