Před několika měsíci byla hlavní otázka, jestli mohou otevřené AI modely konkurovat komerčním modelům. Myšleno hlavně těm americkým. Obecný konsenzus byl, že určitě ne a pokud k tomu někdy dojde, tak nejdříve za pár let. Největší optimisté tvrdili, že možná do jednoho roku.

Taková diskuze je dnes už zbytečná. Jednak se v posledních dnech a týdnech objevily nové čínské modely, které se v žebříčcích umisťují na předních místech. Kimi K3 je dokonce první otevřený model, který se dostal úplně do čela pomyslného žebříčku.

A za druhé se už (konečně) prosadil pragmatický přístup k umělé inteligenci. V něm nejde o to, zda jsou otevřené modely dost dobré, ale o to, jak je efektivně provozovat v praxi.

Analýza Mozilly odhaluje zásadní posun v ekosystému AI. Je to hodně zajímavé čtení. Zatímco technologická propast mezi uzavřenými a otevřenými modely se téměř smazala, jiné bariéry zůstávají.

Už to není o velikosti

Zapomeňte na různá porovnání a benchmarky. Otevřené modely jsou v mnoha oblastech srovnatelné s nejlepšími uzavřenými systémy.

Ano, stále existují rozdíly, kde uzavřené modely drží mírný náskok, např. v komplexním uvažování nebo agentických úlohách (str. 8).

Ale výběr modelu už není otázkou kvality, jako spíš o hledání optimálního nástroje pro konkrétní práci a za optimální cenu.

Dlouhá cesta do produkce

Zde je zatím asi největší bolest současné AI implementace. Vývojáři nemají problém s testováním a používáním otevřených modelů. Horší to je s uvedením do produkce. Zejména ve velkých společnostech to trochu „drhne“.

Report Mozilly vyjmenovává tzv. operační mezeru (str. 15), kterou podniky vnímají jako hlavní překážku. Je nutné dodat, že často neprávem. Ekosystém AI se rozvíjí rychle a je obtížné mít přehled o všech dostupných modelech a nástrojích. Není proto překvapením, že firmy raději sáhnou po uceleném řešení, nabízené důvěryhodným poskytovatelem.

Platí jednoduché pravidlo: čím větší firma, tím spíš bude používat uzavřené modely (str. 17).

Od pronájmu k vlastnictví

Zajímavým zjištěním je kolaps „měřeného“ modelu u velkých hráčů. Tedy platby za spotřebované tokeny. Příklady firem jako Microsoft nebo Uber ukazují, že tento způsob účtování je při velké spotřebě drahý a těžko ospravedlnitelný (str. 26).

Díky tomu se do popředí dostává zájem o vlastnictví modelů a to hned z několika důvodů:

Aktuální model, který z pochopitelných důvodů preferují všichni velcí poskytovatelé uzavřených modelů, je totiž značně nepředvídatelný. Poskytovatel může měnit ceník v podstatě kdykoliv, může měnit parametry přístupu (denní/měsíční limity), může měnit nastavení modelů a také může omezit nebo rovnou zakázat přístup.

Je to tedy poskytovatel, a ne zákazník, který má situaci pod kontrolou. Pro mnoho firemních zákazníků představuje takový typ služby vysoké riziko.

Závěr je jasný: Když je nástroj (AI model) důležitý pro fungování firmy, je strategičtější vlastnit infrastrukturu na které se provozuje, než si ji pronajímat (str. 26).

Levnější a bezpečnější

Ekonomická realita je neúprosná. Názorně to ukazuje platforma OpenRouter, která měří spotřebu tokenů podle jednotlivých modelů.

Žebříček spotřebovaných tokenů jasně ukazuje, že uživatelé preferují otevřené a levnější modely (str. 11 a 27).

Pokud si má někdo vybrat mezi cenou 0,3 dolaru anebo 25 dolarů za milion tokenů, mnoho uživatelů si zvolí levnější model, který je navíc často neomezuje různými denními nebo týdenními limity.

Dalším důvodem výběru otevřených modelů je bezpečnost. Tyto modely je možné používat na vlastní infrastruktuře, v případě malých jazykových modelů dokonce i na serverech s méně výkonnými GPU, lokálně na PC uživatelů nebo na mobilních telefonech.

Připomíná to něco, co tu už bylo

Přístup dnešních společností, které provozují největší uzavřené modely, v mnohém připomíná zlaté časy cloud computingu.

Sliby nízkých vstupních nákladů a eliminace podnikových administrátorů zněly lákavě. Časem se ukázalo, že takový model rozhodně není nejlepší variantou pro všechny. A zdaleka ne vždy variantou nejlevnější nebo nejbezpečnější (str. 44).

AI Strategie

Vyzrálost otevřených AI modelů znamená pro firmy změnu priorit.

Strategie už není zaměřena na hledání „nejchytřejšího“ modelu, který zvládne vše, ale na budování robustní provozní vrstvy, která může používat více modelů podle typu činnosti.

Navíc se ukazuje, že model sám o sobě není to hlavní. Důležitá jsou vstupní data, mantinely (harness), které modelu nastavíte nebo třeba rychlost zpracování (TPS).

Úspěšná implementace AI nebude ta, která používá nejlepší model, ale ta, která dokáže otevřené modely nejefektivněji integrovat, zabezpečit a provozovat s předvídatelnými náklady.