LuboMalé jazykové modely (Small Language Models/SLM) jsou fascinující téma. Zejména v současné době. V mnoha případech jsou malé modely lepší volbou než obří modely, protože je možné je spouštět bez drahého hardwaru nebo přístupu do cloudu.
Na rozdíl od velkých jazykových modelů (LLM), které vyžadují výkonné GPU, spoustu paměti a potřebují hodně energie pro trénování i používání, mohou malé modely běžet na běžných procesorech, starších serverech, chytrých telefonech a na systémech s omezeným výkonem i pamětí.
To znamená, že firmy nemusí platit za cloudové služby ani drahé servery s grafickými kartami. Což je skvělé nejen z hlediska nákladů, ale také soukromí a bezpečnosti dat.
Jak malé jsou malé jazykové modely?
- SLM mají obvykle miliony až několik miliard parametrů. Trénují se na menších datech a specializují se na konkrétní obor nebo úkoly.
- LLM obsahují miliardy až biliony parametrů. Díky tomu jsou univerzálnější a ví toho víc.
Samozřejmě, malé modely nejsou tak chytré jako jejich obří bratři. Nerozumí světu tak obecně jako velké modely a jejich znalostní základ je menší.
Naštěstí se to dá vyřešit např. pomocí RAG (Retrieval Augmented Generation). Tento přístup malému modelu „podstrčí“ externí znalosti, které model neměl v základu a nemusely být přímo natrénované.
V některých případech stačí dobře připravený úvodní prompt a dovednosti agenta (skills), aniž byste k tomu vůbec potřebovali RAG.
Pro konkrétní úkoly a jasně definované případy užití jsou malé modely naprosto ideální.
Malé modely v praxi
V LovelyData jsme vytvořili několik datových aplikací, které běží v kontejnerech na minimálním hardwaru. I s malými modely řeší skutečné problémy, aniž by se spoléhaly na cloudové služby nebo komplikovanou infrastrukturu.
Například tento článek je ukázkou práce s malými modely a lokální AI.
- Článek vznikl jako několik nahrávek na chytrém telefonu.
- Tyto nahrávky byly přepsány do textu pomocí malého lokálního AI modelu, běžícím pouze na procesoru.
- Pak následovalo několik kol slovního ping-pongu mezi autorem článku a dalším modelem, který běží na naší firemní síti.
Závěrem
V mnoha případech nepotřebujete AI model, který je velký, univerzální a ví všechno. Díky tomu ani nepotřebujete velký rozpočet.
Začněte jednoduchým modelem zaměřeným na konkrétní úlohu. Otestovat ho můžete lokálně, aniž byste posílali data do cloudu.