Krok 11

Lokální AI

Co to je

Lokální AI je model na grafické kartě na serveru firmy. Na server se nainstaluje runner, správce ho připojí v AI organizace → Runnery → Přidat AI → Vlastní server s lokální AI (viz Organizace a AI organizace) a ve Směrování určí, které funkce na kartě poběží.

Lokální AI je v levém menu Nastavení → název organizace → Lokální AI. Stav vidí všichni v organizaci, přepínat a měnit nastavení může jen správce organizace. Záložky Nastavení a Logy jsou jen pro správce. Když má organizace víc runnerů s kartou, vybírá se runner vpravo nahoře.

Přehled: režimy karty

Karta dělá vždy jeden režim. Dodané režimy jsou Jeden člověk, Tým, Agent, Přepis a Obrázky a video.

  • Kliknutí na dlaždici kartu přepne. Přepnutí trvá desítky sekund a lokální AI mezitím neodpovídá. Co v novém režimu karta neumí, počká, nebo jde na zálohu podle Směrování; okno to řekne předem.
  • Tužka na dlaždici změní název a ikonu režimu.
  • Přidat režim přidá do přehledu režim z Ladění a měření, nebo vytvoří nový.
  • Uvolnit kartu zastaví engine, třeba pro měření nebo jiný nástroj. Kalendář uvolněnou kartu sám nezapne, zapne ji výběr režimu.

Kalendář

Kalendář režimů říká, kdy má karta který režim, třeba Tým v pracovní době a jindy Agent.

  1. Kliknout na volné místo v týdnu a Přidat blok: dny, od, do a režim karty. Zamčený blok drží svůj režim, ručně jde kartu přepnout až po Odemknout a přepnout.
  2. Výjimky jsou jednorázově jiný režim nebo volno, třeba svátek. Mají přednost před bloky.
  3. Přepínat podle fronty: mimo bloky se karta, která nic nedělá, přepne na režim, ve kterém čekají úlohy.
  4. Uložit kalendář.

Schůzky čekající na přepis se dostanou na řadu i při plné kartě, nejpozději po půl hodině.

Modely

Modely ukazují u každého modelu stav: Stažený (s variantami), Nestažený, nebo Stahuje se s procenty. Odkaz u modelu otevře jeho stránku na Hugging Face.

Vlastní model:

  1. Přidat model z Hugging Face. Lokální AI načte jen textový model ve formátu GGUF, tedy kvantizovanou (zmenšenou) verzi modelu. Její repozitář mívá stejný název s koncovkou -GGUF, například unsloth/Qwen3.8-27B-GGUF. Repozitář s původními vahami přidat nejde.
  2. Napsat část názvu (například qwen 27b) a Hledat: seznam ukáže modely ve formátu GGUF, nejstahovanější první. Nebo vložit název repozitáře či adresu stránky modelu a Načíst varianty. Odkaz Otevřít modely GGUF na Hugging Face otevře seznam se zapnutým filtrem GGUF.
  3. Vybrat variantu. U každé je velikost, co je stažené a místo na disku. Varianta, která se do karty vejde nejlíp, má štítek doporučeno.
  4. Stáhnout. Volba Po stažení rovnou změřit a doladit model hned vyzkouší.

Licence. Modely v katalogu mají licenci Apache 2.0 nebo MIT. Vlastní model jde přidat i s jinou licencí: okno ukáže její název s odkazem a stažení je potřeba potvrdit, potvrzení se zapíše do auditu. U licence, která zakazuje komerční užití, je výrazné upozornění: takový model není pro běžnou práci firmy.

Model s podmínkami. Některé modely autor vydá až po souhlasu s podmínkami. Postup: na stránce modelu na Hugging Face se přihlásit a podmínky odsouhlasit, v nastavení účtu vytvořit token pro čtení a uložit ho na serveru s kartou jako HF_TOKEN.

Modely pro obrázky, video a zvuk přidat nejde, spravuje je onlybrain: běží v jiném enginu s připravenými a vyzkoušenými postupy a samotný soubor modelu by nestačil.

Místo na disku. Pod katalogem jsou Stažené soubory: volné místo na disku serveru, kolik zabírají modely, velikost každého souboru a kdo ho používá. Nepoužívaný model jde smazat.

Ladění a měření

Pro pokročilé, upravovat jen se znalostí věci.

  • Výběr Režim karty ukáže všechny režimy runneru. Přidat režim karty založí nový, Duplikovat zkopíruje model i parametry.
  • U režimu jde zvolit model ze stažených, kontext (až 1 milion tokenů) a počet lidí najednou (až 256), posuvníkem i číslem. Kalkulačka hned počítá, co se do paměti karty vejde. Co se nevejde, uložit nejde.
  • Zobrazit v přehledu: jen režimy v přehledu jde přepnout a dát do kalendáře.
  • Změřit a doladit vyzkouší varianty nastavení a souběh více lidí a nejlepší nastavení uloží. Během měření lokální AI neodpovídá, trvá to několik minut.
  • Zrušit změny vrátí neuložené úpravy, Vrátit dodané hodnoty původní nastavení dodaného režimu.

Úlohy

Úlohy ukazují Fronty podle režimu: co čeká na kartu a v jakém pořadí. Člen vidí fronty a své úlohy. Správce může úlohy posouvat, pozastavit, zrušit nebo přesunout do jiného režimu a má i Historii (úlohy a chaty lokální AI za 30 dní, jen údaje o práci, bez obsahu, s filtrem podle uživatele a režimu).

Nastavení

  • Chování při přepnutí: Dokončit úlohu (karta se přepne po skončení běžící úlohy), nebo Vrátit do fronty a přepnout (úloha se vrátí na své místo ve frontě a spustí se znovu, až bude karta zpět v jejím režimu).
  • Záloha, když je karta v jiném režimu: vypnuto znamená, že funkce směrované na kartu počkají a data neopustí firmu. Zapnuto: jdou na zálohu podle Směrování.
  • Přístup pro vývojářské nástroje (/v1): adresa s rozhraním OpenAI a klíč pro vlastní nástroje. Pro chat a úlohy v onlybrainu potřeba není.

Lokální AI v práci

  • Chat: kde organizace směruje chat na kartu, nabídne chat volbu Lokální AI hned po otevření brainu a pod odpovědí je napsané, která AI odpověděla. Viz Chat v aplikaci.
  • Přepis schůzek: viz Jak nahrát hovor.
  • Procesy: AI chat u procesu umí odpovídat z lokální AI, i u velkých složek.
  • Obrázky a video: v brainu pod Více → Obrázky a video. Zvolit, co vytvořit (obrázek, úprava obrázku z brainu, krátké video), napsat zadání a kliknout na Připravit z brainu. AI načte z brainu, co je produkt a značka, ukáže soubory, ze kterých vychází, a připraví prompt (u videa po záběrech), který jde před spuštěním upravit. Výsledek se uloží do složky v brainu, u role, která jen navrhuje, jako návrh.