Levná a efektivní AI architektura: skládej nástroje, nestav monolit

V Synthě má AI chat přístup k datům z Helios ERP, vlastním scraperům sledujícím konkurenci i analytice z GA4 a Microsoft Clarity. První verze, kterou jsme zkoušeli, dávala modelu přístup ke všem třem zdrojům najednou — jeden velký systémový prompt se třemi schématy databází, jeden model, který si měl poradit se vším.

Fungovalo to, ale draze a nespolehlivě. Každý dotaz — i ten nejjednodušší, třeba „kolik jsme prodali kusů minulý týden“ — zaplatil tokeny za schémata všech tří zdrojů, i když se týkal jen jednoho. A čím víc nástrojů a kontextu model dostal najednou, tím častěji si spletl, který nástroj použít, nebo si vymyslel sloupec, který v databázi vůbec není.

Přestavěli jsme to na sadu malých, úzce zaměřených nástrojů — jeden pro Helios, jeden pro scraper data, jeden pro analytiku — každý s vlastním malým schématem a jasně daným úkolem. Nad nimi běží lehký router, který jen rozhodne, který nástroj dotaz potřebuje, a teprve poté se zavolá model se schématem toho jednoho zdroje.

Důležité je, že se nenapojí všechny zdroje najednou. Router si dotaz nejdřív rozebere a sestaví vlastní plán — roadmap toho, co je potřeba se kterého nástroje zeptat. Podle konkrétních slov v dotazu (třeba „top 10“, „včera“, „jen kategorie XYZ“) předem určí filtry a limity, které ke každému nástroji pošle, takže pamětí a kontextem projde jen to, co je pro odpověď skutečně potřeba. Rozhoduje se podle hierarchického stromu — nejdřív se určí oblast dotazu, pak uvnitř ní konkrétní nástroj a s jakými parametry, a teprve nakonec se zavolá.

Výsledek: běžný dotaz je výrazně levnější, protože platíte jen za kontext, který skutečně potřebujete. A je i spolehlivější — malý nástroj s jedním jasným úkolem je snazší otestovat, logovat a opravit, než jeden model se vším přístupem najednou.