Asennamme avoimen lähdekoodin kielimallit (Llama, Mistral, Poro) organisaatiosi omalle palvelimelle tai privaatille pilvelle. Datasuvereniteetti, GDPR, EU AI Act — kaikki kunnossa, eikä yksikään tavu poistu hallinnastasi.
Cloud-LLM:t (OpenAI, Anthropic) ovat erinomaisia yleiskäyttöön. Mutta jotkin tilanteet edellyttävät että data ei poistu omasta hallinnasta — silloin paikallinen on ainoa vaihtoehto.
Promptit, vastaukset, käyttäjätiedot — kaikki pysyy omilla palvelimilla. Ei sopimusta amerikkalaisen pilven kanssa, ei US CLOUD Act -riskiä.
Henkilötiedot eivät siirry EU:n ulkopuolelle. AI Actin korkean riskin käyttötapauksiin (terveys, finanssi, oikeudellinen) suora yhteensopivuus.
Avoimen lähdekoodin mallit (Llama, Mistral, Qwen, Poro). Voit vaihtaa mallia, finetunaa omaa, ei riippuvuutta yhdestä toimittajasta.
Suuressa volyymissa per-token-laskutus on kallista. Oma palvelin = kiinteä kk-kulu, ei laskuyllätyksiä.
Lääketieteelliset asiakirjat, lakiteksti, oma sisäinen käsitteistö — finetune oman aineiston päälle ilman että data vuotaa.
Suljetut verkot, kenttätyöskentely, korkean turvallisuuden ympäristöt — malli toimii myös offline.
Kypsät, tuotannossa todistautuneet open source -työkalut. Ei räätälöityä prototyyppiä jota kukaan ei osaa ylläpitää.
Mallin ajoympäristö. Ollama nopeaan käyttöönottoon, vLLM korkean throughputin tarpeisiin, llama.cpp CPU-only-tilanteisiin.
InferenceKäyttöliittymä loppukäyttäjille. ChatGPT-tyyppinen kokemus, mutta data pysyy omalla palvelimella.
UIOma tietopohja: lataa dokumentit, embedataan paikallisesti, vektorihaku PostgreSQL:llä.
RAGStack tarjoaa OpenAI-rajapinnan — sovelluksesi voivat puhua paikalliselle mallille kuin se olisi OpenAI.
IntegraatiotProvider-abstraktion (BYO-LLM) ansiosta sama Tekojärki-alusta voi käyttää paikallista mallia OpenAI:n sijaan.
Voice + chatToken-käytön seuranta, latenssimittarit, audit log -vaatimukset — kaikki samalla stackillä, ei kolmannen osapuolen analytiikkaa.
ObservabilityMallin valinta riippuu käyttötapauksesta ja saatavissa olevasta GPU-kapasiteetista. Autamme valitsemaan oikean.
Meta. Yleiskäyttöinen huippumalli, GPT-4o -tasoinen suomeksi useissa tehtävissä. Ensisijainen suositus jos GPU-budjetti riittää.
Pienemmät mallit yhdelle GPU:lle (RTX 4090, A10). Sopii useimpiin chat- ja RAG-tehtäviin. Hyvä testattava ennen 70B:tä.
Eurooppalainen vaihtoehto Llamalle. Toimii erinomaisesti suomeksi ja muilla EU-kielillä. Lisenssi sallii kaupallisen käytön.
Suomeksi kotimaisesti finetunattu. Erityisen hyvä jos käyttötapauksessa tarvitaan suomenkielisten erityispiirteiden ymmärtämistä.
Alibaba. Vahva tool-call-tuki ja koodaus. Hyvä vaihtoehto kun tarvitaan agenttikäyttötapauksia paikallisesti.
RAG-haku ilman cloudia. Toimii suomeksi, sopii lähes mille tahansa GPU:lle (myös CPU-only mahdollista).
Hyvä lähtökohta: pilvi-LLM tuotantoon, paikallinen vaihtoehtona kun compliance- tai datasuvereniteetti-vaatimukset vaativat sitä.
Maksuton 30 minuutin keskustelu, jossa käymme läpi datavaatimukset, käyttötapaukset ja realistiset vaihtoehdot. Saat suosituksen ilman myyntipuhetta.