ALKdev driftar agentytor och chatgränssnitt på egen VPS, nåbara via Cloudflare Tunnel och Access. Stacken är medvetet tråkig på rätt sätt: Docker-tjänster, tydliga gränser, och kontroll över var data och nycklar faktiskt ligger.
Parallellt körs lokal inferens på egen RTX-rigg med 16 GB VRAM — AWQ-kvantiserade modeller via vLLM, med de flaggor som faktiskt fungerar på ny hårdvara. Molnmodeller används när de passar; lokalt när det handlar om kostnad, latens eller att hålla materialet hemma.
Det är samma princip som resten av ALKdev: bygg infrastrukturen så att du äger den, och byt bara bort det som inte behöver vara ditt.