Open models, lokale AI en privacy

In dit deel wordt onderzocht hoe AI-agenten in Rust kunnen communiceren met lokale modellen zonder HTTP-socket, via stdin/stdout. De auteur gebruikt DwarfStar, een lokale inferentie-engine voor DeepSeek V4 Flash en PRO, die naast HTTP ook directe procesaansturing ondersteunt.

Een gids op MarkTechPost vergelijkt de beste lokale LLM's die draaien op een enkele 24GB GPU in 2026, waaronder Qwen3.6-27B, Gemma 4 26B, Mistral Small 3.2 24B en DeepSeek-R1-Distill-Qwen-32B. Het artikel legt uit hoe VRAM wordt verbruikt door modelgewichten, KV-cache en runtime overhead, en adviseert Q4_K_M kwantisatie als standaardbalans. Modellen zoals GLM-5.2 en DeepSeek V4 passen niet op een enkele 24GB kaart en vereisen multi-GPU opstellingen.

Alibaba heeft Qwen 3.8 onthuld, een multimodaal AI-model met 2,4 biljoen parameters dat volgens het Qwen-team alleen onderdoet voor Fable 5. Het model is nu beschikbaar via een preview tegen 10% van de standaardprijs, en open-gewicht versies volgen binnenkort. De lancering is mede gericht op het ondermijnen van de momentum van Kimi K3.

Het Britse AI Security Institute (AISI) waarschuwt dat open-weight modellen zoals GLM-5.2 en DeepSeek V4-Pro nog slechts vier tot zeven maanden achterlopen op gesloten frontier modellen in cybercapaciteiten, een krimp van zes tot tien maanden begin 2025. De veiligheidsmaatregelen op open modellen zijn grotendeels ineffectief, waardoor verdedigers minder tijd hebben om zich voor te bereiden. De kosten voor het uitvoeren van open modellen zijn aanzienlijk lager dan die van gesloten modellen.

Kimi K3 biedt ondernemingen een open model met 2,8 biljoen parameters. Voor Amerikaanse bedrijven is de beslissing om het te gebruiken ingewikkeld.

Het Chinese Moonshot AI heeft versie 3 van Kimi uitgebracht, een open weights-model dat volgens het bedrijf presteert op het niveau van de beste modellen van ChatGPT en Claude. De aankondiging op de World AI Conference in Shanghai leidde tot een koersdaling van 25% bij concurrent Zhipu. Kimi K3 is het eerste open 3T-klasse model, gericht op langetermijncodering en redenering. President Xi Jinping riep tijdens de conferentie op tot internationale open innovatie met VN-toezicht.

Moonshot AI heeft Kimi K3 gelanceerd, een open model met 2,8 biljoen parameters en een contextlengte van 1 miljoen tokens. Het model presteert op het niveau van Opus 4.8 en GPT-5.5, maar blijft achter bij Claude Fable 5 en GPT-5.6 Sol. Kimi K3 behaalde de eerste plaats in de Frontend Code Arena van Arena en wordt geprezen om zijn prestaties in codeergeneratie. De open-weights-versie komt beschikbaar op 27 juli 2026.

AssemblyAI maakt zijn spraakherkenningsmodellen beschikbaar voor zelfhosting op eigen infrastructuur, zowel in de cloud als on-premises. Hiermee kunnen organisaties voldoen aan compliance-eisen en data-soevereiniteit behouden terwijl ze gebruikmaken van dezelfde modellen als de cloud-API. De prijzen zijn sessiegebaseerd zonder extra kosten voor zelfhosting.

Thinking Machines Lab heeft zijn eerste open-weights model genaamd Inkling uitgebracht. Het is een Mixture-of-Experts transformer met 975B totale parameters (41B actief), gelicenseerd onder Apache-2.0, getraind op 45 biljoen tokens tekst, afbeeldingen, audio en video. Het model is niet frontier maar bedoeld als sterke basis voor fine-tuning via het Tinker-platform. Ook wordt Inkling-Small (276B, 12B actief) aangekondigd, maar die moet nog getest worden.

Sakana AI integreert Nvidia's open-source Nemotron-modellen in zijn Fugu-orchestrator, die meerdere taalmodellen dynamisch combineert voor specifieke taken. Het bedrijf stelt dat open modellen alleen concurrerend worden met frontiersystemen wanneer ze gecoördineerd worden ingezet. De aankondiging bevat nog geen specifieke benchmarkresultaten voor de nieuwe combinatie.

Google heeft een stille update uitgebracht voor zijn open AI-model Gemma 4. De update versnelt de prestaties op Nvidia Hopper GPU's met behulp van Flash Attention 4, verhelpt bugs in tool calling en lost problemen met afgekapte antwoorden op. Voor beeldverwerking kunnen gebruikers de 'max_soft_tokens'-parameter verhogen voor scherpere OCR-resultaten.

XAI heeft de broncode van Grok Build openbaar gemaakt onder een Apache 2.0-licentie, nadat bleek dat de CLI-tool bij uitvoering in een map de volledige inhoud naar Google Cloud uploadde. Het bedrijf verwijderde alle opgeslagen gebruikersgegevens en schakelde standaardgegevensopslag uit. De Rust-codebase telt 844.530 regels en bevat onder andere tools die zijn overgenomen van Codex en OpenCode.

Het Duitse onderzoeksconsortium Soofi heeft het voorgetrainde model Soofi S 30B-A3B uitgebracht, een open hybride Mamba-Transformer Mixture-of-Experts-model met 31,6 miljard parameters waarvan er 3,2 miljard per token actief zijn. Het model is getraind op Deutsche Telekom's Industrial AI Cloud in München en behaalt de hoogste geaggregeerde scores voor Engels en Duits onder vergelijkbare open basismodellen. De gewichten zijn beschikbaar op Hugging Face.

Databricks heeft het open-weights Inkling-model van Thinking Machines Lab toegevoegd aan zijn Unity AI Gateway. Het model is geoptimaliseerd voor codeertaken, agentische redenering en multimodale inputs. Dankzij de integratie kunnen enterprise-klanten het model veilig inzetten via Unity AI Gateway.

Het AI-bedrijf Thinking Machines Lab, opgericht door oud-OpenAI CTO Mira Murati, heeft zijn eerste open model Inkling uitgebracht. Het is een mixture-of-experts model met 975 miljard parameters, waarvan er 41 miljard actief zijn per taak. Inkling is open-weight en kan door organisaties worden aangepast via het Tinker-platform. Het model is bedoeld als alternatief voor de one-size-fits-all AI van grote labs zoals OpenAI en Anthropic.

Snowflake AI Research introduceerde op 2 juni 2026 ArcticSwarm, een multi-agent systeem voor hybride deep research in databases en web. Het systeem coördineert tot zestien gespecialiseerde agenten via een Gated Bulletin Board System met drie governance-modi. Een implementatie in Python met Redis en gratis LLM's toont hoe ArcticSwarm lokaal kan worden ingezet.

PrismML heeft Bonsai 27B uitgebracht, een laag-bit representatie van Qwen3.6-27B. Het model is beschikbaar in twee varianten: een ternaire versie van 5,9 GB en een 1-bit versie van 3,9 GB, beide onder Apache 2.0. De ternaire variant behoudt 94,6% van de FP16-prestaties en de 1-bit variant 89,5%. Het model is ontworpen om op laptops en telefoons te draaien met een context van 262K tokens.

Reflection AI, een Amerikaanse startup die open modellen ontwikkelt, heeft een compute-deal ter waarde van $1 miljard gesloten met het Europese AI-infrastructuurbedrijf Nebius. Nebius geeft Reflection toegang tot de nieuwste Nvidia-chips. Het bedrijf, opgericht in 2024 door voormalige Google DeepMind-onderzoekers, heeft inmiddels bijna $2,6 miljard aan financiering opgehaald en wordt gewaardeerd op $8 miljard.

Een data scientist heeft de GPU-energiekosten van acht lokale LLM's gemeten op een enkele RTX 3090. De resultaten tonen dat de kosten per miljoen tokens sterk variëren en niet simpelweg afhangen van het aantal parameters. Vijf modellen zijn goedkoper dan cloud-API's, maar drie duurder, waarbij effectieve doorvoersnelheid de belangrijkste factor is.

Together AI CEO Vipul Ved Prakash stelt dat open-weight AI-modellen essentieel worden voor bedrijven die AI op schaal inzetten. Het tokenverbruik via open-source modellen steeg met 10.000 keer in een jaar. Bedrijven kiezen voor open modellen vanwege lagere kosten, meer controle over data en het vermijden van het delen van bedrijfseigen informatie met closed-source aanbieders. Together AI haalde onlangs $800 miljoen op in een Series C-ronde.

Nous Research, de startup achter de open-source Hermes agent, is in vergevorderde gesprekken voor een nieuwe financieringsronde geleid door Robot Ventures met een minimale investering van $75 miljoen tegen een waardering van $1,5 miljard. Hermes is een AI-agent die lokaal draait en beschikt over ingebouwde vaardigheden zoals webzoekopdrachten, coderen en beeldherkenning. De financiering moet worden gebruikt om de producten van Hermes verder uit te breiden.

Een Duits onderzoeksconsortium heeft het open-source taalmodel Soofi S 30B-A3B uitgebracht, getraind op de cloudinfrastructuur van Deutsche Telekom in München. Het model gebruikt een efficiënte hybride architectuur die slechts een fractie van de 31,6 miljard parameters per token activeert, waardoor de verwerkingssnelheid constant blijft, zelfs bij zeer lange contexten. Met een trainingsdataset die bewust is toegespitst op het Duits, overtreft Soofi S alle volledig open concurrenten op zowel Duitse als Engelse benchmarks.

De AI-race verschuift van het bouwen van steeds grotere modellen naar kosten- en efficiëntiegedreven systemen. Bedrijven stappen massaal over van dure systemen van OpenAI en Anthropic naar slimme open-source modellen die per taak het meest geschikte model kiezen. Open-source modellen worden kwalitatief steeds beter en aanzienlijk goedkoper, en meer dan 85 procent van de Fortune 500 gebruikt inmiddels software om open-source AI te beheren.

Hugging Face CEO Clem Delangue stelt dat open source AI een enorme vlucht neemt. Het platform groeide uit tot een soort GitHub voor AI, gebruikt door de helft van de Fortune 500. Delangue ziet dat bedrijven eerst commerciële API's gebruiken, maar door schaalvergroting overstappen op open source modellen.

Clem Delangue, CEO van Hugging Face, stelt dat open-source AI floreert. Bedrijven stappen massaal over van betaalde AI-API's naar open modellen naarmate de kosten stijgen. Hugging Face is uitgegroeid tot een GitHub voor AI en wordt gebruikt door ongeveer de helft van de Fortune 500. Delangue maakt zich zorgen over de macht van een handvol grote bedrijven.

KDnuggets beschrijft een lokale pijplijn voor videosamenvatting met het SmolVLM2-2.2B-model van Hugging Face. Het model draait op een enkele consumenten-GPU zoals een RTX 3060 en presteert beter dan andere 2B-modellen op videobegrip. De pijplijn extraheert frames, analyseert ze in batches en produceert een gestructureerde JSON-samenvatting met scènebeschrijvingen, tijdsaanduidingen en actiepunten. De aanpak maakt gebruik van een pixel shuffle-techniek voor efficiënte tokenisatie en ondersteunt zowel uniforme als keyframe-sampling.

Google's Gemma-familie van open-weight AI-modellen heeft meer dan 400 miljoen downloads bereikt, mede dankzij de focus op lokale, privacybewuste toepassingen. De nieuwste versie, Gemma 4, introduceert een encoder-vrije multimodale architectuur die tekst, beeld en audio native verwerkt. Daarnaast biedt het model een configureerbare denkmodus en optimalisaties zoals Quantization-Aware Training en Multi-Token Prediction, waardoor het geschikt is voor bescheiden hardware.

Ollama, een ontwikkelplatform voor open-source AI-modellen, heeft 65 miljoen dollar opgehaald in een Series B-ronde geleid door Benchmark. Het platform wordt gebruikt door 8,9 miljoen ontwikkelaars en 85% van de Fortune 500-bedrijven. Ollama wil de financiering gebruiken om hybride inferentie uit te breiden en ondersteuning voor nieuwe open modellen sneller toe te voegen.

Het All India Institute of Medical Sciences (AIIMS) bouwt twee AI-gestuurde klinische applicaties met behulp van MedGemma, Google's open-source AI-model voor medische tekst- en beeldanalyse. De eerste app, Aarogyam, genereert automatisch patiëntsamenvattingen voorafgaand aan consulten, terwijl IndusDerma als AI-assistent voor dermatologie wordt ontwikkeld. MedGemma is open-source en kan binnen de eigen infrastructuur van zorginstellingen draaien, wat controle over patiëntgegevens waarborgt.

Ollama Inc., het grootste AI-platform voor ontwikkelaars van open modellen, heeft $65 miljoen opgehaald in een Series B-ronde onder leiding van Theory Ventures. Het bedrijf wordt maandelijks gebruikt door 8,9 miljoen ontwikkelaars en 85% van de Fortune 500-bedrijven. Ollama stelt ontwikkelaars in staat om AI-modellen lokaal of in de cloud te draaien met één commando.

OpenClaw is een persoonlijke AI-assistent die draait op eigen hardware en lokale Ollama-modellen koppelt aan berichtenapps zoals Telegram en WhatsApp. Het artikel beschrijft de volledige installatie, van het configureren van de contextlengte tot het verbinden van een Telegram-bot en het inschakelen van webzoekopdrachten. Ook wordt uitgelegd hoe OpenClaw headless in Docker kan worden ingezet voor een 24/7 draaiende assistent.

Nvidia en Hugging Face hebben een samenwerking aangekondigd rond open-source modellen voor robots. De samenwerking moet de toegankelijkheid en inzet van fysieke AI bevorderen en tegelijkertijd Nvidia's al sterke positie op dit gebied versterken.

Gemma 4, uitgebracht door Google DeepMind, gebruikt kan worden voor zero-shot lokale documentparsing door PDF-pagina's als afbeeldingen te behandelen. Deze aanpak omzeilt de beperkingen van traditionele tekstextractietools en werkt zowel voor gescande als digitale PDF's. De auteur geeft een complete implementatie met PyMuPDF en Hugging Face, inclusief optimalisaties zoals tweepas-classificatie en denkmodus voor complexe lay-outs.

Tencent heeft Hy3 uitgebracht, een 295B-parameter Mixture-of-Experts-model met 21B actieve parameters. Het model is gelicenseerd onder Apache 2.0 en presteert beter dan vergelijkbare modellen, terwijl het concurreert met flagship open-source modellen met 2-5x meer parameters. Hy3 is beschikbaar op Hugging Face en gratis te gebruiken op OpenRouter tot 21 juli.

OpenCode is een open-source AI-codingagent waarmee je kostbare AI-modellen gratis kunt gebruiken. De gids legt uit hoe je via verschillende bronnen zoals Zen, Gemini, OpenRouter en Ollama gratis AI-modellen kunt inzetten. Het artikel bevat praktische tips, installatie-instructies en trucs om quotabeperkingen te omzeilen.

Synthetic Sciences heeft OpenScience uitgebracht, een open-source AI-werkbank voor machine learning, biologie, natuurkunde en scheikunde, gelicentieerd onder Apache 2.0. Het wordt gepresenteerd als een open alternatief voor Anthropics Claude Science. OpenScience ondersteunt elk model, waaronder Claude, GPT, Gemini en DeepSeek, en biedt meer dan 250 bewerkbare vaardigheden en toegang tot wetenschappelijke databases. De tool draait op eigen infrastructuur en gebruikt eigen API-sleutels, waardoor data lokaal blijft.

Mistral-oprichter Arthur Mensch waarschuwt bedrijven tegen afhankelijkheid van gesloten AI-modellen. Volgens Mensch slaan AI-labs steeds meer klantgegevens op en gebruiken die soms om klanten te beconcurreren. Hij adviseert bedrijven open systemen te gebruiken en eigen modellen te bouwen. Mistral zelf kan niet concurreren met topmodellen van OpenAI of Anthropic en mikt op Europese soevereiniteit als strategisch voordeel.

Een lokale installatie van het open-source taalmodel Qwen 3 8B op een MacBook Air wordt stap voor stap uitgelegd. De tutorial toont hoe Ollama het proces vereenvoudigt en bespreekt de balans tussen prestaties en privacy. Ook de beperkingen, zoals de noodzaak van dure hardware, komen aan bod.

In 2026 is het mogelijk om een volledig functionele AI-assistent te draaien op een Raspberry Pi 5 voor ongeveer 80 dollar, volledig offline en zonder dat er gegevens naar servers worden gestuurd. De gids beschrijft de benodigde hardware (Raspberry Pi 5 met minstens 8 GB RAM, actieve koeling, 27-watt voeding en NVMe SSD), de software (Ollama) en welke modellen het beste werken, zoals Gemma 3 1B voor snelheid en Qwen3 4B voor kwaliteit. Het is een praktisch project dat een privé, altijd-beschikbare assistent oplevert voor lichte taken.

Mistral AI heeft Leanstral 1.5 gelanceerd, een code-agentmodel voor Lean 4 dat 587 van de 672 PutnamBench-problemen oplost. Het model is open-source onder Apache 2.0 en heeft een gratis API-endpoint. Leanstral 1.5 behaalt nieuwe state-of-the-art resultaten op de FATE-H en FATE-X benchmarks en verslaat Opus 4.6 op FLTEval tegen een fractie van de kosten.

Current AI, een non-profit opgericht tijdens de AI Action Summit in Parijs in februari 2025 met $400 miljoen aan financiering, heeft de Gap Map v0.1 gelanceerd. Deze indexeert de huidige staat van open-source AI met 421 producten, waaronder 266 softwaretools, 85 modellen, 50 datasets en 20 hardwareprojecten van 228 organisaties. De bijbehorende data is beschikbaar onder een MIT-licentie op GitHub en kan worden verkend met Datasette Lite.

Interfaze, een YC-startup, heeft diffusion-gemma-asr-small uitgebracht, een open-source spraakherkenningsmodel dat gebruikmaakt van een diffusiedecoder. Het model kan zes talen transcriberen met één adapter van ongeveer 42M parameters, bovenop een bevroren backbone van 26B parameters. Het is het eerste open-source meertalige diffusie-ASR-model en presteert beter dan andere diffusiemodellen op LibriSpeech met een WER van 6,6%, maar blijft achter bij autoregressieve Whisper. De adapter wordt gedistribueerd onder Apache-2.0, terwijl DiffusionGemma en whisper-small apart geladen worden.

Het artikel legt aan de hand van het open-source model t0-alpha uit hoe tijdreeks-LLM's werken. t0-alpha is een 102M-parameter probabilistische voorspeller die sequenties in patches opdeelt en via een causaal transformer quantielen voorspelt. Op de GIFT-Eval benchmark scoort het model CRPS 0,4941 en MASE 0,7240, waarmee het alle klassieke baselines verslaat. De analyse toont aan dat kleine open modellen inmiddels competitief zijn met veel grotere systemen.

Je een volledig lokale AI-codebeoordelingspijplijn bouwt met GitLab CI/CD, LangGraph, Ollama en Qwen3-Coder-30B, zonder code naar de cloud te sturen. De pijplijn draait binnen het bedrijfsnetwerk en wordt getoond met een test die vier Python-anti-patronen detecteert.

Amerikaanse en Chinese AI-onderzoekers waarschuwen dat de groei van kunstmatige intelligentie zonder wereldwijde samenwerking kan leiden tot een catastrofe, vergelijkbaar met een Tsjernobyl-moment. Ze vrezen onder meer massale werkloosheid, cybersecurityrisico's en misbruik van opensourcemodellen. Techbedrijven zoals Anthropic houden krachtige software achterwege uit angst voor misbruik.

Proton heeft een grote update uitgebracht voor zijn privacyvriendelijke chatbot Lumo, die nu afbeeldingen kan genereren, herkennen, analyseren en bewerken. De update, Lumo 2.0, introduceert ook een nieuwe denkmodus voor complexere taken. Proton gebruikt zero-access-encryptie om de privacy van gebruikers te waarborgen.

Together AI heeft $800 miljoen opgehaald in een Series C-financieringsronde. Het bedrijf wil met de investering de overgang naar open-source AI versnellen en zijn full-stack AI-platform verder uitbouwen. Investeerders zijn onder andere Aramco Ventures, NVIDIA en Vista Equity.

Ahmad Osman, oprichter van Osmantic, stelt dat open-source LLM's de kloof met propriëtaire modellen snel dichten. Tijdens zijn workshops op de AI Engineer World's Fair demonstreerde hij dat lokale AI op laptops en werkstations steeds capabeler wordt. Volgens Osman moeten gebruikers niet alleen naar het model kijken, maar ook naar de infrastructuur, zoals zoekmogelijkheden en tools, die bij hosted agents inbegrepen zijn.

OpenClaw, de gratis open source AI-agent, is nu beschikbaar als app op Android en iOS. Gebruikers kunnen hun telefoon koppelen aan de OpenClaw Gateway om agenten vanuit hun broekzak te laten werken. De agent wordt gebruikt voor uiteenlopende taken zoals coderen en maaltijdplanning.

Ontwikkelaars met Qwen3.6-35B-A3B en het Model Context Protocol (MCP) lokale AI-agenten kunnen bouwen die tools zoals GitHub en bestandssystemen kunnen aansturen zonder maatwerkcode. Het beschrijft de architectuur van Qwen3.6, het opzetten van een lokale inferentieserver en het implementeren van een GitHub-ontwikkelaarsassistent die issues leest, code doorzoekt en pull-requests aanmaakt. Het MCP-protocol maakt herbruikbare tooldefinities mogelijk die door elke MCP-compatibele client of model kunnen worden gebruikt.