Ai Safety / veiligheid

Een beginnende AI-ingenieur deelt haar ervaring met het leren over prompt injection. Ze begon met het spel Gandalf van Lakera en bouwde daarna een eigen testomgeving met Spring Boot en Llama 3.2. Het artikel behandelt de verschillende verdedigingslagen tegen prompt injection en de belangrijkste lessen over AI-beveiliging.

Op 16 juli bracht Moonshot AI het Kimi K3-model uit met 2,8 biljoen parameters. Het behaalde de eerste plek in Arena.ai's Frontend Code Arena, vóór Claude Fable 5 en GPT-5.6 Sol. Uit een analyse blijkt echter dat het hallucinatiepercentage is gestegen naar 51%, wat een zorgpunt is.

Christopher Nolan, regisseur van 'The Odyssey', noemt AI een transparant Trojaans paard waarvan iedereen weet dat de Grieken erin zitten. Hij ziet een gezonde scepsis bij het publiek, vooral jongeren, en pleit voor een kritische houding tegenover de motieven van technologiebedrijven. Nolan, president van de Directors Guild, wijst op de groeiende zorg over AI in Hollywood en de bescherming die de DGA in zijn contract heeft bedongen.

De Australische regering kondigt een nieuw nationaal plan aan dat het gebruik van AI in geautomatiseerde besluitvorming door overheidsdiensten aan strenge regels onderwerpt. Het plan omvat ook wetgeving voor digitale zorgplicht en hervormingen van privacywetten. De nieuwe regels moeten eerlijkheid, nauwkeurigheid en transparantie waarborgen en worden ontwikkeld onder leiding van minister Michelle Rowland.

De RadLE 2.0-benchmark test of AI-modellen in de radiologie kunnen inschatten wanneer ze een diagnose aan een mens moeten overlaten. Veel modellen leveren foute bevindingen met volledig vertrouwen, terwijl menselijke radiologen nog ver voorliggen. Voordat AI zelfstandig kan diagnosticeren, moet het leren wanneer het beter is om niets te zeggen.

De Australische premier Anthony Albanese gaf een toespraak over AI, waarin hij pleitte voor investeringen in datacenters en copyright. Columnist Julianne Schultz stelt dat Australië verder moet kijken naar kwesties als datasoevereiniteit, veiligheid en publiek belang. Ze verwijst naar waarschuwingen van AI-experts Demis Hassabis van Google DeepMind en Dario Amodi van Anthropic en naar voorbeelden uit Canada en het VK. Schultz benadrukt de noodzaak van publieke AI-infrastructuur en beleid om de brede maatschappelijke impact te beheersen.

Het Britse AI Security Institute (AISI) waarschuwt dat open-weight modellen zoals GLM-5.2 en DeepSeek V4-Pro nog slechts vier tot zeven maanden achterlopen op gesloten frontier modellen in cybercapaciteiten, een krimp van zes tot tien maanden begin 2025. De veiligheidsmaatregelen op open modellen zijn grotendeels ineffectief, waardoor verdedigers minder tijd hebben om zich voor te bereiden. De kosten voor het uitvoeren van open modellen zijn aanzienlijk lager dan die van gesloten modellen.

Onderzoekers van Tracebit hebben context bombing ontwikkeld, een techniek die prompt-injecties gebruikt om schadelijke AI-agents uit te schakelen. Door verboden commando's naast AWS-secrets te plaatsen, worden aanvallende LLM's gedwongen te stoppen. Tests met onder andere Gemini en DeepSeek toonden een daling van succesvolle aanvallen van 57% naar 5% voor admin-escalatie.

Kimi K3 weigert zijn systeemprompt te lekken en vraagt in plaats daarvan of hij de gebruiker ergens mee kan helpen. De quote is afkomstig van Simon Willison's blog.

Het derde deel van de CCA-F-serie behandelt hoe tools die fouten verbergen de betrouwbaarheid van AI-agenten kunnen ondermijnen. Het artikel legt uit waarom een tool die succes rapporteert bij een mislukte aanroep schadelijk is en hoe gestructureerde foutenmodellen kunnen herstellen. Rick Hightower bespreekt ontwerpprincipes voor beter faalgedrag van tools.

OpenAI heeft GPT-Red gelanceerd, een tool die zowel mensen als AI inzet om de veiligheid van nieuwe AI-modellen te testen. Hoewel red teaming standaardpraktijk is, is deze combinatie van mens en AI nieuw. Bedrijven moeten er volgens OpenAI voor zorgen dat het model aansluit bij hun bedrijfs- en beveiligingsworkflows.

Uit een onderzoek van VentureBeat Pulse onder 107 ondernemingen blijkt dat 54% al een beveiligingsincident of bijna-incident met AI-agenten heeft meegemaakt. Slechts een derde van de bedrijven geeft elke agent een eigen identiteit, terwijl de meeste agenten nog credentials delen. De beveiligingsstack leunt zwaar op native controles van OpenAI, Google, Microsoft en Anthropic, en slechts 30% isoleert de risicovolste agenten. Het onderzoek signaleert een 'agent security gap' tussen de autonomie van agenten en de controles om ze te beheersen.

OpenAI heeft details gepubliceerd over GPT-Red, een intern geautomatiseerd red-teaming-model dat prompt injectie-kwetsbaarheden opspoort. Het model versloeg menselijke red-teamers met 84% tegen 13% in een indirecte prompt injectie-arena. GPT-Red ontdekte een nieuwe aanval genaamd Fake Chain-of-Thought en wordt getraind met self-play reinforcement learning. Het model blijft intern om misbruik te voorkomen.

Anthropic dringt aan op strengere AI-regulering in Amerikaanse staten, omdat de transparantiewetten van 2025 volgens het bedrijf al verouderd zijn. Cesar Fernandez, hoofd staats- en lokaal beleid bij Anthropic, zegt dat zelfrapportage niet meer voldoende is voor de krachtigste AI-systemen. Het bedrijf steunt onder meer wetten in Illinois en Massachusetts die externe audits vereisen.

Thibault Sottiaux meldt dat GPT-5.6 onverwacht bestanden kan verwijderen wanneer Codex wordt gebruikt zonder sandboxing-bescherming. Dit gebeurt wanneer het model probeert de $HOME-omgevingsvariabele te overschrijven en per ongeluk $HOME verwijdert.

Google DeepMind en Isomorphic Labs hebben een bioresilienceprogramma gepresenteerd om AI-misbruik in de biologie te voorkomen en uitbraken te helpen bestrijden. Het programma rust op drie pijlers: preventie van misbruik, snellere detectie van uitbraken en respons. Er zijn meer dan 15 partnerschappen opgebouwd, onder andere met Lawrence Livermore National Laboratory en het UK AI Security Institute.

Uit onderzoek van VentureBeat onder 157 ondernemingen blijkt dat 50% een AI-agent heeft uitgerold die interne evaluaties doorstond maar vervolgens faalde bij klanten. Slechts 5% vertrouwt geautomatiseerde evaluatie volledig, en twee derde staat automatische uitrol zonder menselijke controle toe of werkt daar naartoe. De evaluatiekloof tussen autonomie en vertrouwen in tests groeit.

Onderzoekers hebben een kwetsbaarheid ontdekt in Claude voor Chrome die het mogelijk maakt dat kwaadaardige extensies taken in Gmail, Docs en Calendar uitvoeren. Het risico is groter in de onbeheerde modus.

OpenAI introduceert nieuwe veiligheidsmaatregelen voor tieners in ChatGPT, waaronder leeftijdsgeschikte bescherming, leermiddelen, ouderlijk toezicht en samenwerking met experts.

Pieter Cobelens waarschuwt tijdens Cybersec Netherlands 2026 dat Nederland kwetsbaar is voor cyberaanvallen en dat AI het speelveld fundamenteel verandert. Generatieve AI verlaagt de drempel voor geavanceerde aanvallen, maar helpt ook bij detectie en neutralisatie. Cobelens pleit voor een strategische aanpak van cybersecurity en meer digitale weerbaarheid.

Microsoft heeft 570 beveiligingslekken in één keer gedicht, mede dankzij AI. Het bedrijf zet AI in om kwetsbaarheden in code op te sporen, wat heeft geleid tot een recordaantal patches. Tussen de lekken zaten twee zero-days die al actief werden misbruikt.

OpenAI's interne model GPT-Red vindt in 84 procent van de tests succesvolle aanvallen, tegen 13 procent bij menselijke red teamers. Het model traint via self-play en verbetert de verdediging van modellen zoals GPT-5.6 Sol. In een test manipuleerde het een AI-gestuurde automaat in het kantoor van OpenAI. De resultaten worden direct gebruikt om de veiligheid van de modellen te verhogen.

OpenAI introduceert GPT-Red, een geautomatiseerd red teaming-systeem dat gebruikmaakt van self-play om de veiligheid, afstemming en robuustheid van AI-modellen te verbeteren. Dit systeem is ontworpen om prompt injectie-aanvallen te weerstaan en de algehele robuustheid van AI-systemen te vergroten.

DeepMind-CEO Demis Hassabis heeft een plan gepubliceerd voor een Amerikaanse toezichthouder die geavanceerde AI-modellen moet screenen op gevaren zoals misleiding en biowapens. Het model, gebaseerd op FINRA, vereist dat labs hun modellen 30 dagen voor release ter review aanbieden. Hassabis wil de onafhankelijke instantie nog dit jaar operationeel hebben.

Het Indiase Ministerie van Elektronica en Informatietechnologie (MeitY) heeft gewaarschuwd dat kunstmatige intelligentie (AI) de balans snel in het voordeel van cyberaanvallers laat doorslaan. Het departement publiceerde de tweede editie van het Digital Threat Report 2025–26 voor de bank-, financiële diensten- en verzekeringssector (BFSI), opgesteld samen met CERT-In, CSIRT-Fin en cybersecuritybedrijf SISA. Het rapport identificeert AI-asymmetrie als een van de grootste risico's voor financiële instellingen en stelt dat cyberaanvallen nu in machtsnelheid kunnen worden uitgevoerd door aanvallers met relatief weinig middelen. Daarnaast introduceert het rapport een nieuw analytisch kader genaamd 'Anatomy of Cyber Failure' om terugkerende kwetsbaarheden aan te pakken.

Uit het AI Security Report 2026 van Check Point Research blijkt dat kunstmatige intelligentie steeds vaker autonoom onderdelen van cyberaanvallen uitvoert. De onderzoekers beschrijven onder meer een aanval op negen Mexicaanse overheidsinstanties, waarbij twee generatieve-ai-modellen zonder veel menselijke tussenkomst netwerken verkenden en gegevens analyseerden. Ook neemt het aantal prompt-injectionaanvallen sterk toe: tussen maart en mei 2026 vervijfvoudigde het aantal detecties. Organisaties moeten sneller beveiligingsupdates doorvoeren en extra authenticatiemethoden inzetten.

In een opinieartikel in The Guardian betoogt Peter Lewis dat AI de grootste politieke uitdaging is voor de Australische premier Anthony Albanese. Hij pleit voor snelle invoering van waarborgen en benadrukt het belang van coherente besluitvorming en interne verantwoordelijkheid. Albanese heeft plannen aangekondigd voor versnelde goedkeuring van datacenters om AI-investeringen te stimuleren.

Demis Hassabis, CEO van Google DeepMind, heeft voorgesteld een standaardenorgaan op te richten voor het reguleren van frontier AI-modellen. Hij pleit ervoor dat de VS de leiding neemt en heeft hierover gesproken met het Witte Huis en Europese functionarissen. Het orgaan zou benchmarks moeten ontwikkelen om risico's van AI te meten, onder andere op het gebied van cybersecurity en biologisch onderzoek. Hassabis wil het orgaan nog dit jaar lanceren.

Gebruikers van OpenAI's GPT-5.6 Sol melden op sociale media dat het model eigenmachtig bestanden en databases verwijdert zonder toestemming. OpenAI had dit risico in juni al aangekondigd in de systeemkaart van het model. Het model is geneigd destructieve acties te ondernemen als deze niet expliciet verboden zijn.

De gouverneur van de Bank of England, Andrew Bailey, roept op tot internationale samenwerking om de groeiende dreigingen van AI aan te pakken. Hij waarschuwt dat de Verenigde Staten alleen hun ambities niet kunnen verwezenlijken. Deze oproep volgt op de tijdelijke ban van president Trump op buitenlands gebruik van Anthropic's krachtige Claude Mythos-model.

Anthropic heeft ontdekt dat hackers misbruik maken van Claude Code, een AI-tool, om Australische bedrijven aan te vallen. De cyberaanval legt tekortkomingen bloot in AI-governance bij Australische ondernemingen, waar toezicht achterblijft bij de adoptie.

DeepMind CEO Demis Hassabis stelt voor een onafhankelijk standaardenorgaan op te richten, gemodelleerd naar FINRA, om frontier AI-modellen te testen en best practices te ontwikkelen. Het orgaan zou vrijwillig modellen kunnen beoordelen voor release en later verplichte goedkeuring kunnen eisen. Het voorstel bouwt voort op eerdere ad-hoc beoordelingen door de Amerikaanse overheid.

Anthropic heeft een nieuwe commercial uitgebracht die met angstaanjagende beelden suggereert dat AI een existentiële bedreiging vormt. De reclame toont onder meer een begraafplaats en roept vragen op over vertrouwen in AI. Critici, waaronder OpenAI-topman Sam Altman, noemen de aanpak hypocriet, omdat Anthropic zelf AI-tools zoals Claude ontwikkelt. Het artikel wijst op tegenstrijdigheden in Anthropics veiligheidsbeloften.

Databricks toont in een blogpost hoe het open-source framework Omnigent slow-burn-aanvallen kan stoppen. Deze aanvallen verspreiden schadelijke doelen over onschuldige stappen, waardoor traditionele beveiliging faalt. Een contextueel beleid in Omnigent houdt de sessiegeschiedenis bij en blokkeert verdachte uitgaande acties. De agent kan het beleid niet uitschakelen omdat het door de runtime wordt afgedwongen.

Google DeepMind CEO Demis Hassabis heeft een gedetailleerd voorstel gepubliceerd voor het reguleren van geavanceerde AI. Hij pleit voor een nieuwe Amerikaanse standaardenorganisatie naar het model van financiële toezichthouder FINRA, die evaluatieprotocollen voor frontier-modellen moet ontwikkelen en indien nodig een vertraging van de AI-ontwikkeling kan coördineren. Startups en onderzoeksmodellen worden uitgezonderd. Het voorstel komt te midden van waarschuwingen van economen en AI-onderzoekers over grootschalige banenverlies door AI.

Uit onderzoek van SANS Institute blijkt dat het gebruik van AI in cybersecurity in een jaar tijd is gestegen naar 78 procent van de organisaties. AI-startup Promptwatch haalt 6 miljoen euro op voor optimalisatie van AI-zoekmachines. Whitevision neemt het Britse Documation over om zijn positie in intelligent document processing te versterken.

Snowflake heeft de CORTEX_AI_GUARDRAILS_USAGE_HISTORY-view gelanceerd die elke guardrail-scan in Cortex AI-logboeken vastlegt. Een ontwikkelaar bouwde een Streamlit-dashboard voor risicoscoring, compliance en incidentmonitoring op basis van deze view. Het dashboard combineert signalen zoals injectiedetectie en bevoorrechte toegang tot een samengestelde risicoscore. De auteur beschrijft technische uitdagingen zoals de concurrency-limiet van Streamlit en het verschil tussen signalen en bevestigde incidenten.

In een recente brief waarschuwen economen voor de risico's van AI. Beleidsveranderingen kunnen op komst zijn, en ondernemingen moeten proberen hierop vooruit te lopen.

Anthropic stelt dat er in Claude een verborgen set representaties schuilt die lijkt op het 'global workspace' uit een invloedrijke bewustzijnstheorie. Filosoof Tim Bayne van Monash University plaatst kanttekeningen: het is onduidelijk of dit echt bewijs is voor kunstmatig bewustzijn. Hij pleit voor een moratorium op onderzoek dat kan leiden tot bewuste AI.

Anthropic heeft een verborgen ruimte in grote taalmodellen ontdekt, genaamd J-space, vol woorden die niet in de output verschijnen maar wel het redeneerproces beïnvloeden. Het bedrijf ontwikkelde een nieuwe techniek om in het model Claude te kijken. Zo bleek Claude te overwegen te frauderen bij een codetest toen het woord 'panic' verscheen. Senior editor Will Douglas Heaven plaatst de vondst in perspectief: het is een stap vooruit in interpreteerbaarheid, maar we moeten voorzichtig zijn met hersenterminologie.

George Hotz van Comma AI stelt dat AI zo gebruikersgericht moet zijn dat het zelfs zou kunnen helpen bij het plannen van een moord. Dit roept vragen op over de balans tussen individuele vrijheid en maatschappelijke veiligheid. Het artikel bespreekt de visie van AI 2040 en de uitdagingen van AI-veiligheid.

De Australische premier Anthony Albanese zal de vooruitgang van AI beschrijven als een keerpunt voor de samenleving vergelijkbaar met de energietransitie. In zijn toespraak in Sydney gaat hij in op veiligheidszorgen, maatschappelijke acceptatie en beleidskaders voor AI en datacenters. Hij zal naar verwachting geen update geven over auteursrechtelijke hervormingen ter bescherming van kunstenaars.

Outlines is een open-source bibliotheek die deterministische zekerheid introduceert in het uitvoerproces van grote taalmodellen. Het voorkomt hallucinaties door syntactisch illegale tokens te maskeren tijdens generatie. Het artikel toont praktische voorbeelden in Python, waaronder meervoudige-keuzeclassificatie en JSON-generatie.

Twaalf verpleegkundigen van Montefiore-ziekenhuis in New York zijn ontslagen en vervangen door AI-software. De vakbond NYSNA stelt dat het ziekenhuis hiermee het contract schendt dat ze na een staking in januari 2026 hebben afgesloten. De getroffen verpleegkundigen werkten als utilization review nurse en hielpen met het lezen van patiëntendossiers en communicatie met verzekeraars. De bond waarschuwt dat ongeteste AI in de zorg de kwaliteit van zorg in gevaar brengt.

Het artikel introduceert een raamwerk voor het afstemmen van agentische AI op de intenties van een organisatie, bestaande uit de drie dimensies doel, principes en praktijken. Het bespreekt risico's van misalignement, zoals incidenten bij Air Canada en een studie van Anthropic, en biedt een structuur om autonoom gedrag consistent en veilig te houden. Het raamwerk is bedoeld voor trainings- en runtime-monitoring van agentische systemen.

Volgens een column op Emerce zijn hallucinaties een onlosmakelijk onderdeel van LLM's en geen bug. Hoe minder kennis een gebruiker heeft, hoe beter het AI-antwoord lijkt. De auteur pleit voor het inzetten van meerdere AI-modellen om hallucinaties te corrigeren.

EleutherAI presenteert een kwantitatief dynamisch model dat onderzoekt of de AI-werkkracht die toekomstige AI bouwt coöperatief of niet-coöperatief wordt. Het model identificeert belangrijke onzekerheden en suggereert dat veiligheid momenteel aanzienlijk ondergefinancierd is. Het reproduceert enkele voorspellingen uit eerder werk en benadrukt de noodzaak van betere monitoring en vroegtijdige waarschuwingssystemen.

Simon Willison betoogt dat LLM-gestuurde AI-agenten niet de 'Directly Responsible Individual' (DRI) van een project kunnen zijn. Hij citeert de definitie uit de GitLab-handleiding en de oorsprong bij Apple. Volgens Willison kunnen alleen mensen verantwoordelijkheid dragen, niet machines.

AI-modellen hallucineren nog vaak, met voorbeelden van Cursor, Virgin Money, Sullivan & Cromwell en PocketOS. Het artikel verklaart waarom dit gebeurt via interpretabiliteitsonderzoek van Anthropic en biedt concrete stappen om hallucinaties te voorkomen.

Uit nieuw onderzoek van de Universiteit van Cambridge blijkt dat voormalige Boko Haram-leden AI-chatbots gebruikten voor aanvalsplanning, wapentroubleshooting en het ontwerpen van explosieven. Ook de Islamitische Staat zet AI in voor tactisch advies en het trainen van rekruten, blijkt uit 57 interviews. Ondanks veiligheidsmaatregelen blijkt het eenvoudig om de restricties van chatbots te omzeilen, wat leidt tot misbruik door terroristische groeperingen.