CAISI en pre-release frontier AI testing

President Trump heeft een uitvoeringsbevel uitgesteld dat voorafgaande veiligheidscontroles van AI-modellen door de overheid zou hebben vereist. Hij was niet tevreden met de formulering van het bevel, die volgens hem een belemmering zou kunnen vormen voor Amerikaans leiderschap in AI. Het bevel zou onder meer hebben vereist dat AI-bedrijven zoals OpenAI en Anthropic hun geavanceerde modellen 14 tot 90 dagen voor lancering met de overheid delen.

Een coalitie van conservatieve organisaties onder leiding van Humans First heeft president Donald Trump in een open brief opgeroepen tot een uitvoeringsbesluit dat verplichte veiligheidstests voor geavanceerde AI-modellen vereist voordat ze worden uitgebracht. De groep, met onder meer Stephen K. Bannon, waarschuwt voor risico's voor verkiezingen, cyberveiligheid en kritieke infrastructuur. Ze vergelijken AI-risico's met nucleaire technologie en willen onafhankelijk overheidstoezicht.

METR meldt dat het huidige testkader nauwelijks in staat is om de capaciteiten van Claude Mythos te meten, omdat slechts vijf van de 228 taken het relevante vermogensbereik dekken. Palo Alto Networks waarschuwt dat toonaangevende AI-modellen zoals Mythos automatisch kwetsbaarheden combineren tot kritieke aanvalspaden, waardoor de tijd van eerste toegang tot gegevensverwijdering kan krimpen tot 25 minuten.

De Amerikaanse overheid heeft overeenkomsten gesloten met Google DeepMind, Microsoft en xAI om vroege versies van hun nieuwe AI-modellen te onderzoeken op veiligheid en nationale veiligheid voorafgaand aan de openbaarmaking. De Center for AI Standards and Innovation (CAISI), onderdeel van het ministerie van Handel, benadrukt dat dit onderzoek essentieel is voor het begrijpen van de mogelijkheden van nieuwe AI-modellen en het beschermen van de nationale veiligheid. De overeenkomsten richten zich op risico's rond cybersecurity, biologische veiligheid en chemische wapens. OpenAI en Anthropic sloten al twee jaar eerder vergelijkbare overeenkomsten aan met de Biden-administratie. De nieuwe overeenkomsten komen op het moment dat zorgen groeien over de potentie van de nieuwste AI-modellen, zoals Anthrropics Mythos, om gevaarlijk te zijn voor de openbare veiligheid.

OpenAI deelt vooruitgang in de samenwerking met de US CAISI en UK AISI om de veiligheid en beveiliging van AI te versterken. Tijdens deze samenwerking zijn er concrete veiligheidsverbeteringen gerealiseerd, zoals gezamenlijk red-teaming van beveiligingsmaatregelen en het identificeren van nieuwe beveiligingsrisico's in producten zoals ChatGPT Agent. De samenwerking met CAISI en UK AISI heeft geleid tot verbeteringen in de beveiliging van OpenAI's AI-systemen en heeft aangetoond hoe overheden en bedrijven samen kunnen werken aan de evaluatie en verbetering van AI-veiligheid.

DeepL’s Chief Scientist Stefan Mesken bespreekt hoe AI-onderzoek moet evolueren om op te letten bij opkomende mogelijkheden die ontstaan bij grotere modellen en grotere datasets. Hij legt uit dat nieuwe mogelijkheden plotseling en onvoorspelbaar kunnen verschijnen, en dat onderzoekers moeten denken aan problemen die nog niet oplosbaar zijn, maar dat mogelijk worden met toekomstige technologie. Een voorbeeld is Clarify, een interactief taalhulpmiddel dat op de nieuwe generatie LLMs van DeepL is gebaseerd.

OpenAI en negen Amerikaanse nationale laboratoria hebben een unieke gebeurtenis georganiseerd waarbij meer dan 1.000 wetenschappers samenwerken om AI te gebruiken voor wetenschappelijke ontdekkingen. Tijdens de '1,000 Scientist AI Jam Session' testen onderzoekers toekomstige AI-modellen zoals o3- mini in hun vakgebieden en delen feedback om toekomstige systemen te verbeteren. De gebeurtenis onderstrept de samenwerking tussen OpenAI en de Amerikaanse overheid om de leiderschap van de VS in AI en wetenschap te versterken.