AI-fraude, voice cloning en impersonatie

Taylor Swift's management heeft handelsmerkaanvragen ingediend voor audiofragmenten van haar stem en haar visuele gelijkenis. Dit wijst op een verschuiving van auteursrecht naar handelsmerkrecht in de strijd tegen AI-namaak. Hoewel auteursrecht creatieve werken beschermt, beschermt het niet tegen AI-gegenereerde imitaties die consumenten misleiden over goedkeuringen. Handelsmerkrecht en publiciteitsrechten bieden mogelijk betere bescherming tegen dergelijke misleiding.

Taylor Swift heeft een handelsmerk aangevraagd voor haar stem en podiumimago, als eerste muziekartiest die deze stap zet. De zet roept vragen op over auteursrecht en de rechten van artiesten in het tijdperk van AI. Het artikel bespreekt hoe AI gegenereerde imitaties en deepfakes juridische uitdagingen vormen, en hoe Swifts handelsmerk mogelijk een krachtig afschrikmiddel kan zijn tegen toekomstige vervalsingen.

Onderzoekers uit China en Singapore hebben een methode ontwikkeld om 'adversarial audio' te maken die onhoorbaar is voor mensen, maar AI-stemmodellen kan misleiden. Door deze geluiden te verbergen in ogenschijnlijk onschuldige audio, zoals muziek of films, kunnen aanvallers bijvoorbeeld spraakassistenten van Microsoft en Mistral overnemen. De techniek werkt alleen op opensource-modellen, maar omdat veel commerciële AI-systemen daarop zijn gebaseerd, is de kwetsbaarheid breed toepasbaar.

De NTSB heeft dossiers gesloten nadat buitenstaanders met AI de stemmen van omgekomen piloten nabootsten uit een spectrogram. Een YouTuber gebruikte Codex om audio te reconstrueren uit de data van de zwarte doos. De overheidsinstantie sluit nu de openbare toegang om misbruik te voorkomen.

Tijdens Cybersec Europe 2026 stelden Frank Benus en Bart van den Branden van Cegeka dat AI net zo effectief is in het maken van phishingmails als mensen. AI wordt ingezet om perfect ogende en foutloze phishingmails te genereren, waarmee aanvallers multifactorauthenticatie kunnen omzeilen via zeven methoden. De oplossing ligt volgens de experts in 'behavioral AI' dat afwijkingen in ogenschijnlijk perfecte mails kan opsporen.

Ocean, een agentief e-mailbeveiligingsplatform, heeft $28 miljoen opgehaald in een financieringsronde onder leiding van Lightspeed Venture Partners. Het platform claimt dat zijn AI de context van elke inkomende e-mail grondig kan analyseren om fraude en imitatiepogingen te detecteren. Medeoprichter Shay Shwartz, een voormalig tienerhacker en cybersecurity-expert, benadrukt dat AI de schaal van phishing-aanvallen enorm heeft vergroot en dat een nieuwe aanpak nodig is.

Een gezamenlijk onderzoek van The Florida Trib en de KCRW-podcast Question Everything onthulde dat de zogenaamd onafhankelijke lokale nieuwssite South Florida Standard in werkelijkheid een AI-gegenereerd nepdorp was, bemand door fictieve verslaggevers met AI-gemaakte profielfoto's en verzonnen biografieën. Na de onthulling stopte de site met bestaan. Eigenaar Drew Chapin gaf toe in totaal 18 AI-aangedreven nieuwssites te hebben opgezet, waarmee hij in twintig minuten een nepnieuwssite kon maken voor slechts tien dollar aan domeinkosten.

OpenAI heeft het AI-bedrijf Weights.gg overgenomen, een start-up gespecialiseerd in het klonen van stemmen. Het team en de technologie zijn inmiddels ondergebracht bij OpenAI. De overname past binnen de ontwikkeling van stemtechnologie, maar een standalone stemproduct wordt niet verwacht.

OpenAI heeft stilletjes de startup Weights.gg overgenomen, die bekend stond om het klonen van beroemde stemmen zoals Taylor Swift en Donald Trump. Het team van ongeveer zes medewerkers werkt nu bij OpenAI, maar het bedrijf is niet van plan een standalone kloningsproduct uit te brengen. In plaats daarvan wordt de stemtechnologie in andere producten zoals ChatGPT verwerkt.

Een onderzoek van The Press Gazette wijst erop dat vier financiële journalisten die artikelen schreven voor grote media zoals Forbes en HuffPost, mogelijk valse personages zijn die door een PR-firma genaamd MarketAcross worden gebruikt om crypto te promoten. De journalisten, onder wie Nikolai Kuznetsov en Reuben Jackson, hebben geen duidelijke online aanwezigheid en gebruiken mogelijk AI-generatie-afbeeldingen. Ze hebben vaak geleid tot investeringen in crypto’s van MarketAcross-clients, waaronder het mislukte project Gladius. De betrokken PR-firma ontkent echter dat ze deze journalisten in dienst hebben.

Generatieve AI en autonome agents verhogen identiteitsdiefstal in de VS tot een industrieel niveau. Volgens Experian speelden AI-tools een rol in 40 procent van de datalekken die vorig jaar werden onderzocht. Fraudeurs gebruiken tools zoals FraudGPT om geldige sociale beveiligingsnummers te vinden en diepfake-identiteiten te creëren. De schade door fraude wereldwijd bedraagt nu meer dan 534 miljard dollar.

ElevenLabs, een bedrijf dat zich richt op stem- en taaltechnologie, heeft 180 miljoen dollar opgehaald in een Series C-fundingronde. Het bedrijf wil met deze investering de technologie verder ontwikkelen om content wereldwijd toegankelijk te maken in elke taal en stem. De financiële steun komt uit nieuwe investeerders, waardoor ElevenLabs zijn positie op de markt versterkt. Het bedrijf is al bekend vanwege zijn geavanceerde stemtechnologie en het doel om spraak en taal technisch beschikbaar te maken voor iedereen.

OpenAI en AARP werken samen om oudere mensen te helpen veiliger online te zijn met nieuwe AI-training, tools om fraude te herkennen en landelijke programma's via OpenAI Academy en OATS’ Senior Planet-initiatief. De samenwerking omvat onder andere educatieve video's over het herkennen van fraude en het gebruik van ChatGPT als hulpmiddel. De initiatieven zijn onderdeel van een breder streven om AI-educatie toegankelijk te maken voor iedereen.

SafetyKit gebruikt OpenAI’s GPT-5 om risicobewaking te verbeteren, met een nauwkeurigheid van 95% bij het beoordelen van 100% van de klantcontent. De oplossing maakt gebruik van multimodale agents die tekst, beelden en UI-analyse combineren om fraude en verboden activiteiten te detecteren. Sinds zes maanden is het aantal verwerkte tokens per dag gestegen van 200 miljoen naar 16 miljard.

OpenAI heeft een nieuw rapport gepubliceerd waarin gevalstudies worden beschreven over hoe de organisatie schadelijke toepassingen van AI detecteert en onderdrukt. Het rapport benadrukt het gebruik van AI als hulpmiddel voor experten om activiteiten zoals sociale engineering, cyberespionage en bedrog te ontdekken en te blokkeren. De inspanningen zijn onderdeel van OpenAI’s missie om AI te laten werken voor het goede van de mensheid.

OpenAI geeft meer inzicht in hoe Voice Engine, hun tekst-naar-spraakmodel, werkt en hoe ze veiligheidsonderzoek uitvoeren. Het model kan aangepaste stemmen genereren op basis van 15 seconden spraakvoorbeeld en tekst. Voice Engine is nog niet algemeen beschikbaar en wordt beperkt getest met betrokken partners. De technologie wordt gebruikt voor onderzoek, educatie en veiligheidsontwikkeling, met nadruk op het voorkomen van misbruik en het beschermen van persoonlijke stemmen.

OpenAI heeft samen met castingprofessionals en producenten een uitgebreid proces gevolgd om de stemmen voor ChatGPT te selecteren. Van de meer dan 400 ingeschreven stemacteurs zijn uiteindelijk vijf stemmen gekozen, waaronder Breeze, Cove, Ember, Juniper en Sky. In mei 2024 heeft OpenAI aangekondigd dat het gebruik van Sky’s stem tijdelijk is gestaakt vanwege bezwaren van Scarlett Johansson.

OpenAI deelt lessen uit een kleine voorvertoning van Voice Engine, een model dat aangepaste stemmen kan genereren. Het model gebruikt tekst en een 15-secundig audiobestand om natuurlijke spraak te creëren. OpenAI benadrukt de noodzaak van verantwoorde toepassing van synthetische stemmen en werkt samen met partners om risico's te beperken.