Amazon gebruikt dode oma van kind in morbide demo van Alexa audio deepfake

amazon echo dot gen 4
Vergroten / De 4e generatie Amazon Echo Dot slimme luidspreker.

Amazone

Amazon is aan het uitzoeken hoe zijn Alexa-stemassistent de stem van iedereen, dood of levend, kan deepfaken met slechts een korte opname. Het bedrijf demonstreerde de functie woensdag tijdens zijn re:Mars-conferentie in Las Vegas, waarbij het emotionele trauma van de aanhoudende pandemie en verdriet werd gebruikt om interesse te verkopen.

Amazon’s re:Mars richt zich op kunstmatige intelligentie, machine learning, robotica en andere opkomende technologieën, waarbij technische experts en marktleiders het podium betreden. Tijdens de keynote van de tweede dag toonde Rohit Prasad, senior vice-president en hoofdwetenschapper van Alexa AI bij Amazon, een functie die wordt ontwikkeld voor Alexa.

In de demo vraagt ​​een kind aan Alexa: “Kan oma klaar zijn met mij voor te lezen?” tovenaar van OzAlexa antwoordt: “Oké”, met haar typische verwijfde, robotachtige stem. Maar vervolgens komt de stem van de oma van het kind uit de luidspreker om het verhaal van L. Frank Baum voor te lezen.

Hieronder kun je de demo bekijken:

Amazon re: MARS 2022 – Dag 2 – Keynote.

Prasad zei alleen dat Amazon “werkt” aan de Alexa-mogelijkheid en specificeerde niet welk werk er overblijft en wanneer/of het beschikbaar zal zijn.

Wel gaf hij minutieuze technische details.

“Dit vereiste een uitvinding waarbij we moesten leren een stem van hoge kwaliteit te produceren met minder dan een minuut opname versus uren opname in een studio”, zei hij. “De manier waarop we het voor elkaar hebben gekregen, is door het probleem te formuleren als een stemconversietaak en niet als een taak voor het genereren van spraak.”

Prasad heeft heel kort besproken hoe de functie werkt.
Vergroten / Prasad heeft heel kort besproken hoe de functie werkt.

Natuurlijk heeft deepfaking een controversiële reputatie opgebouwd. Toch is er enige moeite gedaan om de technologie als hulpmiddel te gebruiken in plaats van als middel voor griezeligheid.

Specifiek audiodeepfakes, zoals opgemerkt door The Verge, zijn in de media gebruikt om het goed te maken wanneer bijvoorbeeld een podcaster een regel verprutst of wanneer de ster van een project plotseling overlijdt, zoals gebeurde met de Anthony Bourdain-documentaire Roadrunner.

Er zijn zelfs gevallen waarin mensen AI gebruiken om chatbots te maken die communiceren alsof ze een verloren geliefde zijn, aldus de publicatie.

Alexa zou niet eens het eerste consumentenproduct zijn dat deepfake-audio gebruikt om in te vallen voor een familielid dat er niet persoonlijk bij kan zijn. De slimme luidspreker van Takara Tomy, zoals aangegeven door Gizmodo, gebruikt AI om verhaaltjes voor het slapengaan voor kinderen te lezen met de stem van een ouder. Ouders uploaden naar verluidt hun stem, om zo te zeggen, door een script ongeveer 15 minuten te lezen. Hoewel dit met name verschilt van de demo van Amazon, omdat de eigenaar van het product besluit zijn zang te leveren, in plaats van dat het product de stem gebruikt van iemand die waarschijnlijk geen toestemming kan geven.

Naast de zorgen dat deepfakes worden gebruikt voor oplichting, oplichting en andere snode activiteiten, zijn er al enkele verontrustende dingen over hoe Amazon de functie ontwerpt, die nog niet eens een releasedatum heeft.

Voordat hij de demo liet zien, had Prasad het erover dat Alexa gebruikers een ‘gezelschapsrelatie’ gaf.

“In deze rol van gezelschap zijn menselijke eigenschappen van empathie en affectie de sleutel tot het opbouwen van vertrouwen”, aldus de directeur. “Deze eigenschappen zijn nog belangrijker geworden in deze tijden van de aanhoudende pandemie, waarin zo velen van ons iemand hebben verloren van wie we houden. Hoewel AI die pijn van verlies niet kan wegnemen, kan het zeker hun herinneringen blijvend maken.”

Prasad voegde eraan toe dat de functie “duurzame persoonlijke relaties mogelijk maakt”.

Het is waar dat talloze mensen serieus op zoek zijn naar menselijk ’empathie en affect’ als reactie op emotionele stress die is veroorzaakt door de COVID-19-pandemie. De AI-stemassistent van Amazon is echter niet de plaats om aan die menselijke behoeften te voldoen. Alexa kan ook geen “duurzame persoonlijke relaties” mogelijk maken met mensen die niet meer bij ons zijn.

Het is niet moeilijk te geloven dat er goede bedoelingen zijn achter deze zich ontwikkelende functie en dat het een grote troost kan zijn om de stem te horen van iemand die je mist. We zouden zelfs kunnen zien dat we plezier hebben met een functie als deze, theoretisch. Alexa ertoe brengen een vriend te laten klinken alsof ze zeiden dat iets doms ongevaarlijk is. En zoals we hierboven hebben besproken, zijn er andere bedrijven die gebruikmaken van deepfake-technologie op een manier die vergelijkbaar is met wat Amazon liet zien.

Maar om een ​​zich ontwikkelende Alexa-mogelijkheid in te lijsten als een manier om een ​​band met overleden familieleden nieuw leven in te blazen, is een gigantische, onrealistische, problematische sprong. Ondertussen voelt het zinloos om aan de harten te trekken door pandemiegerelateerd verdriet en eenzaamheid binnen te brengen. Er zijn sommige plaatsen waar Amazon niet thuishoort, en rouwverwerking is er een van.

Leave a Comment