Biometrische algoritmen
Biometrische algoritmen: de toekomst van gemak of een privacy dystopie?
Wie de afgelopen zomers via Schiphol naar een verre vakantiebestemming is gevlogen, is bekend met de ellenlange rijen. Dat het inchecken van bagage, douanecontroles en boarden een tijdrovend proces kan zijn is een understatement. Iedere hoop op een goed begin van de vakantie verdwijnt als sneeuw voor de zon. Op het Changi Airport in Singapore, een van 's werelds beste en drukste vliegvelden, zal dat vanaf deze zomer tot het verleden behoren. Het vliegveld introduceert namelijk een volledig geautomatiseerde douanecontrole door het combineren van biometrische data, data over fysieke kenmerken, en artificiële intelligentie.1 De meer dan vijf miljoen reizigers kunnen hun paspoorten voortaan in hun tas laten zitten. Dit technisch hoogstandje zal de mensheid op jaarbasis ongetwijfeld miljoenen uren aan frustratie schelen, maar je hoeft geen levendige fantasie te hebben om de black mirror scenario’s voor te stellen. Daar is men zich in Brussel ook bewust van geworden. Het reguleren van het gebruik van zogeheten biometrische data, gegevens gebaseerd op uiterlijke kenmerken, is een belangrijk onderdeel van de AI Act2, een Verordening die in 2025 van kracht wordt.3 Het gebruik van AI voor veiligheidsdoeleinden was een van de belangrijkste discussiepunten in de onderhandelingen tussen het Parlement, de Raad en de Commissie. Nu de voorlopige tekst bekend is wordt duidelijk wat daarvan de uitkomsten waren. Dit artikel behandelt twee belangrijke toepassingen van biometrische data: verificatie en identificatie. Daarnaast zal stilgestaan worden bij de uitdagingen van het reguleren van de technologie van morgen.
Biometrische verificatie
Artikel 3 van de Act bevat een waslijst aan definities, tot aan lid 44g, en maakt onderscheid tussen een aantal toepassingen van AI en biometrische data. Het automatisch vaststellen van iemands identiteit door beelden te vergelijken met vooraf aangeleverde individuele biometrische gegevens wordt gekwalificeerd als “biometrische verificatie” (lid 33c). Dit is waar paspoort vrij reizen in Singapore of controle bij NEC feitelijk op neerkomen. Omdat het hier gaat om vooraf verstrekte data valt deze technologie niet onder de verboden op de lijst in artikel 5 en in veel gevallen ook niet onder de High Risk Systems van artikel 6. Hiermee kiest de EU er duidelijk voor om het innovatievermogen niet te hard te remmen; iets waar veel voor te zeggen valt gezien de geopolitieke tech-race waarin Europa momenteel het onderspit delft tegen China en de VS.
Biometrische identificatie
Lid 33a van artikel 3 definieert biometrische identificatie als het automatisch herkennen van biometrische gegevens om personen mee te identificeren. Identificatie gaat dus een stap verder dan verificatie. In tegenstelling tot verificatie, wordt gebruikgemaakt van een biometrische database en gaat het niet om gerichte identificatie.4 Met andere woorden, in plaats van te controleren of je bent wie je beweert te zijn, stelt een AI je identiteit vast door je biometrische kenmerken te vergelijken met een ‘referentie database’, zonder jouw toestemming.
Biometrische identificatie is opgenomen in de verbodsbepaling van artikel 5 en privaat gebruik is gelukkig strikt verboden. “Law enforcement” kan in bepaalde omstandigheden wel gebruikmaken van dergelijke middelen, een van de uitkomsten van de langdurige trialogen. Bij extreme gevallen, bijvoorbeeld terrorismedreiging of vermissingen, zou de politie gebruik kunnen maken van live biometrische identificatie.5 Het voorstel voorziet in zekere staatsrechtelijke waarborgen, bijvoorbeeld door rechterlijke toetsing en er is in veel gevallen menselijke controle verplicht. Echter sloegen meerdere Parlementsleden alarm vanwege de sterk afgezwakte mate van bijvoorbeeld ex-post biometrische identificatie op basis van camerabeelden.6 Dit is nu ook mogelijk voor lichtere vergrijpen. Een Duits parlementslid vergeleek het voorstel zelfs met gebruik van biometrische identificatie dat we kennen uit landen als China. Toch is een meerderheid in het Parlement voor en lijkt de wet er gewoon te komen.7
De valkuilen van algoritmen
Het wetsvoorstel is uniek in de wereld en wordt terecht revolutionair genoemd.8 De ontwikkelingen op dit gebied gaan echter dermate snel dat het een kwestie van (korte) tijd is voordat de werkelijkheid de wettekst inhaalt. Het is daarom nuttig kort stil te staan bij twee belangrijke tekortkomingen van algoritmen. In het boek Weapons of Math Destruction legt Cathy O'Neill in 250 bladzijden uit hoe algoritmen ons leven beïnvloeden.9 Samengevat signaleert ze twee problemen. Ten eerste snapt nagenoeg niemand precies hoe deze uiterst complexe algoritmen werken, self-learning machines zijn daardoor inherent ondoorzichtig. We gooien er een hoop data in, maar hoe AI tot conclusies komt op basis van die data is onduidelijk. Hoe complexer de technologie, hoe ondoorzichtiger, iets wat weinig hoop voor de toekomst schetst. Om deze ondoorzichtigheid tegen te gaan creëert de Act een database waar ontwikkelaars hun technologieën moeten registreren.10 Het tweede probleem dat ze signaleert is dat de objectiviteit van algoritmen vaak op voorhand wordt aangenomen. Een computer zou immers minder bevooroordeeld zijn dan een mens. Onze menselijke tekortkomingen blijken helaas ook door te sijpelen in deze technologie. Zo blijkt gezichtsherkenningssoftware van grote techbedrijven aanzienlijk slechter te werken op gekleurde vrouwen.11 Een van de oorzaken is dat deze bevolkingsgroep ondergerepresenteerd is in de trainingsdata, die door mensen wordt verzameld. Algoritmen hebben dus een even grote potentie voor subjectiviteit, maar door de ondoorzichtigheid van algoritmen kunnen we dit minder goed meewegen in besluitvorming.
Dat algoritmen tekortkomingen hebben is op zich geen probleem, dat hebben mensen immers ook. Het wordt problematisch wanneer men zich niet van die tekortkomingen bewust is. Iets wat uitermate lastig is gezien de complexiteit en ondoorzichtigheid van algoritmen. De AI Act is een goed begin om .. en een kans voor de EU om voorop te lopen op het reguleren van risicovolle technologie. Maar als een politieagent een biometrisch algoritme controleert of een rechter moet oordelen over het gebruik van dergelijke technologie, is kennis essentieel. Als het aan deze kennis ontbreekt, is het de vraag hoeveel dergelijke controlemechanismen daadwerkelijk voorstellen.
Voetnoten:
[1] H. Chen, ‘This world-class airport will soon go passport-free’, CNN, 20 september 2023.
[2] 2021/0106 (COD), Proposal for a Regulation of the European Parliament and of the Council laying down harmonized rules on Artificial Intelligence (Artificial Intelligence Act) and amending certain Union legislative acts, Council of the European Union, 26 januari 2024.
[3] Political agreement reached on the EU Artificial Intelligence Act, Ernst & Young, 10 december 2023.
[4] 2021/0106 (COD), sectie II.3.
[5] 2021/0106 (COD), preambule par. 19.
[6] G. Volpicelli, ‘EU set to allow draconian use of facial recognition tech, say lawmakers’, Politico, 16 januari 2024.
[7] Volpicelli, 2024.
[8] ‘EU sets global standards with first major AI regulations: Here’s what you need to know’, ' World Economic Forum’, 14 december 2023.
[9] Weapons of Math Destruction
[10] 2021/0106 (COD), art. 51.
[11] A. Najibi, ‘Racial Discrimination in Face Recognition Technology’, Science in the News Harvard Kenneth C. Griffin Graduate School of Arts and Sciences, 24 oktober 2020.