De onderzoeks- en ontwikkelingseenheid binnen het Department Of Homeland Security, Science and Technology Directorate organiseerde een technische bijeenkomst bestaande uit technische experts en vrijwilligers om een gezichtsherkenningsalgoritme te vinden dat mensen met maskers met de hoogst mogelijke nauwkeurigheid kan identificeren.
Het evenement duurde 10 dagen. 582 vrijwilligers werden getest door de 60 verschillende gezichtsherkenningssystemen. De belangrijkste acquisitiesystemen waren Stone, Vly, West, Dans, Besek en Pine, die een mix-en-match waren van zes verschillende beeldverzamelingssystemen, gecombineerd met tien verschillende matching-algoritmen die werden geëvalueerd op basis van hun vermogen en betrouwbaarheid om gezichten vast te leggen. van het identificeren van een gezicht met hoge nauwkeurigheid.
De verschillende AI Face Recognition-systemen gaven verschillende resultaten. De gemiddelde nauwkeurigheid bij het herkennen van niet-gemaskerde individuen was 93% en hetzelfde voor gemaskerde individuen was gemiddeld 77%. De best presterende technologie was Dans, die in 96% van de tijd gemaskerde mensen kon identificeren en de slechtste technologie deed het slechts 4% van de tijd. De resultaten waren gebaseerd op efficiëntie, tevredenheid, FaceFtAR (Failure To Acquire Rate) en FacemTIR (True Identification Rate)
Efficiëntie wordt hier gedefinieerd als de gemiddelde tijd die testvrijwilligers nodig hebben om een transactie met elk systeem uit te voeren. Qua efficiëntie waren West en Dans de beste, aangezien ze slechts 4 seconden transactietijd in beslag namen. Tevredenheid wordt hier gedefinieerd als het percentage testvrijwilligers dat positieve reacties gaf. West, Dans en Besek gaven de meest bevredigende resultaten met een aantal van 95%.
Failure to Acquire Rate (FtAR) wordt hier gedefinieerd als het deel van de transacties waarbij geen afbeelding kon worden vastgelegd, of waarbij geen afbeelding kon worden vastgelegd die door het MdTF-aanpassingsalgoritme zou kunnen worden aangemaakt. De MdTF True Identification Rate (mTIR) wordt hier gedefinieerd als het deel van de transacties waarbij de ingediende biometrische afbeelding overeenkwam met de juiste testvrijwilliger of niet was geïdentificeerd als de sondeonderwerp niet in de galerij was. In beide resultaten stond Vly bovenaan. De FtAR was 1,7% binnen 20 seconden en mTIR was 97,8% binnen 20 seconden.
Het volledige verslag van het evenement is nog niet bevestigd. U kunt het volledige rapport bekijken bij MDTF dat de komende weken wordt verwacht.