Rapport: gezichtsherkenning Britse politie faalt in vier van vijf gevallen

Uit onderzoek in het Verenigd Koninkrijk blijkt dat in meer dan vier op de vijf gevallen de gezichtsherkenning van de politie melding maakt van een onschuldig persoon. De Britse politie stelt echter dat er slechts in 0,1 procent van de gevallen een fout wordt gemaakt.

Het onderzoek is uitgevoerd door wetenschappers van de University of Essex, en zij keken naar de gegevens van zes tests die door de Britse politie zijn uitgevoerd in Londen om de gezichtsherkenningssoftware te testen. Daaruit blijkt dat in 42 gevallen waarbij een gezicht werd herkend van een potentiële verdachte, het slechts acht keer geen vals-positief geval betrof. Dat betekent dus dat het systeem er in 81 procent van de gevallen naast zat.

De Britse politie gebruikt echter een andere maatstaf om het succes te meten: zij kijken naar het totaal aantal herkende gezichten en vergelijken dat het met aantal gezichten dat door het systeem is verwerkt, waarbij dus geen match werd gevonden en het systeem geen alarm sloeg. Door deze rekenmethode te gebruiken is de foutmarge slechts 0,1 procent.

In een reactie laat een woordvoerder van de Britse politie weten niet blij te zijn met hoe het onderzoek, dat is ingezien door Sky News, maar niet publiekelijk is vrijgegeven, is gerapporteerd. Zij stellen dat de onderzoeksresultaten 'negatief en ongebalanceerd' zijn, terwijl de auteurs van het onderzoek juist aangeven grote bezwaren te zien met hoe het systeem op dit moment werkt.

Door RoD

Admin Mobile

06-07-2019 • 09:43

105 Linkedin Whatsapp

Reacties (105)

105
104
74
11
1
14
Wijzig sortering
Dus de één heeft het over gezichten herkennen als menselijk en de ander over verdachten met een bekend gezicht herkennen uit een database?
De onderzoekers hebben geteld hoeveel keer er volgens het systeem iemand gevonden werd, die toch iemand anders bleek te zijn.
De politie telt het aantal mensen dat voor de camera gepasseerd is, tov het aantal gevonden personen.
Voorbeeld: men is op zoek naar Jantje die tussen 100 andere mensen loopt, en het systeem duidt 5 mensen aan als Jantje.
Conclusie onderzoekers: aangezien er slechts 1 Jantje rondloopt, heeft het systeem 4 keer van de 5 gefaald.
Conclusie politie: Er waren slechts 4 fouten op 100 mensen, dus het systeem werkt 96% van de tijd.

De conclusie van de onderzoekers is relevant als je vooral belang hecht aan de rechten van burgers (want iedereen is onschuldig tot het tegendeel bewezen is)
De conclusie van de politie is relevant als je graag een politiestaat wil waarin iedereen constant en overal gecontroleerd wordt, omdat iedereen een potentiële crimineel is.
De conclusie van de onderzoekers is relevant als je vooral belang hecht aan de rechten van burgers (want iedereen is onschuldig tot het tegendeel bewezen is)
De conclusie van de politie is relevant als je graag een politiestaat wil waarin iedereen constant en overal gecontroleerd wordt, omdat iedereen een potentiële crimineel is.
De conclusie van de onderzoekers is relevant als je blindelings op het systeem wil vertrouwen. De conclusie van de politie is relevant als je het systeem als zeer zinvolle toevoeging ziet.

Zit nogal een verschil tussen, of je een 1 op 10000 kans hebt dat een persoon een crimineel is, of na dit filter een één op 5 kans hebt. Zolang ze maar beseffen dat het geen feilloos systeem is, lijkt mij dat de conclusie dus ook is dat hoewel het altijd beter kan, het een prima systeem is.
Dat was ook mijn gedachte. Niet 'de computer zegt dat we deze moeten arresteren' maar 'laten we eens gaan kijken'.
En als je toevallig op een crimineel lijkt, heb je gewoon pech. Want dan haalt het systeem je er keer op keer uit.
Of als je zwart bent natuurlijk. Gezichtsherkenningssystemen worden nogal eens ontworpen door en getraind op blanken, waardoor ze voor mensen met een andere etniciteit minder accuraat werken.
Tja, die klacht herken ik van kennissen. "Als ik een damestas vind en hem naar de politie wil brengen dan word ik gearresteerd als dader, als u dat doet gebeurt dat niet".
En bij dit soort systemen en methodes moet de kwaliteit uitermate goed gecontroleerd worden. De verkeerde mensen veroordelen is veel slechter dan helemaal niemand veroordelen, zowel voor de onterecht veroordeelde als voor de crimineel die zeker weet dat ie vrijuit zal gaan.
Maar voor de verkoper en voor de politiek zal elke veroordeling een 'succes om te vieren' zijn.
Dat is te simpel. De trainingsset bevat noodzakelijkerwijs de gezichten die herkend moeten worden, en daar hebben de bouwers geen keuze in de etniciteit.

Het effect is wel bekend, maar waarschijnlijk een combinatie van factoren. Zo heb je simpelweg minder licht om mee te werken bij donkere huidskleuren. Contrasten zijn daardoor lager. Bij een gecontroleerde omgeving als de poortjes op Schiphol kun je met de belichting daar wat aan doen, maar bij camera's in de openbare ruimte is de belichting een gegeven.

Dan heb je dus de complicerende factor dat je als menselijke ontwerper moet opletten dat je trainingsdata uit vergelijkbare situaties moet komen, en dat het onvoorspelbaar is wat de consequenties zijn als de belichting varieert tussen training en praktijk.
Dat voel je als je een donkerder kleurtje hebt nu ook al.

[Reactie gewijzigd door BlaDeKke op 7 juli 2019 16:58]

Voelen is wat anders dan opgepakt worden.
"De conclusie van de politie is relevant als je graag een politiestaat wil waarin iedereen constant en overal gecontroleerd wordt, omdat iedereen een potentiële crimineel is." - Niet mee eens.

Dit wordt gewoon prima binnen een rechtsstaat toegepast. Het gaat daarbij helemaal niet om het idee dat iedereen potentieel crimineel is. Wat men met behulp van dat systeem doet is dat juist men van die 100 personen, 95 personen uitslaat; oftewel blijven 5 personen over die potentieel Jantje kunnen zijn. Vervolgens kan men naar die 5 personen gaan kijken om vast te stellen wie precies Jantje dan is, waarbij men dus handmatig nog eens 4 personen uitsluit. Waarbij Jantje overblijft, die vervolgens kan worden aangehouden op basis van deze resultaten, die overigens nog altijd slechts verdachte is en nog altijd niet veroordeeld. Dat is namelijk aan een rechter.

De Politie houdt zich dus bezig met het opsporen van de verdachte. Als je met behulp van dit systeem 95% kan uitsluiten die potentieel verdachte zijn dan is dat inderdaad een positief resultaat. Vervolgens kun je handigmatig de rest uitsluiten en de verdachte vaststellen. Deze verdachte aanhouden en voorgeleiden. Uiteindelijk bepaald de rechter of de verdachte ook de dader is door deze te veroordelen; op basis van het strafrechtelijk onderzoek. Dus echt niet alleen op basis van dit hulpmiddel.
"De conclusie van de politie is relevant als je graag een politiestaat wil waarin iedereen constant en overal gecontroleerd wordt, omdat iedereen een potentiële crimineel is." - Niet mee eens.

Dit wordt gewoon prima binnen een rechtsstaat toegepast. Het gaat daarbij helemaal niet om het idee dat iedereen potentieel crimineel is. Wat men met behulp van dat systeem doet is dat juist men van die 100 personen, 95 personen uitslaat; oftewel blijven 5 personen over die potentieel Jantje kunnen zijn. Vervolgens kan men naar die 5 personen gaan kijken om vast te stellen wie precies Jantje dan is, waarbij men dus handmatig nog eens 4 personen uitsluit. Waarbij Jantje overblijft, die vervolgens kan worden aangehouden op basis van deze resultaten, die overigens nog altijd slechts verdachte is en nog altijd niet veroordeeld. Dat is namelijk aan een rechter.
Dit is precies waarom ik de conclusie van T0mBa een beetje overtrokken vond, als je die lijn doortrekt zou het dus betekenen dat de politie voor de zekerheid 4 potentiële Jantjes veroordeeld omdat het systeem dat bepaald, en dat is juist niet het geval bij een rechtstaat. Een rechtsstaat zet dit in al hulpmiddel, de rechter gaat beslissen of de resultaten van dat onderzoek reden zijn om te vervolgen.
Dit systeem is bedoeld om potentiele verdachten uit de database te halen op basis van enkele specificaties. Ergo, de software werkt 100% zoals ontworpen. De onderzoekers zijn er, m.i., met de verkeerde onderzoeksvraag in gestapt. Ik snap echt niet wat de discussie is.

Het heeft niets met een politiestaat te maken, er is een signalement en je wil zo snel en efficient mogelijk potentiële matches uit je database met "bekenden" halen. Vroeger moest iemand op de hand die matches maken, zeer foutgevoelig, nu doet een systeem dat. Het zegt helemaal niets over schuld.

Het ligt volledig in de lijn der verwachting dat de meeste kandidaten niet de dader blijken te zijn.

[Reactie gewijzigd door Oyxl op 6 juli 2019 14:50]

Dan heb ik nog een beter algoritme voor de politie. Zeg gewoon altijd dat het Jantje niet is, 99% accuraat!
Dat is precies wat ik opvallend vind. Van beide kanten trouwens. Er wordt wel gesproken over false-positive, maar niet over false-negative. Oftewel, hoe groot is de kans dat een verkeerde persoon herkend wordt versus de kans dat een goede persoon niet herkend wordt. Volgens mij heb je minimaal beide cijfers nodig om een goed oordeel te kunnen vellen.

Als het eerste 20% is, maar de ander is 100% (c.q. er glipt geen enkele crimineel door), dan is het misschien wat conservatief afgesteld. Liever het zekere voor het onzekere. Maar dat zou betekenen dat er wellicht ook andere resultaten mogelijk zijn met andere instellingen.

Of dat wenselijk is, daar kun je over discussieren.

[Reactie gewijzigd door ZatarraNL op 6 juli 2019 10:50]

Bij een positieve reactie van het systeem zal er niet direct een arrestatieteam verstuurd worden dat je en plein publique even in de boeien komt slaan. Er zal daarna vast nog wel een mens tussen zitten die eerst een check doet. Daardoor weet men waarschijnlijk hoeveel foutpositieven er tussen zitten. Als je het aantal door mensen te checken gezichten met 95% kunt reduceren dan wordt dat al een aanzienlijk beter te verwerken aantal. Nog steeds fors dus men zal het zeker proberen te verbeteren maar zeker zinvol, en dus wenselijk, vanuit het politieperspectief.
Ik denk dat false negatives moeilijker zijn te vinden, moet je eerst weten of het praktijk tests waren of niet (want in de echte wereld kan je weten of iemand er wel of niet was, dus kan je niets zeggen over false negatives)
Dat kan dus wel met data van veroordeelden.
Nee, want wat je nodig hebt om false negatives te tellen is een betrouwbare lijst van mensen die gezocht maar niet gezien zijn. De enige manier is na de camera iedereen staande houden en controleren aan de hand van paspoort of ID.
Dat kan wel, in theorie. J ehebt een foto van een verdachte, maar niet de identiteit. Op de luchthaven hangen camera's. Hij loopt er doorheen en wordt niet gedetecteerd.
Na een tijd wordt de identiteit bekend. "Goh, hij is op de luchthaven geweest maar de camera heeft hem gemist".
Dan heb je een geval uit de praktijk, waar de identiteit pas later beschikbaar kwam.
Vergelijkbaars kan met bijvoorbeeld pinbetalingen, zeker als daar camerabeelden bij bewaard bleven.
Hoewel als men bijv. Meerdere camera's hiervoor gebruikt (vanaf verschillende hoeken met een overlappend bereik) zal deze kans wel kleiner worden en zou je achteraf de cameras met een fals negative kunnen trainen.
er is nog steeds de kans op een false negative natuurlijk maar wel kleiner
Maar dat de verkeerde persoon wordt herkend betekend nog niet automatisch dat ook de verkeerde persoon wordt gearresteerd.

Maar laten we de vraag een klein beetje veranderen. Hoewel verdachten worden NIET opgepakt omdat geen persoonsherkenning wordt toegepast? Hebben de onderzoekers dan liever dat de 20% WEL herkende verdachten blijven rondlopen? Om natuurlijk 6 maanden later te klagen dat het opsporingspercentage te laag is..

Dit soort persoonsherkenning systemen zijn slechts een voorselectie. Niet anders dat dat als een burger de tip lijnt. Agenten krijgen een melding dat een mogelijk verdachte gesignaleerd is ter hoogte van X. De agenten zullen vanuit de meldkamer zeer waarschijnlijk het signalement door krijgen. De persoon wordt aangesproken en men zal vragen om legitimatie..

Daarnaast zal men natuurlijk blijven werken aan het verbeteren van de herkenning..
In een reactie laat een woordvoerder van de Britse politie weten niet blij te zijn met hoe het onderzoek, dat is ingezien door Sky News, maar niet publiekelijk is vrijgegeven, is gerapporteerd. Zij stellen dat de onderzoeksresultaten 'negatief en ongebalanceerd' zijn, terwijl de auteurs van het onderzoek juist aangeven grote bezwaren te zien met hoe het systeem op dit moment werkt.
Befaamde gezegde luid dan ook,
lies, damned lies and statistics
.

De statement die de politie is niet verkeerd. En juist dat maakt het zo triest. Waar wel op gestuurd moet worden is of de integriteit van de politie wel zo koosjer is.
Moment dat je een groep mensen systematisch gaat controleren omdat ze op een bepaald persoon lijken terwijl die niks hebben misdaan,
moet je je afvragen of je niet bezig bent een self-fullfilling prophecy te creëeren. De mensen die consequent met bepaalde instanties in aanraking komen, zal de kans aanzienlijk groter zijn dat ze bepaald gedrag gaan vertonen.
De mensen die consequent met bepaalde instanties in aanraking komen, zal de kans aanzienlijk groter zijn dat ze bepaald gedrag gaan vertonen.
Dus als ik iedere dag ten onrechte aangehouden wordt, wordt ik vanzelf een crimineel ? 8)7
Het zou zo maar kunnen dat je na dag 200 uit je slof schiet en de desbetreffende ambtenaar uitscheld oftewel "Belediging van het openbaar gezag of van een ambtenaar in functie". En voila, je bent een crimineel in de rechtsstaat.
Indien je uit je slof schiet vanwege een onterechte arrestatie zal er (voor de eerste keer) hoogstwaarschijnlijk met een voorwaardelijke straf vanaf komen. Er waarschijnlijk gaat ook de politie dan een behoorlijke tik op de vingers krijgen als ze na 200 keer nog niet weten dat ik niet de gezochte inbreker ben.

En van 200 keer mijn id te laten zien aan 'passerende' agenten, ach daar heb ik geen enkele moeite mee.

Maar zelfs al arresteren ze me 200 keer, dan zal ik nog steeds geen inbreker zijn.

@sympa Ik zal me niet als crimineel voelen, omdat ik geen crimineel ben. Ik kan me wel als crimineel behandeld voelen.
Het verlaagt ook je kansen om als goed beoordeeld te worden en vergroot je kansen op een onterechte veroordeling. "Die gast daar is altijd wat mee maar we kunnen hem nooit pakken".
Alles hangt natuurlijk af van de manier waarop, dat wel. Er altijd uitgepakt worden voor paspoortcontrole op de luchthaven is 1 ding, aan de kant gezet worden in je eigen buurt is al een stuk erger.
Ik denk dat je de gemiddelde agent en rechter geen recht doet met die conclusie.

De kans is groter dat ik inderdaad meer uit de rij gehaald op Schiphol dan in mijn eigen buurt.

Na 200 keer weet de buurtagent echt wel dat ik alleen lijk op een bekende inbreker, maar niet ben. Grote kans dat hij al voor de aanhouding tegen zijn collega's zegt: Nee, dat is Gekke Gerrit, die lijkt alleen maar op Linke Loetje. Zonde van onze tijd.

Een rechter ziet zelf ook wel dat je 200 aangehouden bent ten gevolge van een persoonsverwisseling en zal je dan ook niet als gladjanus beschouwen. Hij zal die aanhoudingen buiten de zaak houden.
"Dat is die gast die we nooit kunnen pakken. Ga zijn kofferbak maar door, misschien ligt er wat." Ook bij brave burgers die niks te verbergen hebben is er soms wel wat te vinden. Die MP3-tjes, kunt u daar de CD van laten zien?
Ik ben (ten onrechte) aangehouden als verdachte van een misdrijf, maar het blijkt dat er sprake is van persoonsverwisseling door een geautomatiseerd systeem. Volgens de een kan ik dan toch in een crimineel veranderen en een ander denkt dat de politie met alle geweld zich wil wreken op de slachtoffer van een persoonsverwisseling.

En van beide aannames is de relatie met de werkelijkheid nagenoeg niet te onderbouwen.

Om terug te komen op jouw aanname: ik heb geen MP3's (gebruik apple dus al mijn cd's zijn geript op m4a). Ten tweede ik heb inderdaad een usb stick van 128 GB waarop de geripte muziek staat van al mijn CD's. Een kleine 800 CD's. Ik ben inderdaad zo'n 'idioot' die zijn muziek (films en boeken) gewoon koopt.
Dat is natuurlijk onzin. In het geval waar we het over hebben heeft de politie een concrete identiteit en foto van een verdachte. Bij die verdachte hoort een verdenking. De camera vindt een persoon op basis van alleen de foto, maar de identeit blijkt niet te kloppen.
En van 200 keer mijn id te laten zien aan 'passerende' agenten, ach daar heb ik geen enkele moeite mee.
Behalve als het je echt zou overkomen. 200 keer is echt heel veel, en na 20 keer ben je het geheid heel erg zat.
Je gebruikte zelf de term 'crimineel' maar nu ineens ben je 'geen inbreker'? Beetje makkelijk zo, termen wisselen als dat het beste uitkomt voor je argument.
Ik denk dat je bovenstaande argumentatie nog even moet nalezen.

Quote
Dus als ik iedere dag ten onrechte aangehouden wordt, wordt ik vanzelf een crimineel ?
Unquote

Ik ben dus geen inbreker, en daarom ook geen crimineel. En in tegenstelling tot het originele commentaar ga ik me door (herhaaldelijk) contact met de politie nog steeds niet crimineel gedragen en ga ik niet inbreken.
Die kans zit er inderdaad in. Ofwel je gaat je ontzettend netjes gedragen, ofwel je denkt 'het kan niks schelen, ze vinden altijd wel wat om de aanhouding te rechtvaardigen' en je voelt je inderdaad een crimineel.
Dat terwijl met de percentage die de Politie gebruikt de echte Jantje de Boef misschien niet eens gevonden is.
Dat is met een kans van 99% ook..
Het is allebei waar, echter voor de politie is alleen Jantje interessant, dus je zou verwachten dat juist de politie tot de ‘96% accuraat’-conclusie zou komen.

Ik stel me verder voor dat het in de praktijk vooral af hangt van technische en praktische zaken. Een gezichtsherkenning-systeem met kapot-gecomprimeerde, quasi-4K beelden uit een slecht verlichte straat werkt lang niet zo goed als een ‘pasfoto-situatie’ op een vliegveld-incheck-punt.
Jammer dat je dan weer met de 'politiestaat' opmerking komt alsof DAT is waar het om draait en niet waar het werkelijk bij zo'n systeem om draait, zo snel mogelijk in bepaalde situaties iemand kunnen vinden. 'Handmatig' in een grote groep in een groot gebied moeten zoeken naar een verdachte maakt de kans groot dat de verdachte sowieso niet herkend wordt, met dit systeem kan men dus snel de locatie beperken zodat men niet 100den personen 'handmatig' hoeft te controleren, maar dus nog maar een handvol. Dus in feite JUIST beter voor de privacy omdat nu alleen nog naar bv 5 personen 'handmatig' wordt gekeken ipv 100.
Lekker overdreven weer..
De statistiek van de politie lijkt mij veel logischer. Stel er zijn 10.000 mensen en Jantje wordt gezocht. Zonder computeralgoritme moet je een persoon 10.000 gezichten laten checken wat super lang duurt. Met algoritme volgens politiestatistiek wordt gekeken hoeveel mensen er uitgesloten kunnen worden. Als dat 99.9% is blijven er nog maar 10 gezichten over die handmatig gecheckt moeten worden. Als Jantje daar dan bij zit mag je het algoritme volgens mij gewoon succesvol noemen. De onderzoekers zouden zeggen dat maar 10% succesvol is.
Als je 42 keer een gezicht als 'verdacht' herkent en het 34 keer fout hebt dan heb je het in meer dan 4 in de 5 gevallen fout.
Wat probeert die politie zich daar nu uit te lullen.

[Reactie gewijzigd door ajolla op 6 juli 2019 12:51]

Maar nu ga jij er vanuit dat die 34 andere personen zonder dat er een rechter aan te pas komt direct ter dood worden veroordeeld. Ben je bekend met de tiplijnen van de politie? Wat denk je dat het percentage is dat daadwerkelijk iets oplevert ten opzichte van het totaal aantal tip?

En hoeveel van die 42 personen zouden zijn herkend als het systeem niet gebruikt zou worden? Laten we even naar de consequenties kijken:
- 80% van de 'foutief' herkende personen (34) moet zich legitimeren bij een agent
- Het alternatief is dat 8 personen blijven rondlopen welke aan het moorden blijven, stelen, plofkraken en oplichting. Wat zou het fijn zijn als we foto's van TBS patienten in de database plaatsen als ze niet op tijd terug komen van verlof zodat ze sneller van straat kunnen worden gehaald. Misschien als dit systeem rond Hilversum was ingezet, had met Michael P op tijd gespot en had misschien had Anne Faber dan nog wel geleefd.

Bij elk incident roepen we dat de politie meer moet doen om de samenleving te beschermen. Maar elk initiatief wordt direct tot de grond toe afgebrand als het niet 100% perfect is..
Wat zou het fijn zijn als we foto's van TBS patienten in de database plaatsen als ze niet op tijd terug komen van verlof zodat ze sneller van straat kunnen worden gehaald. Misschien als dit systeem rond Hilversum was ingezet, had met Michael P op tijd gespot en had misschien had Anne Faber dan nog wel geleefd.
Plofkraken daargelaten, maar als er wel explosieven gebruikt zijn in de misdaden van die man, dan vermeld dat systeem het even erbij, dan krijg je paniek binnen het korps en i.p.v. er zelf op te springen sturen ze gelijk de MP, maar dan naar 4 onschuldigen en 1 schuldige met alle gevolgen van dien.

In dit voorbeeld was het een beller en werd de politie ook nog eens naar het verkeerde adres gestuurd door het korps, maar wat nu als de AI ze naar 5 locaties stuurt? Dan krijgen we dit: https://www.complex.com/l...of-duty-swatting-incident
Er lopen ook potentiële moordenaars rond die nog nooit in een TBS-kliniek hebben gezeten. Dus alles in relatief in deze - kosten en baten, en zo.
Kennel;ijk wil men die mensen ook gen enkelband omdoen. Lijkt me nog een goedkopere oplossing ook. Al voelt dat niet 'vrij' en dat is waar het om gaat - iemand voelt zich onbespied, kan die daarmee omgaan?
Dat soort niet-onderbouwde stellingen zijn gevaarlijk.

Het punt is dat er 17 miljoen "potentiële moordenaars" rondlopen in Nederland die nog nooit in een TBS kiliniek hebben gezeten. De overgrote meerderheid heetf zelfs geen strafblad. Aan de andere kant, als je naar de feitelijke moordenaars gaat kijken dan zie je dat de overgrote meerderheid wel degelijk een strafblad had, en doorgaans een fors strafblad.
mooi verwoord !! _/-\o_
De conclusie van de politie is relevant als je graag een politiestaat wil waarin iedereen constant en overal gecontroleerd wordt, omdat iedereen een potentiële crimineel is.
In plaats van proberen criminelen in een willekeurige groep mensen te vinden kan de politie beter boeven gaan vangen 😀.
Zoals anderen ook al stellen, ze kunnen allebei gelijk hebben. Dan is er geen sprake van verdraaien. Maar natuurlijk laat je de beste cijfers vanuit je eigen perspectief zien. En dat is wel kwalijk. Voor beiden.
Feit blijft systeem denk iemand te herkennen, in 4/5 gevallen is het niet de persoon. Dat zijn de cijfers die je wil horen.

Of het systeem nu 1 2 of 100 miljoen mensen scant. Het gaat er om als men herkend dat de herkenning juist moet zijn.
Dat ligt er maar aan wat er met de zoekresultaten gebeurt. Als er meteen consequenties aan zitten voor de herkende persoon, dan moet het systeem natuurlijk zo weinig mogelijk false positives hebben.

Als het systeem vooral bedoeld is als een soort van filter of zoekmachine, waardoor de politie nog maar naar 5 personen hoeft te kijken ipv 100, dan is het niet zo'n probleem dat er een paar false positives zijn.

Het gaat er allemaal om, hoe het systeem gebruikt wordt en dat de mensen die er mee werken, zich daar van bewust zijn.
Die "Chinees spul" word wel gemaakt met westerse technologie.

Veel van die componenten en technieken zijn in Amerika, Europa, Israel of Japan ontwikkeld.

Daarnaast worden dit soort technieken in het westen sowieso minder optimaal gebruikt omdat er hier rekening gehouden moet worden met privacy wetten.

En privacy is nu net iets wat in China men niet kent en niet zwaar aan weegt...
Tje, dat is de reden waarom voor dit soort toepassingen normaal twee cijfers gegeven worden: precision en recall (zie https://developers.google...tion/precision-and-recall).

Afhankelijk van je toepassing kan dit trouwens een zeer zinvol resultaat zijn: een minder gevoelig voorbeeldje om de politiestaat even los te laten: als je bijvoorbeeld manuele productcontroles, waarbij je bijvoorbeeld gemiddeld 1 defect op 1000 producten hebt, wil automatiseren, is een systeem dat voor 99% van de producten met absolute zekerheid kan zeggen dat ze in orde zijn zeker zinvol: je haalt er nog altijd 9 in orde zijnde producten uit voor elk fout product, maar je moet nog maar 1% van je producten manueel controleren. Het is uiteraard voor verbetering vatbaar, maar het blijft een waardevol resultaat.

Voor toepassingen waar een manuele controle niet mogelijk is, of waar gemiste positieven niet zo'n probleem zijn, zou dit geen schitterend resultaat zijn.
Nee, er wordt gespeeld met statistieken.

Het systeem krijgt 8000 gezichten.
10 worden herkend
2 goed (het systeem is succesvol)
8 fout ( 0,1%)

[Reactie gewijzigd door leuk_he op 6 juli 2019 11:52]

Sky heeft het bij het goede eind. Immers van de populatie van 8000 kunnen kunnen er slechts 10 gecontroleerd worden, de 7990 anderen zijn achteraf nooit gecontroleerd op juistheid t.o.v. de (al dan niet) herkenning.

Het systeem krijgt 8000 gezichten
10 worden herkend
7990 worden niet herkend (waarbij je nooit zult weten of dit individuen betrof die al dan niet in de database zitten.) Het zou dus evenzogoed 7090 'false negatives' kunnen zijn... niemand zal het ooit weten.

Omdat er geen controle achteraf op de 7990 niet herkende gezichten is, mag je deze nooit meenemen in je statistieken. Je hebt immers geen idee over de juistheid van dit getal ten opzichte van de 10 herkende gezichten. Evenzogoed zouden er 500 'te herkennen' gezichten voorbij gekomen zijn, zonder herkend te worden.

Blijft over:

Van de 10 herkende gezichten blijken er:
8 onjuist herkend te zijn
2 juist herkend te zijn.

Een goede conclusie zou zijn:
1. ALS er al iemand herkend wordt, de kans 20% is, dat dit een juiste herkenning betreft.
2. Dat 0,1% (dus 1 op de 1000) onterecht als verdachte aangemerkt wordt (onterecht herkend).
3. Er geen zinnig woord te zeggen valt over 'hit rate' van het herkennen. Je zult nooit weten hoeveel 'er door zijn geglipt'.

Kom, doen we even een use case:

Nou... zet maar neer op Schiphol dan: Met 200.000 reizigers per dag heb je dus 200 onterechte aanhoudingen/herkenningen per dag. Elk kost toch wel een half uur om te behandelen, dus 100 man-uur per dag.

Dat is ruim 12 FTE aan verspilde bemensing. Waarbij je ook nog eens geen flauw idee hebt wie onterecht dit systeem kunnen passeren.

En... het kost je rond de 500.000 euro aan additionele personeelskosten per jaar, en 200 geïrriteerde reizigers per dag (rond de 70.000 per jaar).

Super systeem! ;)

Edit: 7090 moest natuurlijk 7990 zijn...

[Reactie gewijzigd door OCU-Macs op 6 juli 2019 13:10]

Kom, doen we even een use case:

Nou... zet maar neer op Schiphol dan: Met 200.000 reizigers per dag heb je dus 200 onterechte aanhoudingen/herkenningen per dag. Elk kost toch wel een half uur om te behandelen, dus 100 man-uur per dag.

Dat is ruim 12 FTE aan verspilde bemensing. Waarbij je ook nog eens geen flauw idee hebt wie onterecht dit systeem kunnen passeren.

En... het kost je rond de 500.000 euro aan additionele personeelskosten per jaar, en 200 geïrriteerde reizigers per dag (rond de 70.000 per jaar).

Super systeem! ;)
Dit raakt kant noch wal. Ook zonder gezichtsherkenning worden (en werden) er op luchthavens controles gedaan. Je toont je identiteitskaarten of paspoort, er wordt gekeken of die er echt uitziet (tegenwoordig wordt er waarschijnlijk gekeken of die in het systeem gekend is) en er wordt gekeken of jij wel bij de foto op je identiteitsbewijs hoort.

Daar zou in dit geval een automatische controle bijkomen die, mits goed geïmplementeerd, dagelijks bij 200 mensen een signaal geeft om wat beter te kijken. Mogelijk merken die mensen daar zelfs niets van, als het systeem geen mensen zou missen (geen false negatives of veel minder false negatives dan bij een gewone menselijke controle) zou het zelfs kunnen dat de gemiddelde controletijd omlaag gaat en je werk uitspaart.

Als je de USA binnenkomt is er tegenwoordig ook een opsplitsing in mensen bij wie het automatische systeem goed werkt, en mensen waar het twijfelt die nog beter gecontroleerd worden. Wachtrijen lijken mij er toch niet op verslechterd te zijn.
Maar dat is een heel ander mechanisme. Dit ging om een ‘wanted’ lijst. Dus mensen die je graag wilt oppakken. En zou zou je het dus ook willen implementeren.

Echter bij een false positive vindt er feitelijk een persoonsverwisseling plaats. Het systeem meent (bijvoorbeeld) Holleeder te herkennen bij iemand die daar dan kennelijk redelijk op lijkt.

Nu heb jij hem als beambte te pakken, en die persoon roept maar dat hij Arie Jansen heet en toont een bijbehorend identiteitsdocument. Dat kan natuurlijk vals zijn, dus moet je je er goed van vergewissen dat je straks niet de gezochte crimineel laat gaan, terwijl je hem in handen had.

En bij deze zaak was de ‘wanted list’ ook nog eens verouderd waardoor er mensen werden opgepakt wiens zaak al lang behandeld was.
Je hebt helemaal gelijk....en dat is Schiphol nog maar, zet het eens in op de tube in London met nog 15x zoveel reizigers en je hebt helemaal grote problemen...
Er hangen 500.000 politiecamera's en in totaal 4.500.000 camera's in London. Hoeveel van dat half miljoen aan herkenningssoftware hangt is niet bekend.
Een andere use case: Het handhaven van een stadionverbod. In plaats van iedereen een ID vragen, hoef je kleinere groep om de ID te vragen. Dan ben je gelijk van de meldplicht af, en het hele vervolgtraject als iemand zich niet meldt.
Alleen klopt er dus geen drol van je verhaal, want in het onderzoek is die controle in die 8000 dus wel uitgevoerd, dus van de 8000 waren er 7990 die zeker niet klopte, 10 daarvan leken op waar er naar gezocht werd.

Zo kun je dus alle onderzoek wel compleet uit zijn verband trekken, en DAT is wat sky dus juist doet.
Nee, dat is niet waar. In dit specifieke geval passeerden mensen de camera, het systeem deed z’n herkenningsdingetje, en als de persoon niet herkend werd kon deze gewoon passeren en in de menigte verdwijnen. Er was geen na-controle op de negatives.
Bij de ontwikkeling en het tunen van zo'n systeem kun je prima meten wat de false positives en false negative ratio zijn. Dat kun je gewoon testen.

Of het extra werk oplevert, ligt gewoon aan hoe je het systeem inzet. Als je de capaciteit van je controlesysteem als uitgangspunt neemt, bijvoorbeeld; we willen 1000 reizigers per dag aan een nadere controle onderwerpen...
..dan kun je dat willekeurig doen, op basis van de intuïtie en kennis van je personeel, of op basis van een systeem als dit. Waarschijnlijk wil je een combinatie.
Als je dus 1000 reizigers per dag wil controleren, heb je met een systematische aanpak gewoon meer kans dat je je tijd goed besteedt.
Maar dit systeem wil je juist als ‘sleepnet’ inzetten. Dat is namelijk de kracht van gezichtsherkenning. Je wilt iedere passant controleren of deze op je arrestatielijst staat.
Nee het verschil zin hem in de rekenmethode.
De politie neemt het totaal van de gecontroleerde personen en zegt dat 0.1% een false positive was. Wat technisch juist is.
Maar ze 'vergeten' daarbij te vermelden om hoeveel juiste matches het ging. Als je die tegen elkaar afzet is het ineens veel slechter. Maar voor de politie is dat waarschijnlijk ook helemaal geen probleem.

De cijfers zeggen niet zoveel als je niet weet wat er met het resultaat gedaan wordt. Als de politie nog maar 42 mensen handmatig hoeft te controleren i.p.v. 8000, dan kan ik mij voorstellen dat ze enthousiast zijn. Maar als je het resultaat gebruikt als iets dat 'de waarheid' is, dan kun je het beter niet gebruiken omdat je 81% onschuldigen aan gaat aanwijzen als verdachte. Dat laatste is tamelijk onwaarschijnlijk.

Ik ben niet zo'n voorstander van dit soort systemen, maar ik denk dat de politie in dit geval wel gelijk heeft over het onderzoeksresultaat. Sky News gebruikt dit als argument om het systeem ter discussie te stellen, maar dat is in mijn ogen niet het juiste middel.
Precies.

De manier waarop het verwoord wordt maakt het er ook niet duidelijker op:
Daaruit blijkt dat in 42 gevallen waarbij een gezicht werd herkend van een potentiële verdachte, het slechts acht keer geen vals-positief geval betrof.
Er wordt geen potentiële verdachte herkent. Voor het algoritme is het een match dus ís het de verdachte.

Verder zou de tekst een stuk beter te begrijpen zijn zonder de ‘driedubbele negatief’ constructie “geen vals-positief” in een driedubbele samengestelde zin.
Een match is een match. Niet meer, niet minder. Overigens betekend de match alleen dan men een mogelijk verdachte heeft gesignaleerd. Men stuurt niet direct een drone af op de persoon om hem te liquideren puur op basis van een match door de computer.. Er zal die persoon slechts om legitimatie worden gevraagd.

In plaats van dat de politie 8000 mensen moet controleren, maakt de computer nu een voorselectie van 42 personen. 8 van die 42 personen zijn daadwerkelijk een correcte match.

Maar het is wel grappig dat men een match als zwart-wit ziet. Ik heb jaren geleden op de universiteit een zelfde discussie gehad met een forensisch onderzoeker over vingerafdruk herkenning en DNA match. Bij een DNA match geeft men aan dat er een x procent kans is dat de verdachte het onderzochte DNA heeft achtergelaten. Echter vinger afdrukken hebben een match of geen match. Men zegt nooit dat er een x procent kans is dat de match niet toebehoord aan de verdachte. Ik vroeg hem of hij nu na 10 jaar beter geworden is in het herkennen van vingerafdrukken dan toen hij begon. Daarop beantwoorde hij bevestigend waarop ik aangaf dat de herkenning dus een skill is. Op de vraag waarom dan bij vingerafdrukken dan toch geen match percentage doorgeeft kon hij niet antwoorden anders dat men al meer 50 jaar op deze manier werkt..
Bij forensisch onderzoek heb je niet altijd een ideaal DNA-monster, waardoor bijvoorbeeld het resultaat vervuild kan raken, maar in principe is iemands DNA – en dus een match / niet match 100% nauwkeurig te bepalen. Dus ja, dat is heel zwart-wit.

Hetzelfde geldt voor vingerafdrukken. Overigens klinkt het nu een beetje alsof vingerafdrukken vergelijken een ambacht is, maar dit wordt al jaren met behulp van een computersysteem gedaan (HAVANK). Dat scheelt een hoop tijd want er staan miljoenen vingerafdrukken in…

Het forensisch instituut gaat voor een match uit van minimaal 12 punten die overeen moeten komen en tegelijkertijd dat er geen tegenstrijdigheden in de vergelijking mogen zitten.

Je kunt wel iets zeggen over de betrouwbaarheid van een vingerafdruk-match, want er is natuurlijk niet zomaar voor die 12 overeenkomsten (eigenlijk ook weer match-en op zich…) gekozen, maar als dat een aan zekerheid grenzende waarschijnlijkheid weergeeft en eenmaal de norm is, weet je daarmee genoeg.
Het is geen aan zekerheid grenzende waarschijnlijkheid. Bij vinger afdrukken heeft men een match of niet. Men kent geen middenweg.. Daarbij gaan wij er vanuit dat niemand dezelfde vingerafdruk heeft. Echter de National Acamedy of Science (NAS) heeft daarover een white paper geschreven:
http://www8.nationalacade...sitem.aspx?recordid=12589

Een van de conclusies
There is some evidence that fingerprints are unique to each person, and it is plausible that careful analysis could accurately discern whether two prints have a common source, the report says. However, claims that these analyses have zero-error rates are not plausible; uniqueness does not guarantee that two individuals' prints are always sufficiently different that they could not be confused, for example. Studies should accumulate data on how much a person's fingerprints vary from impression to impression, as well as the degree to which fingerprints vary across a population. With this kind of research, examiners could begin to attach confidence limits to conclusions about whether a print is linked to a particular person.
Het komt erop neer, dat in de VS steeds meer gevangenen worden vrijgelaten omdat de vingerafdruk wel een technisch gezien wel een match was, maar niet uniek genoeg. Te weinig punten welke overeenkwamen. Dat komt vaak omdat de prints van de verdachte vaak perfect zijn, terwijl de afdruk op plaats delict dat niet is. Als het aankomt op vingerafdrukken bestaat er niet zoiets als een 'partial match'.
Ik denk dat we hetzelfde bedoelen ;)

Maar ook al zijn vingerafdrukken uniek per persoon dan zijn ze dat alleen als je een groot genoeg gebied neemt. Als je alleen naar 3mm2 kijkt, zijn er op dat stukje simpelweg te weinig variaties mogelijk.

Daarnaast is het een beetje een ‘God probleem’: Het is vaak relatief eenvoudig te bewijzen dat iets kan of bestaat, maar niet bewijzen dat iets níet kan of bestaat.

Bij vingerafdrukken wordt algemeen aangenomen dat ze uniek zijn omdat het tegendeel nog nooit aangetoond is, maar in principe kan het. Er is geen reden waarom jij en ik niet stomtoevallig dezelfde vingerafdruk kunnen hebben.

Er is bijvoorbeeld geen mechanisme wat unieke vingerafdrukken aan foetussen in wording uitdeelt. Of controleert dat iedereen een unieke wijsvingerafdruk heeft en die anders aanpast.

Dat is allemaal extreem gezocht en theoretisch maar zo denkt een onderzoeker die alles uit wil sluiten.

In werkelijkheid hebben zelfs eeneiige tweelingen verschillende vingerafdrukken. Dat bedoel ik met ‘aan zekerheid grenzende waarschijnlijkheid’.
De politie baseert hun betrouwbaarheid op hoe vaak het systeem een positive geeft.
Als dat 1 keer per 1.000.000 beelden is, is het systeem 99,9999% betrouwbaar. Ongeacht het wel of niet een match was.
Dat heeft helemaal niets met betrouwbaarheid te maken, omdat je de false-positives en false-negatives niet meeneemt. Al zou het systeem compleet willekeurig selecteren zou de UK politie het nog betrouwbaar noemen.

De onderzoekers hebben het aantal false-positives tegen true-positives gezet, waarmee ze de betrouwbaarheid van de wel herkende beelden hebben bepaald. Dat is de ene helft van de betrouwbaarheid en met 19% true-positives is niet al te best om daar als burger door vervolgd te worden.

Het stuk false-negatives lijkt mij voor de politie belangrijker. Namelijk hoe vaak glipt iemand door je camera netwerk zonder dat het opgemerkt wordt. En daar hoort vooral bij of het wel/niet herkend worden willekeurig is of dat de persoon die niet herkend wil worden daar zelf voor kan zorgen.

[Reactie gewijzigd door jerrycan92 op 6 juli 2019 14:47]

Dus de onderzoekers kijken naar false positives, wat een redelijk gangbare maatstaf is. De politie kijkt naar alle positives waarbij ze false negatives buiten beschouwing laten ... 8)7 Het is leuk dat je een gezicht gevonden hebt met een systeem maar als dat niet het goede gezicht is heb je er niks aan natuurlijk, en alle gevallen waarbij geen gezicht wordt gevonden terwijl het er wel is... tsja. Misschien passen ze hun metrics aan als het enige gezicht wat bij elke input terugkomt dat van de hoofdcommissaris is, dan hebben ze volgens hun metric namelijk 0% foutmarge en 100% hits.
Ik ga ervan uit dat de politie vooral false negatives wil vermijden. Als er een verdachte voor je camera passeert wil je dat het systeem hem opmerkt, anders heeft je systeem geen nut. Dat er dan meer false positives zijn doet er minder toe want je hebt je workload al drastisch kunnen verlagen van het handmatig bekijken van 100% van de gezichten naar 0.1% van de gezichten om hetzelfde effect te bekomen.

Van wat ik uit dit bericht kan opmaken slaat het onderzoek eigenlijk de bal mis. False positives zijn niet de juiste metriek voor een surveillance systeem als dit. Het klopt inderdaad enigzins als je het van uit privacy standpunt zou bekijken, maar het privacy probleem zit hem mijns inziens niet bij het feit dat er dan te veel beelden handmatig gecheckt moeten worden, maar gewoon bij het principe van een surveillance systeem op zich. Stel je wordt gefilmd door een camera en die camera beslist zelf dat je geen target bent en stuurt je beelden niet door naar een mens of een backend. Dan weet eigenlijk niemand dat je daar ooit gepasseerd bent en zou je dus kunnen stellen dat je privacy minder geschonden is dan als wel alles handmatig bekeken wordt. (Los van het feit dat alle beelden sowieso wel een tijd opgeslagen zullen worden natuurlijk)

[Reactie gewijzigd door Karel VH op 6 juli 2019 10:34]

Het is bij dit soort dingen altijd lastig om de statistiek juist te doen en juist te interpreteren. Ik snap de reactie van de politie daarom wel. Er zijn blijkbaar heel weinig 'positives' (true en false), maar van die 'paar' positives zijn er relatief veel false.

Je hebt sowieso met deze situaties te maken:
- true vs false positives
- true vs false negatives

Beide zijn belangrijk en wil je idealiter extreem dicht bij nul krijgen krijgen.

Maar als je moet kiezen, dan hangt het van het doel van je analyse af wat minder erg is. Bij bijvoorbeeld analyses van vroegtijdig ontdekken van ernstige ziektes betekent een false-negative dat iemand met die ernstige ziekte is gemist en dus langer mee doorloopt (en wellicht de kans op genezing afneemt). Maar een - relatief - hoog false positive ratio is daar dan mogelijk niet zo kwalijk. Uiteraard moeten artsen dan nog verder onderzoek doen en niet zoveel (gezonde) patienten krijgen dat dat onwerkbaar wordt..

Bij dit soort politiesystemen is het lastig; je wilt niet mensen ten onrechte verdacht maken. Ook de politie wil dat niet, voor degene die hun goede bedoelingen niet wil geloven kan je altijd nog de egoistische reden volgen; het is tenslotte tijdverspilling voor ze.

Maar je wil natuurlijk wel die personen die je zoekt eruit krijgen. En bij dergelijke systemen is er nou eenmaal een kans dat het verkeerd wordt gezien, dat gebeurt ook als echte mensen het analyseren doen. Het is wat dat betreft belangrijker wat er daarna gebeurt, dan of er wel of niet relatief veel false positives zijn. Als je direct gaat arresteren is het heel kwalijk, als je eerst verder gaat kijken of het inderdaad een match is, dan valt het wel mee.

En als er veel false negatives zijn kun je wellicht beter je geld ergens anders in steken...
Anoniem: 1183010
@DataGhost6 juli 2019 10:29
Gezichtsherkenning is gewoon zeer omvangrijk bevolkingsonderzoek. En zelfs als die gezichtsherkenning heel betrouwbaar is, kan dat veel fout-negatieven opleveren. Daar moet je vervolgens iets mee en dat kan zo'n systeem in de praktijk onbruikbaar maken.

Voor de liefhebbers die willen spelen met de cijfertjes... Deze site heeft een aardige calculator:
Statisticide.com
Zij (de politie) stellen dat de onderzoeksresultaten 'negatief en ongebalanceerd' zijn
Wait, wut? Sinds wanneer is de politie relevant in het beoordelen van de kwaliteit van academisch onderzoek?!

En de Britse politie vindt zichzelf een autoriteit op het gebied van gezichtsherkenningssoftware?

Wat ik voor me zie is een stel kinderen (de Britse politie) dat boos is, omdat hun nieuwste stukje speelgoed niet cool gevonden wordt door de rest.

Eng land.

[Reactie gewijzigd door GeoBeo op 6 juli 2019 09:59]

a) ik vraag me af of de situatie in Nederland zoveel anders is;
b) welk criterium je hanteert hangt er m.i. helemaal van af hoe de software gebruikt wordt.

Als je een foto van een verdachte door de database heen haalt, en je de uitkomst als "dader" beschouwt, dan moet je m.i. de criteria van de onderzoekers hanteren.

Maar als je de foto van de verdachte door de database heen haalt om "leads" te genereren die je vervolgens nader onderzoekt, dan wil je volgens mij zo weinig mogelijk false negatives ("gemiste leads"), en vind je het niet erg dat je veel false positives hebt (kandidaten die door het systeem foutief als gelijkend op de verdachte worden aangemerkt); die ga je namelijk nader onderzoeken, en het eerste criterium zou moeten zijn dat een mens beoordeelt of er gelijkenis is.

Het wordt natuurlijk wél link als de software aanvankelijk op manier 2 gebruikt wordt en dat gaat evolueren naar manier 1...
a) ik vraag me af of de situatie in Nederland zoveel anders is;
Ik ook.
b) welk criterium je hanteert hangt er m.i. helemaal van af hoe de software gebruikt wordt.

Als je een foto van een verdachte door de database heen haalt, en je de uitkomst als "dader" beschouwt, dan moet je m.i. de criteria van de onderzoekers hanteren.

Maar als je de foto van de verdachte door de database heen haalt om "leads" te genereren die je vervolgens nader onderzoekt, dan wil je volgens mij zo weinig mogelijk false negatives ("gemiste leads"), en vind je het niet erg dat je veel false positives hebt (kandidaten die door het systeem foutief als gelijkend op de verdachte worden aangemerkt); die ga je namelijk nader onderzoeken, en het eerste criterium zou moeten zijn dat een mens beoordeelt of er gelijkenis is.
Is het dan echt de moeite waard om (ongetwijfeld hele dure) software te gebruiken om in essentie 20% van het werk te besparen van foto's bekijken die sowieso niet op die van de dader lijken?

Misschien wel. Maar is het dan het risico waard van:
Het wordt natuurlijk wél link als de software aanvankelijk op manier 2 gebruikt wordt en dat gaat evolueren naar manier 1...
Dit dus. "If it can be used wrongly, it will be used wrongly."
Is het dan echt de moeite waard om (ongetwijfeld hele dure) software te gebruiken om in essentie 20% van het werk te besparen van foto's bekijken die sowieso niet op die van de dader lijken?

Misschien wel.
Bij politieonderzoeken moeten rechercheurs vaak duizenden foto’s doorspitten per in beslag genomen telefoon, dus ja, dit kost ontzettend veel tijd en dus geld, elke dag weer. Je wil die rechercheurs vooral inzetten om zoveel mogelijk relevante informatie voor een bepaalde zaak te verzamelen. Massa’s digitale plaatjes vergelijken kun je beter door een algoritme laten doen. Die zijn daar veel beter en sneller in. Want laten we nou niet doen alsof mensen dit beter kunnen, afgezien van dat ze er 100x zo lang over doen.
Maar is het dan het risico waard van:
Het wordt natuurlijk wél link als de software aanvankelijk op manier 2 gebruikt wordt en dat gaat evolueren naar manier 1...
Dit dus. "If it can be used wrongly, it will be used wrongly."
Ik snap wel waar je bang voor bent, maar zoals het nu gaat, is dit in Europa nog steeds alleen een hulpmiddel om het doorzoeken van een gigantische bak beelden eenvoudiger en sneller te maken.
[...]

Wait, wut? Sinds wanneer is de politie relevant in het beoordelen van de kwaliteit van academisch onderzoek?!
Als (ik heb het onderzoek niet gelezen, dus ik doe er geen uitspraak over of dat klopt, of dat er een beetje selectief gefilterd is uit het onderzoek) er enkel naar recall gekeken is en niet naar precision, heeft de politie wat mij betreft gelijk als ze stellen dat het onderzoek ongebalanceerd is.

Los van de wenselijkheid, is het zeker zinvol als de politie op camerabeelden maar 5 mensen zelf nog eens goed moet bekijken in plaats van bijvoorbeeld 1000, ook als 4 van die 5 bij een menselijke controle toch niet de gezochte persoon blijken te zijn. In een dergelijke context hebben ze gelijk dat het cijfer 80% fout ongenuanceerd is.
Er werken geen academici bij de politie denkt u?
Zou wel eens willen zien als het over China ging, dan had het moord en brand geweest.
Terwijl de gemiddelde tweaker ongeveer 100 maal eerder ( verwacht dat het nog veel hoger ligt ) Londen een bezoek brengt dan China. En dan ook nog, deelt China de beeld met niemand en kun je er van uitgaan dat GB ze netjes deelt met de US.

Oh ja Londen alleen, heeft dus 500.000
https://www.cctv.co.uk/ho...eras-are-there-in-london/

en gebruikt gezichtsherkenning, net als wat de chinezen willen maar die hebben nu in heel China
nog maar 1.500.000 camera's.
het is toch ook moord en brand nu? Of lees jij reacties van gebruikers die dit toejuichen?
Vind van niet moet je dit bericht maar eens lezen
nieuws: 'China zet ai-gestuurde gezichtsherkenning in voor identificatie van ...

Eerste regel van de reacties
"Dit laat zien wat voor land China echt is... "
Blijkbaar mag het wel in GB, maar we gaan er maar van uit dat het alleen voor criminelen gebruikt wordt.
Terwijl de gemiddelde Oeigoeroe nou niet echt vredeolievent is.
Terwijl de gemiddelde Oeigoeroe nou niet echt vredeolievent is.
Dat is nou precies de aanname waarom China veroordeeld wordt. hoeveel oeigoeren ken je persoonlijk? Mijn Marokkaanse buurman is ook geen mocro maffia, maar werkt gewoon bij ....de politie.

Statistiek of niet, als met deze techniek de search space voor de politie verkleint wordt is dat voor iedereen beter, ook voor de mensen die er onterecht worden uitgepikt.
ik ken er twee die in Xinjiang gewoond hebben en als die naar China gaan, gaan ze niet naar Xinjiang ( waar de familie woont ) omdat ze het daar te gevaarlijk vinden.

[Reactie gewijzigd door amigob2 op 7 juli 2019 20:15]

Statistiek: "Het dusdanig aanpassen van de criteria, zodat het resultaat gunstig voor jou is..."

Herinner me nog dat mijn statistiek leraar de vraag stelde: "Wat vind je van geweld in films". Om het antwoord te krijgen wat je wilt, stel je die vraag bij de uitgang van de bioscoop, nadat een actiefilm gedraaid is - of alternatief zondag om 12 uur bij de uitgang van de kerk.

Overigens niet tegen statistiek, maar wel met het gegoochel van de nummertjes in de media om de publieke opinie te beinvloeden.

[Reactie gewijzigd door rboerdijk op 6 juli 2019 09:59]

Zoals ik het altijd begrepen heb, kijkt dit soort software naar een aantal ijkpunten in het gezicht. De hoeken van de mond, de kin linker en rechtkamt van elk oog, begin en eind van de neus etc...

Ik kan mij voorstellen dat als je op zoek bent naar een bepaald gezicht, en er komt iemand voorbij die (in het beschikbare video materiaal, want de gezochte persoon gaat niet netjes staan poseren, en toont misschien niet alle kanten van het gezicht) een overeenkomst heeft met 70+% van deze ijkpunten, dat je een alarm wilt hebben. Liever een paar keer te veel controleren, dan wachten op een 100% hit.

Daarnaast zijn dit soort cijfers zo multi interpretabel dat ze alleen wat zeggen als je het hele onderzoek leest en vanuit die gedachte er een cijfer aan hangt. Ik kan nu bijvoorbeeld ook die 80% failrate omdraaien naar alarmen op basis van een 20% gelijkenis tussen beeldmateriaal en gezochte persoon.
Van de 42000 gescande gezichten worden er 42 “herkend” met een foutmarge van 81%.

Lijkt mij handig te weten over welke tijdspanne dit onderzoek is gedaan? 6 tests zegt niet zoveel.
Ik kan me voorstellen dat de politie andere criteria heeft dan false positives. False negatives lijkt me erger. Als je een miljoen foto's hebt en je moet een persoon zoeken, ben je blij als de software 99.9% van de fotos verwijderd, ook al moet je van de overgebleven foto's nog 80% zelf verwijderen.
Als ze nou deze technologie bij de chinezen inkopen, komen ze een stuk verder. :+
Was hetzelfde aan't denken en de gezichten van de Aziaten liggen veel dichter tegen elkaar aan.
Tja, dat hoor ik bijna dagelijks: al die blanken, die lijken zo op elkaar.
Als ik de politie was zou ik liever meer hits krijgen waar je even doorheen moet bladeren dan dat ik iemand laat lopen. Het lijkt me dat ze daar dan ook hun algoritme op hebben afgestemd. Gezichtsherkenning is niet 100% feilloos, zeker als de input niet geweldig is. In hoeverre je dan kiest voor meer strikte of juist minder strikte matching is dan belangrijk voor het succes van het project. Als het bijv. gaat om toegang tot een gebouw of betalingen dan zijn false positives best vervelend, je geeft dan toegang aan iemand die dat niet zou moeten krijgen. In dit geval kost een false positive alleen maar wat extra werk.

Doorgaans krijg je bij gezichtsherkenningssystemen een percentage over hoe zeker het systeem van een match is. Door jouw minimale percentage dat je accepteert te wijzigen kun je dus een balans proberen te vinden in hoeveel goede en foute resultaten je wil hebben.

Op dit item kan niet meer gereageerd worden.

Tweakers maakt gebruik van cookies

Tweakers plaatst functionele en analytische cookies voor het functioneren van de website en het verbeteren van de website-ervaring. Deze cookies zijn noodzakelijk. Om op Tweakers relevantere advertenties te tonen en om ingesloten content van derden te tonen (bijvoorbeeld video's), vragen we je toestemming. Via ingesloten content kunnen derde partijen diensten leveren en verbeteren, bezoekersstatistieken bijhouden, gepersonaliseerde content tonen, gerichte advertenties tonen en gebruikersprofielen opbouwen. Hiervoor worden apparaatgegevens, IP-adres, geolocatie en surfgedrag vastgelegd.

Meer informatie vind je in ons cookiebeleid.

Sluiten

Toestemming beheren

Hieronder kun je per doeleinde of partij toestemming geven of intrekken. Meer informatie vind je in ons cookiebeleid.

Functioneel en analytisch

Deze cookies zijn noodzakelijk voor het functioneren van de website en het verbeteren van de website-ervaring. Klik op het informatie-icoon voor meer informatie. Meer details

janee

    Relevantere advertenties

    Dit beperkt het aantal keer dat dezelfde advertentie getoond wordt (frequency capping) en maakt het mogelijk om binnen Tweakers contextuele advertenties te tonen op basis van pagina's die je hebt bezocht. Meer details

    Tweakers genereert een willekeurige unieke code als identifier. Deze data wordt niet gedeeld met adverteerders of andere derde partijen en je kunt niet buiten Tweakers gevolgd worden. Indien je bent ingelogd, wordt deze identifier gekoppeld aan je account. Indien je niet bent ingelogd, wordt deze identifier gekoppeld aan je sessie die maximaal 4 maanden actief blijft. Je kunt deze toestemming te allen tijde intrekken.

    Ingesloten content van derden

    Deze cookies kunnen door derde partijen geplaatst worden via ingesloten content. Klik op het informatie-icoon voor meer informatie over de verwerkingsdoeleinden. Meer details

    janee