„Amazon“ atpažinimas klaidingai sutiko 28 kongreso narius su areštais

ACLU

Prieštaringai vertinamas Silicio slėnio technologijų milžino veido atpažinimo įrankis „Amazon Rekognition“ savo duomenų bazėje klaidingai priderino 28 JAV Kongreso narius su fotosesijomis, naują ataskaitą šiandien atskleidė Amerikos piliečių laisvių sąjunga.



„Šie rezultatai rodo, kodėl Kongresas turėtų prisijungti prie ACLU ragindamas moratoriumą teisėsaugos naudojimui veido stebėjimu“, - sakė Šiaurės Kalifornijos ACLU advokatas Jacobas Snow.

Atsakydamas į „BuzzFeed News“ klausimus apie ataskaitą, „Amazon Web Services“ atstovas pabrėžė, kad „Rekognition“ anksčiau buvo naudojamas daugeliui naudingų tikslų. Jis buvo panaudotas siekiant užkirsti kelią prekybai žmonėmis, slopinti vaikų išnaudojimą ir vėl sujungti dingusius vaikus su savo šeimomis, tvirtino atstovas spaudai, taip pat sustiprino saugumą „naudojant kelių veiksnių autentifikavimą“ ir užkerta kelią paketų vagystėms. „Mes ir toliau džiaugiamės, kaip vaizdo ir vaizdo įrašų analizė gali būti pasaulio varomoji jėga, įskaitant viešąjį sektorių ir teisėsaugą“, - pranešime sakė „BuzzFeed News“ atstovas.



Tačiau, remiantis ACLU ataskaita, technologija toli gražu nėra tobula. „Recognition“ neteisingai nustatė daugiau nei dvi dešimtis įstatymų leidėjų kaip žmones, kurie buvo areštuoti už nusikaltimą, o melagingos rungtynės buvo neproporcingai spalvotos, pranešė ACLU. Beveik 40 procentų klaidingų „Rekognition“ atitikmenų teste buvo spalvoti žmonės, nors jie sudaro tik 20 procentų Kongreso. Šeši Kongreso „Black Caucus“ nariai, įskaitant žymų pilietinių teisių lyderį Johną Lewisą, buvo atpažinti kaip atitikmuo „mugshot“ „Rekognition“ duomenų bazėje.



Po ACLU ataskaitos, paskelbtos šį rytą, atstovai Lewis ir Jimmy Gomez parašė laišką „Amazon“ generaliniam direktoriui Jeffui Bezosui , prašydami susitikimo aptarti klaidingas atitiktis ir galimą technologijos poveikį spalvų bendruomenėms.

Atlikdamas testą, ACLU naudojo standartinę veido atpažinimo sistemą, kurią „Amazon“ siūlo nebrangiai teisėsaugai ir visuomenei. ACLU sakė, kad išleido tik 12,33 USD, kad sukurtų 25 000 viešai prieinamų sulaikytų nuotraukų duomenų bazę ir atliktų testą, kuriame būtų kiekvieno dabartinio JAV rūmų ir Senato nario nuotraukos. Joshua Kroll , kompiuterių mokslininkas ir postdoktorantas UC Berkeley informacijos mokykloje, nepriklausomai patikrino rezultatus.

„Šie rezultatai atitinka platesnį mašinų mokymosi literatūros rezultatų modelį“, - sakė Krollas „BuzzFeed News“. „Ne tik sunku tiksliai atpažinti didelių asmenų grupių veidus, bet ir įrodyta, kad veido atpažinimo sistemos veikia daug prasčiau moterims, spalvotiems žmonėms, o ypač spalvotoms moterims.



„Kuriant pažangias kompiuterines technologijas svarbu tai padaryti atsakingai“, - tęsė Krollas. „Šie rezultatai rodo, kad„ Rekognition “neturėtų būti naudojamas kai kurioms teisėsaugos programoms, kaip šiuo metu.“

ACLU

Atsakydamas į tai, AWS atstovas spaudai sakė, kad ACLU ataskaitos rezultatus tikriausiai būtų galima pagerinti „laikantis geriausios praktikos“ nustatant patikimumo ribas - procentinę tikimybę, kad „Rekognition“ surado atitiktį.

„Nors 80 proc. Pasitikėjimas yra priimtina slenkstis dešrainių, kėdžių, gyvūnų ar kitų socialinės žiniasklaidos naudojimo atvejų nuotraukoms, tai nebūtų tinkama, kad būtų galima nustatyti asmenis, turinčius pagrįstą tikrumą“, - sakė atstovas. „Naudodami veido atpažinimą teisėsaugos veiklai, mes klientams patariame nustatyti aukštesnę ribą, bent 95% ar didesnę“.



ACLU teigė, kad „Amazon“ nesistengė paklausti klientų, kam jie naudoja „Rekognition“. „Vietoj to, įrankis nustato vieną numatytąjį: tą patį 80%, kurį naudojome atlikdami testą“, - sakė Snow. Jis nurodė, kad „Amazon“ svetainė šiuo metu rekomenduoja 80% pasitikėjimą už žmonių veidų atpažinimą.

„Amazon“

„Atrodo, kad„ Amazon “praleido arba atsisako pripažinti platesnį dalyką: veido atpažinimo technologija vyriausybės rankose yra skirta piktnaudžiavimui ir kelia didelį susirūpinimą dėl pilietinių teisių“, - pridūrė Snow. Jis galėtų leisti policijai nustatyti, kas dalyvauja protestuose, ICE - stebėti imigrantus, o miestai - sekti savo gyventojus, nepaisant to, ar jie turi pagrindo įtarti nusikalstamą veiklą. „Pakeitus slenkstį nuo 80 iki 95 proc., Tai nesikeičia. Tiesą sakant, tai gali ją sustiprinti “.

Su šia žinia įvairių partijų įstatymų leidėjai išreiškė susirūpinimą dėl „Amazon“ technologijos veikimo. „Ar esate tikras, kad„ Amazon “ne tik kalba Donaldas Trampas , Tuckeris Karlsonas ir Breitbartas ? Nes jie mano, kad visi lotyniški yra nusikaltėliai “, - sakė Luisas Gutiérrezas, kuris pagal ACLU ataskaitą buvo melagingai suderintas su arešto nuotrauka.

„Tačiau rimčiau: jei ši technologija nebuvo įrodyta, kad ji veiksminga ir turi sistemingą šališkumą prieš spalvotus žmones, tai pakenks, o ne padės teisėsaugai ir visiems kitiems, kurie ją naudoja“, - sakė Gutiérrezas.

„Ši technologija nėra paruošta geriausiam laikui, o rizika pagrindinėms amerikiečių laisvėms yra didesnė už naudą“, - sakė atstovas Tomas Garrettas, kitas įstatymų leidėjas, melagingai priderintas prie arešto nuotraukos.

„Akivaizdu, kad ši technologija nesugebėjo pašalinti absurdiškai mažos kliūties, kai kalbama apie tikslumą“, - sakė senatorius Ronas Wydenas, kuris nebuvo melagingai suderintas su fotosesija. „Mano nuomone, vyriausybė turėtų naudoti tik veido atpažinimo sistemas su aiškiomis taisyklėmis ir griežta kontrole, kad būtų išvengta nesąlygiško ir plataus nekaltų amerikiečių stebėjimo“.

„Ar esate tikras, kad„ Amazon “nekalba tik su Donaldu Trumpu, Tuckeriu Carlsonu ir Breitbartu? Nes jie mano, kad visi lotyniški yra nusikaltėliai “.

„BuzzFeed News“ pateiktame pareiškime atstovas Emanuelis Cleaveris paminėjo, kaip ankstesni tyrimai atskleidė veido atpažinimo technologijų netikslumus ir šališkumą, pvz., 2012 tyrimas bendraautoris FTB technologas, radęs veido atpažinimo algoritmus, kuriuos policija naudoja Kalifornijoje, Merilande, Pensilvanijoje ir kitur, afroamerikiečiams nuolat veikė 5–10% prasčiau nei kaukazams. „Aš vis dar labai susirūpinęs, kad„ Amazon “atpažinimas dar labiau paaštrins rasinio šališkumo visuomenėje problemas, ypač ten, kur jas naudoja teisėsauga, rašė jis.

Savo ruožtu „Amazon“ teigė, kad „realaus pasaulio scenarijuose“ atpažinimo įrankis „beveik išimtinai naudojamas siekiant padėti susiaurinti sritį ir leisti žmonėms greitai peržiūrėti ir apsvarstyti galimybes, remiantis jų sprendimais“. AWS atstovas pridūrė, kad technologijos tikslas yra „ne priimti visiškai savarankiškus sprendimus.

Gegužę ACLU pranešė, kad „Amazon“ teisėsaugos institucijoms teikė „Rekognition“, kad apžiūrėtų piliečius, o Oregono Vašingtono grafystė ir Orlandas ją naudojo nuo 2017 m. Ataskaita paskatino „Amazon“ darbuotojus, akcininkus ir keletą pilietinių teisių grupių pradėti judesys ir paprašė „Amazon“ generalinio direktoriaus Jeffo Bezoso nutraukti sutartis su policija. Tarp jų buvo ir Kongreso Juodasis Kaukazas, kuris parašė a laišką išreiškė susirūpinimą dėl „gilių neigiamų nenumatytų padarinių“, kuriuos veido stebėjimas gali turėti juodaodžiams, nelegaliems imigrantams ir protestuotojams.

Bezosas į tai nereagavo viešai. Dar gegužės mėnesį „Amazon Web Services“ atstovas spaudai „BuzzFeed News“ sakė, kad „šiandien gyvenimo kokybė būtų daug blogesnė, jei uždraustume naujas technologijas, nes kai kurie žmonės gali nuspręsti piktnaudžiauti šia technologija“.

„Įsivaizduokite, jei klientai negalėtų nusipirkti kompiuterio, nes jį buvo galima naudoti neteisėtais tikslais“, - sakė atstovas spaudai ir pridūrė, kad „Amazon“ reikalauja, kad klientai laikytųsi įstatymų ir atsakingai naudotųsi „Rekognition“. Bendrovės paslaugų pažeidėjai bus laikinai sustabdyti, pranešė „Amazon“.

Netrukus po reakcijos Orlando miestas sakė tai atitrauktų veido atpažinimo programos kištuką. Tačiau privatumo ir pilietinių laisvių šalininkai, stengdamiesi atsisakyti šios technologijos, dar turi daug nuveikti. „Orlando“ atstovai liepą sakė, kad miestas persvarstė savo poziciją ir kad policijos departamentas susės su „Amazon“, kad apibūdintų visiškai naują pilotą. Miesto policijos vadovas Johnas Mina, pasakojo „Orlando Sentinel“ „Tikrai norima užkirsti kelią kitai tragedijai“.

ACLU