Nalinlang ang CSAM system ng Apple, ngunit may dalawang pananggalang ang kumpanya

Update: Binanggit ng Apple ang pangalawang inspeksyon sa server, at ang isang propesyonal na kumpanya ng computer vision ay nagbalangkas ng posibilidad ng kung ano ang maaaring ilarawan sa "Paano maaaring gumana ang pangalawang inspeksyon" sa ibaba.
Matapos i-reverse ng mga developer ang mga bahagi nito, ang unang bersyon ng Apple CSAM system ay epektibong nalinlang upang markahan ang isang inosenteng imahe.Gayunpaman, sinabi ng Apple na mayroon itong karagdagang mga pananggalang upang maiwasan itong mangyari sa totoong buhay.
Ang pinakabagong pag-unlad ay naganap pagkatapos mai-publish ang NeuralHash algorithm sa open source developer website na GitHub, kahit sino ay maaaring mag-eksperimento dito...
Gumagana ang lahat ng CSAM system sa pamamagitan ng pag-import ng database ng mga kilalang materyal na pang-aabusong sekswal sa bata mula sa mga organisasyon tulad ng National Center for Missing and Exploited Children (NCMEC).Ang database ay ibinibigay sa anyo ng mga hash o digital fingerprint mula sa mga larawan.
Bagama't karamihan sa mga higante ng teknolohiya ay nag-i-scan ng mga larawang na-upload sa cloud, ginagamit ng Apple ang NeuralHash algorithm sa iPhone ng customer upang bumuo ng hash value ng nakaimbak na larawan, at pagkatapos ay ikumpara ito sa na-download na kopya ng CSAM hash value.
Kahapon, isang developer ang nag-claim na reverse engineered ang algorithm ng Apple at inilabas ang code sa GitHub-ang claim na ito ay epektibong nakumpirma ng Apple.
Sa loob ng ilang oras pagkatapos ilabas ang GitHib, matagumpay na ginamit ng mga mananaliksik ang algorithm upang lumikha ng sinadyang maling positibo-dalawang ganap na magkaibang larawan na nakabuo ng parehong halaga ng hash.Ito ay tinatawag na banggaan.
Para sa gayong mga sistema, palaging may panganib ng mga banggaan, dahil ang hash ay siyempre isang lubos na pinasimple na representasyon ng imahe, ngunit nakakagulat na ang isang tao ay maaaring makabuo ng imahe nang napakabilis.
Ang sadyang banggaan dito ay patunay lamang ng konsepto.Walang access ang mga developer sa CSAM hash database, na mangangailangan ng paglikha ng mga maling positibo sa real-time na system, ngunit ito ay nagpapatunay na ang mga pag-atake ng banggaan ay medyo madali sa prinsipyo.
Epektibong kinumpirma ng Apple na ang algorithm ay ang batayan ng sarili nitong sistema, ngunit sinabi sa motherboard na hindi ito ang huling bersyon.Sinabi rin ng kumpanya na hindi nila inilaan na panatilihin itong kumpidensyal.
Sinabi ng Apple sa Motherboard sa isang email na ang bersyon na sinuri ng user sa GitHub ay isang generic na bersyon, hindi ang huling bersyon na ginamit para sa iCloud Photo CSAM detection.Sinabi ng Apple na isiniwalat din nito ang algorithm.
"Ang NeuralHash algorithm [...] ay bahagi ng nilagdaang operating system code [at] mapapatunayan ng mga mananaliksik ng seguridad na ang pag-uugali nito ay umaayon sa paglalarawan," isinulat ng isang dokumento ng Apple.
Sinabi pa ng kumpanya na may dalawa pang hakbang: pagpapatakbo ng pangalawang (lihim) na sistema ng pagtutugma sa sarili nitong server, at manu-manong pagsusuri.
Ipinahayag din ng Apple na pagkatapos na maipasa ng mga user ang 30-match threshold, susuriin ng pangalawang hindi pampublikong algorithm na tumatakbo sa mga server ng Apple ang mga resulta.
“Pinili ang independent hash na ito upang tanggihan ang posibilidad na tumugma ang maling NeuralHash sa naka-encrypt na CSAM database sa device dahil sa adversarial interference ng mga hindi-CSAM na larawan at lumampas sa katugmang threshold.”
Nakahanap si Brad Dwyer ng Roboflow ng paraan para madaling makilala ang dalawang larawang nai-post bilang patunay ng konsepto para sa isang pag-atake ng banggaan.
Nagtataka ako kung ano ang hitsura ng mga larawang ito sa CLIP ng isang katulad ngunit ibang neural feature extractor na OpenAI.Ang CLIP ay gumagana nang katulad sa NeuralHash;ito ay nangangailangan ng isang imahe at gumagamit ng isang neural network upang makabuo ng isang hanay ng mga tampok na vector na nagmamapa sa nilalaman ng larawan.
Ngunit iba ang network ng OpenAI.Ito ay isang pangkalahatang modelo na maaaring mag-map sa pagitan ng mga imahe at teksto.Nangangahulugan ito na magagamit natin ito upang kunin ang impormasyon ng larawan na naiintindihan ng tao.
Pinatakbo ko ang dalawang collision images sa itaas sa pamamagitan ng CLIP para makita kung naloko rin ito.Ang maikling sagot ay: hindi.Nangangahulugan ito na dapat na mailapat ng Apple ang pangalawang feature extractor network (gaya ng CLIP) sa mga nakitang CSAM na imahe upang matukoy kung totoo o peke ang mga ito.Ito ay mas mahirap na bumuo ng mga imahe na nanlilinlang sa dalawang network sa parehong oras.
Sa wakas, tulad ng nabanggit kanina, ang mga larawan ay manu-manong sinusuri upang kumpirmahin na ang mga ito ay CSAM.
Sinabi ng isang tagapagpananaliksik sa seguridad na ang tanging tunay na panganib ay ang sinumang gustong inisin ang Apple ay maaaring magbigay ng mga maling positibo sa mga tagasuri ng tao.
“Talagang idinisenyo ng Apple ang system na ito, kaya ang hash function ay hindi kailangang panatilihing lihim, dahil ang tanging bagay na magagawa mo sa 'non-CSAM bilang CSAM' ay ang inisin ang koponan ng pagtugon ng Apple sa ilang mga junk na imahe hanggang sa ipatupad nila ang mga filter upang maalis pagsusuri Ang mga basurang nasa pipeline ay mga maling positibo, "sinabi ni Nicholas Weaver, isang senior researcher sa Institute of International Computer Science sa University of California, Berkeley, sa Motherboard sa isang online chat.
Ang privacy ay isang isyu ng pagtaas ng pag-aalala sa mundo ngayon.Sundin ang lahat ng ulat na nauugnay sa privacy, seguridad, atbp. sa aming mga alituntunin.
Si Ben Lovejoy ay isang British na teknikal na manunulat at editor ng EU para sa 9to5Mac.Kilala siya sa kanyang mga column at mga artikulo sa talaarawan, tinutuklas ang kanyang karanasan sa mga produkto ng Apple sa paglipas ng panahon upang makakuha ng mas kumpletong mga review.Nagsusulat din siya ng mga nobela, mayroong dalawang technical thriller, ilang maikling science fiction na pelikula at isang rom-com!


Oras ng post: Ago-20-2021