News

Client Side Scanning and Deep Perceptual Hashing Vulnerabilities

22/06/2022

ATHENE scientists at TU Darmstadt have identified significant vulnerabilities and manipulation possibilities in client-side scanning and deep perceptual hashing. The process came into focus when Apple introduced "NeuralHash" in 2021, a new approach to detecting child abuse imagery, but withdrew the introduction after massive criticism. The research results of the scientists now prove the dangers of client-side scanning methods for users.

Further information in German.

Mit "NeuralHash" präsentierte der US-amerikanische Technologiekonzern Apple im vergangenen Sommer einen neuen Weg zur Erkennung von Bildmaterial im Bereich des Kindesmissbrauchs.  Im Unterschied zu traditionelleren Methoden, welche üblicherweise auf der Serverseite nach hochgeladenem Content mit illegalem Material suchen, nutzte Apple einen so genannten Client-Side-Scanning-Ansatz. Bei diesem werden die Dateien direkt auf den Nutzergeräten analysiert, bevor sie verschlüsselt und in die Cloud hochgeladen werden. So soll die Sicherheit und Privatsphäre der Nutzer geschützt bleiben, da die Ende-zu-Ende-Verschlüsselung nicht gebrochen werden muss.

Dominik Hintersdorf und Lukas Struppek, beide Dokotranden am von Prof. Kristian Kersting geleiteten Artificial Intelligence and Machine Learning Lab, schauten sich daraufhin NeuralHash als eine reale Anwendung solcher Client-Side-Scanning-Algorithmen genauer an. Gemeinsam mit Daniel Neider vom Max-Planck-Institut, jetzt Professor für Sicherheit und Erklärbarkeit lernender Systeme an der Carl von Ossietzky Universität Oldenburg, konnten sie diverse grundlegende Schwachstellen identifizieren. Dabei entwickelten und untersuchten sie vier verschiedene Arten von Angriffen auf das System und konnten belegen, dass aktuelle Deep-Perceptual-Hashing-Systeme wie Apples „NeuralHash“ sehr anfällig gegenüber Attacken sind. „Diese ermöglichen es nicht nur, die Detektion des Systems mit leichten Bildänderungen zu überlisten, sondern auch die Manipulation von normalen Bildern, die anschließend vom System fälschlicherweise als kinderpornographisches Material erkannt werden“, so die Forscher.

Ihre For­schungsergebnisse präsentierten sie auf dem diesjährigen Workshop on Technology and Consumer Protection@IEEE Symposium on Security and Privacy, auf dem ihre Publikation mit dem Best Paper Award ausgezeichnet wurde. Zudem wird die Arbeit in diesen Tagen bei der Konferenz für Fairness, Accountability and Transparency (FAccT) vorgestellt.

Meldung der TU Darmstadt

show all news