Mit KI gegen Kinderpornografie und Missbrauch

Eine High-Tech-Initiative soll Pädophile von Online-Games und Social-Media-Plattformen fernhalten.

Im Februar wurde bekannt, dass Chat-GPT-Betreiber Open AI, Suchmaschinen-Riese Google, das bei Gamern beliebte soziale Netzwerk Discord und die Spieleplattform Roblox die ROOST-Initiative lanciert haben. ROOST steht für Robust Open Online Safety Tools und will kostenlose, open-source-basierte Software zur Verfügung stellen, um Anbietern und Firmen zu helfen, mit künstlicher Intelligenz Kinderpornografie und weiteres kriminelles Material zu identifizieren, zu analysieren und zu sperren.

Zu den Initiatoren von ROOST gehört wie erwähnt Roblox. Die Plattform ist besonders bei Kindern im Alter von plus-minus zehn Jahren beliebt. Monatlich finden sich darauf 210 Millionen Spielende ein. Durchschnittlich verbringen sie 2,6 Stunden pro Tag in dieser Vorstufe des Metaversums und sorgen gemäss den Finanzanalysten von Bloomberg für $ 3,5 Milliarden Umsatz. Doch Roblox hat seit Jahren massive Probleme mit Pädophilen, die die die Plattform für Grooming missbrauchen.

KI-Cops auf Roblox

Nun soll künstliche Intelligenz helfen, die Millionen von Games, die auf Roblox von Kindern, Jugendlichen und Erwachsenen zur Verfügung gestellt werden, nach unerwünschten Inhalten zu durchkämmen. Das Gleiche gilt für weitere Plattformen wie das soziale Netzwerk Discord. Auch hier tummeln sich Groomer, Extremisten und andere unerwünschte Gestalten.

So begrüssenswert der Einsatz von KI-Moderation besonders in verstörenden Bereichen wie Pädophilie, dem sexuellen Missbrauch von Kindern oder extremistischen Gewaltvideos ist, man darf sich nicht der Illusion hingeben, dass damit das Problem aus der Welt geschaffen ist. KI-Moderation kann unverzüglich – in Echtzeit – Millionen von schädlichen Inhalten überprüfen. Die KI kann traumatisierende Bilder und Audiodateien filtern, bevor sie ihr Ziel erreichen, aber hergestellt werden diese weiter und fügen Millionen Gewalt und Leiden zu.

Intransparente Entscheidungen

Die Entscheidungen einer künstlichen Intelligenz sind oft intransparent, weil deren Kriterien selten offengelegt werden. Die Trainingsdaten können kulturelle und sprachliche Verzerrungen enthalten. Weiter besteht die Gefahr des Over- oder Underblocking, dass entweder zu viele oder zu wenige Inhalte gesperrt werden. Ironie ist schon für Menschen Glücksache, für KI erst recht.

Sinnvoll ist deshalb die Kombination von KI-Moderation und Medienkompetenzförderung. Auch mit der Unterstützung von künstlicher Intelligenz kommen wir als Nutzende nicht darum herum, uns mit Inhalten kritisch auseinanderzusetzen und diese immer aufs Neue zu hinterfragen. Wir müssen in der Lage sein, Inhalte selbst einschätzen zu können. Der grosse Nachteil von Medienkompetenzförderungsprogrammen aber ist, dass sie schlecht skalierbar und ressourcenintensiv sind. KI-Moderation ist gut skalierbar, und nach dem Erstaufwand sind die Kosten relativ moderat. Einzig: Auch die Modelle müssen weitergebildet und mit den neusten Angriffsformen und Inhalten vertraut gemacht werden.

Ein Hybrid-Ansatz sieht eine entsprechende Aufgabenteilung vor. So können Modelle wie ROOST einen Echtzeit-Schutz bieten und besonders gefährliche Inhalte gleich blockieren. Solche Dateien können anschliessend durch menschliche Moderatorinnen und Moderatoren überprüft werden. In Workshops, Webinaren und Blogs wie Cyberia können Nutzende auf problematische Inhalte und Trends hingewiesen werden und ihre eigene Medienkompetenz entwickeln. Vonseiten der KI-Betreibenden ist eine offene Dokumentation der Filterkriterien erforderlich; ein engmaschiger Austausch mit der jeweiligen Community – sei es in Games, auf sozialen Medien oder anderen Plattformen – ist ebenso gewünscht.

https://www.theverge.com/news/609367/roblox-discord-openai-google-roost-online-safety-tools

https://www.bloomberg.com/features/2024-roblox-pedophile-problem/

https://www.mdpi.com/2227-7102/13/3/296

Illustration: Marc Bodmer x Dall-E 3