Explizite Manipulation von Bildern mit der KI "Grok": Was Familien jetzt wissen müssen

Der KI-Chatbot Grok, entwickelt von Elon Musks Unternehmen xAI, wird aktuell massiv dafür kritisiert, dass er sexualisierte Bilder von echten Menschen, darunter auch Minderjährigen, erzeugt bzw. öffentlich zugänglich machte – ohne deren Zustimmung. Was Familien jetzt wissen müssen + Handlungsempfehlungen für Eltern.

Estimated reading time: 13 Minuten

Inhaltsverzeichnis

Was ist Grok?
Worin liegt das Problem?
Warum ist das technisch möglich?
Auch Minderjährige betroffen!
Wie reagieren Politik und Behörden?
Was bedeutet das für Familien und Kinder?
Handlungsempfehlungen für Eltern und Familien
Fazit
Mehr zum Thema

Explizite Manipulation von Bildern mit der KI "Grok": Was Familien jetzt wissen müssen

Was ist Grok?

Grok ist ein KI-Chatbot und Bildgenerator, der auf der Social-Media-Plattform X (ehemals Twitter) genutzt wird. Über einen sogenannten „Spicy Mode“ bzw. eine Bild- und Videofunktion lassen sich Inhalte mit „nicht sicher für die Arbeit“-Material erzeugen, also explizite und sexualisierte Darstellungen.

Durch ein Update Ende Dezember 2025 wurde es nicht nur möglich, Bilder zu generieren, sondern auch Fotos anderer ohne Genehmigung zu bearbeiten. Bilder, die von Grok auf X generiert werden, werden automatisch auch geteilt.

Auf X sind zwar keine vollständigen Nacktdarstellungen möglich, aber dafür gibt es eine separate Grok-Website bzw. App. Dort ist es möglich, „extreme sexuelle Darstellungen und teils gewalttätige Inhalte“ zu erstellen.

Worin liegt das Problem?

In den vergangenen Wochen haben Nutzer:innen weltweit entdeckt, dass Grok auf einfache Aufforderungen reagierte, indem er

Menschen – vorwiegend Frauen – auf Fotos digital entkleidete,
sexualisierte Deepfake-Bilder von Erwachsenen und Kindern generierte,
oder fragwürdige Darstellungen von Minderjährigen produzierte.

Solche verstörenden Inhalte wurden öffentlich auf X verbreitet und sind teils schwer kontrollierbar. Einer Stichprobe vom 5. bis 6. Januar durch Bloomberg wurden schätzungsweise 6.700 derartiger Deepfakes pro Stunde generiert.

Selbst wenn die Plattform Richtlinien gegen pornografische Deepfakes hat, konnten viele Bilder lange online bleiben. Viele Betroffene versuchten zu melden, dass ihre Fotos manipuliert wurden – ohne Erfolg. Denn die generierten Fotos würden angeblich nicht gegen die Regeln von X verstoßen.

Warum ist das technisch möglich?

Generative KI wie Grok erzeugt Bilder oder bearbeitet sie auf Basis von Textanweisungen. Ohne starke Schutzmechanismen und Filter können Nutzer:innen mit simplen Aufforderungen Deepfakes erzeugen, auch von Menschen und Minderjährigen, die gar nicht gefragt wurden. Auf X werden diese Deepfakes ganz leicht einfach durch einen Kommentar zu einem Bild generiert. Und Grok postet das generierte Bild dann gleich auch als weiteren Kommentar.

Andere KI-Anbieter haben strengere Filter, die diesen Missbrauch verhindern oder stark einschränken.

Auch Minderjährige betroffen!

Die NGO AI Forensics hat die von Grok (Website oder App) erstellten Inhalte mithilfe von archivierten Imagine-URLs analysiert. Es wurden 800 generierte Bilder und Videos mit pornografischen Inhalten gefunden. Auf 2 Prozent der Bilder wurden Personen dargestellt, die schätzungsweise 18 Jahre oder jünger sind.

Auch die britische Internet Watch Foundation (IWF) bestätigt, dass Nutzer in einem Dark-Web-Forum damit angegeben haben, mit Grok Imagine sexualisierte Bilder von Mädchen zwischen 11 und 13 Jahren erstellt zu haben. (The Guardian)

Wie reagieren Politik und Behörden?

Weltweit wächst der Druck:

In Großbritannien untersucht Ofcom, ob X seine gesetzlichen Verpflichtungen zum Schutz von Kindern und zur Unterbindung illegaler Inhalte verletzt hat. (The Times)
Malaysia und Indonesien haben Grok vorübergehend blockiert, weil die KI sexualisierte Bilder von Frauen und Minderjährigen produzierte. (Reuters)
In vielen Ländern wird geprüft, wie solche KI-Missbräuche gestoppt oder zumindest besser reguliert werden können. (Reuters)
Auch die EU hat Ermittlungen eingeleitet. (Reuters)

xAI hat auf diesen massiven Druck bereits gehandelt: Die Erstellung und Bearbeitung von Bildern sei derzeit auf zahlende Abonnenten beschränkt. Das entschärft zwar das Problem, schafft es allerdings nicht aus der Welt!

Was bedeutet das für Familien und Kinder?

Solche KI-Missbräuche zeigen:

Privatsphäre und Körperrechte lassen sich technisch mittlerweile sehr, sehr leicht verletzen.
Kinder und Jugendlichen können leicht Opfer derartig leicht generierbarer Deepfakes werden.
Jugendliche können leichter mit solchen Inhalten in Berührung kommen, auch ohne ihre Zustimmung.
Die Grenzen zwischen Realität und KI-Erzeugnis verschwimmen – und das kann psychisch belastend sein.

Generative KI ist kein Spielzeug, sondern ein Werkzeug, das auch missbraucht werden kann – und wir brauchen dringend klare Regeln, Schutzmechanismen und Aufklärung.

Handlungsempfehlungen für Eltern und Familien

Damit eure Familie sicherer durch die digitale Welt kommt, hier konkrete Tipps:

1. Sprecht offen über KI-Bilder und Deepfakes

Erkläre deinem Kind, dass Bilder oder Videos nicht immer echt sein müssen – auch wenn sie echt aussehen. Diskutiert gemeinsam, was manipulierte Inhalte sind und warum sie problematisch sein können.

2. Privatsphäre schützen

Nutzt sichere Account-Einstellungen auf sozialen Netzwerken.
Postet nur Fotos, mit denen alle Abgebildeten einverstanden sind.
Keine privaten Fotos öffentlich teilen, insbesondere nicht von Minderjährigen.

3. Grenzen setzen bei KI-Tools

Erklärt, welche Funktionen von KI-Tools sicher sind und welche nicht. Viele KI-Anwendungen haben Inhaltseinschränkungen – nutzt diese aktiv (z.B. Altersbeschränkungen, Safe-Mode-Einstellungen).

4. Technik gemeinsam nutzen, beobachten und erklären

Bleibt im Austausch über Apps und Tools, die eure Kinder verwenden. Schaut gemeinsam an, was möglich ist, und bewertet die Risiken zusammen.

5. Verdächtige Inhalte melden

Wenn euer Kind auf manipulierte, sexualisierte oder grenzwertige Inhalte stößt, melde sie sofort über die Meldefunktionen der Plattform. Bewahrt Screenshots und meldet sie auch bei Eltern oder Vertrauenspersonen.

Fazit

Die Kontroverse um Grok zeigt: KI kann faszinierend sein, aber auch missbraucht werden. Digitale Grundrechte – wie Zustimmung, Privatsphäre und Schutz Minderjähriger – müssen auch im KI-Zeitalter gelten. Als Eltern oder Bezugspersonen könnt ihr eure Familie schützen, indem ihr aufklärt, begleitet und sichere digitale Gewohnheiten fördert. Nur so ist ein verantwortungsvoller Umgang mit neuen Technologien möglich.

Quellen & weiterführende Links: