Eine umfassende Analyse digitaler Gefährdungen für Kinder und Jugendliche

Im Jahresbericht 2024 warnt jugendschutz.net eindringlich vor den gravierenden Gefahren, denen Kinder und Jugendliche bei der Nutzung digitaler Dienste ausgesetzt sind. Im Zentrum steht eine kritische Bestandsaufnahme der Schutzlücken bei Plattformen wie TikTok, Instagram, YouTube, Snapchat, Discord, Fortnite und Telegram. Trotz gesetzlicher Vorgaben auf nationaler und europäischer Ebene – etwa im Jugendmedienschutz-Staatsvertrag (JMStV), Jugendschutzgesetz (JuSchG) und Digital Services Act (DSA) – versagen viele Anbieter bei der Umsetzung effektiver Vorsorgemaßnahmen.

1. Gesellschaftliche und politische Rahmenbedingungen

Der Bericht kontextualisiert seine Arbeit vor dem Hintergrund weltweiter Krisen und zunehmender Polarisierung: Der Krieg im Nahen Osten, die Ukrainekrise sowie gesellschaftliche Desinformation verschärfen die Lage im digitalen Raum. Plattformen wie Facebook, X (ehemals Twitter), Instagram und TikTok dienen dabei als Verstärker für Hass, Desinformation, Gewaltverherrlichung und sexualisierte Inhalte.

2. Kernaufgaben von jugendschutz.net

Mit gesetzlichem Auftrag identifiziert, bewertet und bekämpft jugendschutz.net jugendgefährdende Online-Inhalte. Die Stelle reagiert auf Hinweise über eine Online-Beschwerdestelle, führt eigene Recherchen durch, warnt Politik, Aufsicht und Öffentlichkeit und fordert Plattformbetreiber zur Beseitigung von Verstößen auf.

3. Thematische Schwerpunkte 2024

a) Extremismus
Islamistische und rechtsextreme Gruppen nutzen Plattformen wie Discord und TikTok, um Kinder und Jugendliche über Alltagsinhalte oder Gaming-Umfelder zu radikalisieren. Besonders perfide ist dabei die Kombination aus Alltagsthemen und demokratiefeindlichen Botschaften. Auf Discord fehlen Moderationsmechanismen fast vollständig.

b) Gewalt und Gore-Inhalte
„Gore“ als Mutprobe oder Unterhaltung wird gezielt über Hashtags und Reaktionsvideos auf TikTok verbreitet. Plattformen reagieren nur lückenhaft auf diese Form der digitalen Gewalt.

c) Challenges und Trends
TikTok-Trends wie die „Superman-Challenge“ oder das „Ohnmachtsspiel“ führen zu realen Verletzungen und Todesfällen. Auch Mukbangs (extremes Essverhalten) und der Konsum teurer Kosmetikprodukte durch Kinder (z. B. im Sephora-Kids-Trend) führen zu ungesunden Vorbildern.

d) Sexualisierte Gewalt und Deepfakes
2024 wurde ein massiver Anstieg an sexualisierter Gewalt verzeichnet – insbesondere durch KI-generierte Deepnudes und Porno-Deepfakes. Diese Inhalte sind leicht zu erzeugen, zirkulieren ungehemmt und richten bei Betroffenen immense psychische Schäden an. Dienste wie Likee und Telegram fördern dieses Verhalten durch fehlende Moderation und unzureichenden Schutzmechanismen.

e) Glücksspielmechanismen durch Lootboxen
Lootboxen in Spielen fördern exzessives Spielverhalten und können zu finanzieller Abhängigkeit führen. Besonders gefährlich wird es, wenn sie seltene Gegenstände enthalten und durch visuelle Effekte emotional aufgeladen werden.

4. Verstöße im Überblick

• 2024 wurden 17.630 Verstöße registriert – ein deutlicher Anstieg gegenüber dem Durchschnitt der Vorjahre (ca. 7.300).

• 90 % aller Fälle betreffen sexualisierte Gewalt, davon über 14.500 mit kinderpornografischem Inhalt.

• Politischer Extremismus stieg auf 1.245 Fälle, überwiegend im Bereich Rechtsextremismus.

• 96 % aller Verstöße stuft jugendschutz.net als „absolut unzulässig“ ein.

In 9.732 Fällen wurden Anbieter zur Löschung aufgefordert – mit einer Löschquote von 99 %.

5. Vorsorgebewertung und Testverfahren

a) Altersverifikation
Nach wie vor erfolgt keine verlässliche Alterskontrolle. Plattformen verlassen sich auf freiwillige Angaben oder KI-gestützte Analysen, die zu spät greifen. Dies unterläuft alle Schutzmaßnahmen.

b) Sicherheitseinstellungen und Richtlinien
Instagram hat mit „Teen-Konten“ Verbesserungen umgesetzt. YouTube und TikTok haben Richtlinien verschärft, aber es mangelt an deren konsequenter Durchsetzung.

c) Meldesysteme
Systematische Tests belegen: Dienste löschen Inhalte meist nur nach formeller Kontaktaufnahme durch jugendschutz.net – nicht nach normaler Usermeldung. Besonders schwach agierten YouTube (6 %), Instagram (17 %) und TikTok (27 %).

d) Neue Funktionen als Risikofaktor
Funktionen wie YouTubes „Remix“, Snapchats „Sponsored Snaps“ oder TikToks „Teamherz“ schaffen neue Risiken – etwa durch Verlust der Kontrolle über eigene Inhalte, kommerzielle Überreizung und psychologischen Druck.

e) Umgang mit KI-generierten Inhalten
Alle Plattformen versuchen mittlerweile, KI-generierte Inhalte zu kennzeichnen. Doch die Umsetzung ist uneinheitlich und manipulierbar. Die Kooperation mit der C2PA (Coalition for Content Provenance and Authenticity) ist ein Schritt, greift aber bislang nicht flächendeckend.

Die Zahlen und Erkenntnisse des Jahres 2024 machen deutlich: Kinder und Jugendliche sind im digitalen Raum erheblichen Risiken ausgesetzt – insbesondere durch sexualisierte Gewalt, extremistisches Gedankengut und gefährliche Online-Trends. Trotz gesetzlicher Grundlagen fehlt es vielfach an wirksamer Umsetzung und Kontrolle durch die Plattformanbieter.

Quelle
Der vollständige Bericht steht auf der offiziellen Website von jugendschutz.net zur Verfügung:
Jahresbericht 2024 als PDF

Überblick über die zentralen jugendschutzrechtlichen Verpflichtungen für Plattformbetreiber, wie sie sich aus dem Jugendmedienschutz-Staatsvertrag (JMStV), dem Jugendschutzgesetz (JuSchG) und dem Digital Services Act (DSA) ergeben:

1. Jugendmedienschutz-Staatsvertrag (JMStV)

Ziel: Schutz von Kindern und Jugendlichen vor entwicklungsbeeinträchtigenden und jugendgefährdenden Inhalten im Rundfunk und in Telemedien.

Pflichten für Plattformbetreiber (Auswahl):

• Unzulässige Inhalte unterbinden: Verbot der Verbreitung von extremistischen, gewaltverherrlichenden, pornografischen oder sonst schwer jugendgefährdenden Inhalten (§ 4 JMStV).

• Entwicklungsbeeinträchtigende Inhalte: Nur unter bestimmten Bedingungen zulässig, z. B. durch Sendezeitbeschränkungen oder technische Schutzmaßnahmen (§ 5 JMStV).

• Einsatz von Jugendschutzprogrammen: Betreiber müssen kompatible Schutzsysteme unterstützen (§ 11 JMStV).

• Kennzeichnungspflicht: Anbieter redaktioneller Inhalte sollen Inhalte alterskennzeichnen (§ 5 Abs. 3 JMStV).

• Sorgfaltspflichten: Betreiber von Plattformen (insb. Hosting-Dienste) müssen nach Kenntniserlangung jugendgefährdende Inhalte entfernen (§ 24 JMStV).

2. Jugendschutzgesetz (JuSchG)

Ziel: Schutz vor Risiken in der digitalen Mediennutzung, Stärkung elterlicher Kontrolle und Verbesserung struktureller Vorsorge.

Pflichten für Plattformbetreiber (nach Novelle 2021):

• Vorsorgemaßnahmen für sicheren Zugang: Verpflichtung, technische und organisatorische Schutzmaßnahmen zu ergreifen (§§ 10–14 JuSchG), etwa:

  • Altersverifikation

  • sichere Voreinstellungen für Minderjährige

  • Meldesysteme und Beschwerdeverfahren

  • Schutz vor Kontakt- und Interaktionsrisiken (z. B. Grooming, Mobbing)

• Kennzeichnung von Risiken: Anbieter müssen Hinweise auf mögliche Gefährdungen bereitstellen (§ 12 JuSchG).

• Einbindung von Eltern- und Jugendtools: Plattformen sollen Werkzeuge zur Begleitung Minderjähriger bereitstellen (§ 14 JuSchG).

• Zusammenarbeit mit Bundeszentrale für Kinder- und Jugendmedienschutz (BzKJ): Die BzKJ kann Anbieter zur Risikoüberprüfung auffordern und Maßnahmen anordnen (§ 17 JuSchG).

3. Digital Services Act (DSA) – EU-Rechtsrahmen (seit 2023/2024)

Ziel: Sicherstellung eines sicheren, transparenten und grundrechtskonformen digitalen Raums in der EU, einschließlich Schutz Minderjähriger.

Pflichten für sehr große Online-Plattformen (VLOPs) und andere Diensteanbieter:

• Systemische Risikobewertung (§ 34 DSA): Plattformen müssen regelmäßig Risiken identifizieren, die u. a. den Schutz Minderjähriger betreffen (z. B. Desinformation, illegale Inhalte, psychische Gesundheit).

• Risikominderungspflichten (§ 35 DSA): Dienste müssen geeignete und verhältnismäßige Maßnahmen zur Risikominderung implementieren – z. B. Anpassung von Algorithmen oder Schutzmechanismen für Kinder.

• Transparenzpflichten (§§ 24–30 DSA): Offenlegung der Funktionsweise von Empfehlungssystemen, Werbung und Moderation – besonders bei Inhalten, die Kinder betreffen.

• Spezifische Regelungen für Minderjährige (§ 28 DSA):

  • Verbot von personalisierter Werbung auf Basis von Profiling bei Minderjährigen.

  • Verpflichtung zur Gestaltung kindgerechter Dienste.

• Meldemechanismen (§ 16 DSA): Plattformen müssen benutzerfreundliche Systeme zur Meldung rechtswidriger Inhalte anbieten.