Project Description

Risky online challenges, pro-anorexia communities, and cyber grooming are just a few of the many dangers children and adolescents face in today’s digital world. AI-driven technologies—particularly recommendation algorithms on social media platforms—often intensify these risks by amplifying and promoting harmful content to minors.

Against this backdrop, it is more urgent than ever to establish effective safeguards and clear regulatory frameworks that ensure the protection of young people online. The project “Youth Safety in an AI-Driven Online World” investigates the diverse risks minors encounter in digital environments. We examine how these risks arise, how they spread, and how they can be identified. We also analyze the role of AI in exacerbating these threats and explore how such technologies can be redesigned to better protect young users.

Building on our findings, we formulate policy recommendations and develop guidelines for the responsible deployment of AI on platforms used by minors. In parallel, we create practical tools and resources to empower young people to navigate AI-driven platforms such as TikTok and Instagram safely and confidently. In doing so, we collaborate closely with the project “Instaclone,” an initiative aimed at strengthening adolescents’ algorithmic awareness and media literacy.

The project is led by Dr. Angelina Voggenreiter and funded by the Bavarian State Ministry of Science and the Arts in the framework of the bidt Graduate Center for Postdocs.

Open positions and Theses

If you are interested in one of the topics listed below, please send an email (German or English) to angelina.voggenreiter@tum.de including the following information:

• Your full name
• Your matriculation number
• The number of semesters you have completed
• 3–4 sentences outlining your interest in the topic and any relevant prior experience
• A current transcript of records
• Your CV

If you would like to propose your own topic in the field of digital youth protection, please additionally include a brief proposal (one A4 page) outlining the background, research questions, hypotheses, and the data and methods you intend to use.

 

Bachelorarbeit Politikwissenschaft: Politische Regulierung von Essstörungen im Netz

Worum geht’s? Skinny-Tok, Whatsapp-Hungergruppen,#thinspo-Reels - Soziale Medien können unrealistische Körperbilder fördern und Esstörungen begünstigen. Besonders Jugendliche sind für solche Einflüsse anfällig.

Was machst Du? Auf Basis von wissenschaftlicher Literatur, Social-Media-Analysen und politischer Dokumente erforschst Du: Wo und in welcher Form werden Essstörungen digital glorifiziert? Wie reagieren Deutschland und die EU auf solche Inhalte und reichen bestehende Gesetze aus, um Minderjährige davor zu schützen?

Was brauchst Du? Psychische Belastbarkeit im Umgang mit Inhalten zu Esstörungen; Grundlegende Kenntnisse in Literaturrecherche, qualitativen Methoden und politischer Regulation; Deutsch- und Englischkenntnisse notwendig.

 

Masterarbeit Politics and Technology: Wer schützt Kinder online? – Akteure, Rollen und Netzwerke im digitalen Jugendschutz

Worum geht’s? Im digitalen Raum sind zahlreiche Akteure am Schutz von Kindern und Jugendlichen beteiligt – von staatlichen Behörden über zivilgesellschaftliche Initiativen bis hin zu Plattformverantwortlichen. Diese Arbeit soll klären, wer welche Rolle im digitalen Jugendschutz spielt, welche Befugnisse und Ziele die verschiedenen Akteure haben und wie ihre Zusammenarbeit funktioniert.

Was machst Du? Du sammelst Informationen über politische Institutionen (z. B. Landesmedienanstalten), zivilgesellschaftliche Initiativen (z. B. klicksafe) sowie exekutive Akteure. Du analysierst politische Dokumente, Gesetzestexte und strategische Papiere, um Rollen, Befugnisse, Förderwege und Handlungslogiken dieser Akteursgruppen zu verstehen. Aufbauend darauf identifizierst Du Netzwerkbeziehungen und visualisierst die Struktur der Governance im digitalen Jugendschutz.

Was brauchst Du? Interesse am Durchdringen komplexer Akteurs-Strukturen, Erfahrung in Literaturrecherche und bei der Analyse politischer Dokumente. Kenntnisse in Netzwerkvisualisierung sind von Vorteil, aber nicht zwingend notwendig. Deutsch- und Englischkenntnisse notwendig.

Masterarbeit Informatik: Zeitbegrenzungsmechanismen in digitalen Spielen

Worum geht’s? Medienabhängigkeit ist ein häufiges Problem bei Kindern und Jugendlichen. Daher schlagen die EU-Jugendschutzrichtlinien Plattformen vor, Zeitbegrenzungsmechanismen einzubauen. Es ist jedoch unklar, welche Mechanismen überhaupt wirksam sind. 

Was machst Du? In dieser Masterarbeit entwickelst du ein einfaches Online-Spiel mit Suchtpotenzial (z. B. angelehnt an Candy Crush) und implementierst verschiedene Zeitbegrenzungsmechanismen wie Push-Nachrichten oder Belohnungen für Pausen. Ziel ist es, die Wirksamkeit dieser Mechanismen zu evaluieren und Empfehlungen für kinderfreundliche Spiele zu entwickeln. 

Was brauchst Du? Grundlegende Fähigkeiten in Frontend-/Backend-Entwicklung sowie Session-Management. Fähigkeiten im Bereich Spielentwicklung sind von Vorteil. Deutsch- und Englischkenntnisse notwendig.

 

Master’s Thesis in Computer Science: Sock Puppet System for Social Media Analysis

What is it about? Personalization in social media strongly influences which content children and adolescents are exposed to. To better understand the risks minors encounter online, we need to simulate their behavior on these platforms.

What will you do? In this master’s thesis, you will develop a system that automatically creates accounts on platforms popular with minors and simulates user behavior in order to analyze personalized content. The goal is to automatically collect, classify, and store the content displayed, enabling a more systematic evaluation of online risks for children.

What should you bring? Basic skills in Python, web scraping, and machine learning. English skills required, German skills optional.

 

Bachelorarbeiten/Masterarbeiten/IDP Informatik: Instaclone
Worum geht’s?  Instaclone ist ein Tool für SchülerInnen, das die Funktionalitäten und das Aussehen von Instagram imitiert, und gleichzeitig einen Blick hinter die Kulissen von Social Media erlaubt. SchülerInnen können beispielsweise Algorithmen entdecken, personalisierte Werbung erstellen, Quizzes zu Social Media Themen erarbeiten und mehr. Infos zu Instaclone gibt es unter info.instaclone.de sowie https://www.edu.sot.tum.de/ddi/forschung/projekte/instaclone/ .

Was machst Du? Im Rahmen deines Projekts entwickelst du neue Funktionalitäten für Instaclone. Neben Wünschen von SchülerInnen, Lehrkräften und ForscherInnen, werden hier auch deine eigenen Ideen einbezogen. Je nach Interesse sind beispielsweise Projekte in den Bereichen „Gamification“, „Dashboard-Visualisierung“

Was brauchst Du? Grundlegende Kenntnisse in Python sowie Erfahrung mit Webentwicklung (Django) und Versionskontrolle (Git). Zusätzliche Kenntnisse in Containerisierung (Docker, Nginx) und Datenbanken (PostgreSQL) sind von Vorteil. Deutsch-Kenntnisse notwendig.

Scientific Publications

Schirmer, M., Voggenreiter, A., Pfeffer, J., and Horvat, A. Detecting Child Objectification on Social Media: Challenges in Language Modeling. Proceedings of the The 9th Workshop on Online Abuse and Harms (2025). https://aclanthology.org/2025.woah-1.36/

Voggenreiter*, A., Hartl*, A., Starke*, E., Holzberger, D., Michaeli, T., and Pfeffer, J. Empowering digital natives: Instaclone - a novel approach to data literacy education in the age of social media. SIGCSE 2024: Proceedings of the 55th ACM Technical Symposium on Computer Science Education V. 1 (2024). https://doi.org/10.1145/3626252.3630839

Events und Activities

Voggenreiter, A. Was Kindern im Netz begegnet – und was Eltern tun können. Newspaper Article. Der Pragmaticus. (2025, 5. Dezember) https://www.derpragmaticus.com/r/kinder-eltern-internet

Guidelines on the Protection of Minors under the EU Digital Services Act:
In October 2024, Angelina Voggenreiter participated in the European Commission’s expert workshop together with representatives from industry, academia, civil society, regulatory authorities, and youth organizations, and contributed feedback to support the development of the guidelines on the protection of minors under the Digital Services Act (DSA).

The guidelines were published in July 2025 and are available here:

https://digital-strategy.ec.europa.eu/de/library/commission-publishes-guidelines-protection-minors

Schumann, C. InstaClone - ein Social Media Tool zur Vermittlung von Daten- und Medienkompetenz. Podcast-Interview with Voggenreiter, A*, Spörer, E* und Hartl, A*. In Bildung auf die Ohren – Der Podcast des deutschen Bildungsservers (2025, 9. Dezember) https://www.bildungsserver.de/podcast.html?podcast_id=946  

Award for Digital Education of the Prof. Balzert-Stiftung for InstaClone in Cooperation with the „Gesellschaft für Informatik e.V. (GI)“, the „Österreichischen Computergesellschaft (OCG)“ and the „Schweizer Informatik Gesellschaft (SI)“ (2025, 16. September). https://gi.de/meldung/mit-dem-instaclone-hinter-social-media-kulissen-schauen-balzert-preis-2025-verliehen

Amme, C. Familien füttern Algorithmus - Warum Instagram sexualisierte Inhalte vorschlägt. Podcast-Interview with Pfeffer, J und Voggenreiter, A. In Wieder was gelernt – Der NTV Podcast. (2023, 23. Dezember). https://www.n-tv.de/wirtschaft/Warum-Instagram-sexualisierte-Inhalte-vorschlaegt-article24617440.html

 

*These authors contributed equally