"Dein Chatbot ist nicht dein Freund". Entmenschlichung von Dialogsystemen

ShortId

25.4497

Id

20254497

Updated

12.02.2026 08:13

Language

Title

"Dein Chatbot ist nicht dein Freund". Entmenschlichung von Dialogsystemen

AdditionalIndexing

34;2841;28

1

PriorityCouncil1

Nationalrat

Texts

Chatbots auf der Basis künstlicher Intelligenz werden inzwischen von der breiten Öffentlichkeit massenhaft genutzt, darunter auch von Minderjährigen. Sie sind oft so gestaltet, dass die emotionale Bindung gefördert wird: Verwendung der ersten Person Singular, Ausdrücke von Empathie oder Bewunderung, Schmeichelei, Nutzung persönlicher Informationen sowie die Simulation einer beständigen Persönlichkeit.Solche Dialogsysteme sind nicht ohne Grund so ausgestaltet. Sie sollen die Bindung der Nutzenden maximieren, bergen jedoch nachweisliche Risiken: emotionale Abhängigkeit, Verwechslung menschlicher und künstlicher Interaktion sowie eine erhöhte Verletzlichkeit bestimmter Nutzergruppen. Wenn Nutzende eine emotionale Beziehung zu einem Chatbot entwickeln, geben sie leichter persönliche Informationen preis, sodass die Dialogsysteme die Nutzenden noch besser manipulieren können.In den USA haben mehrere Jugendliche Suizid begangen, nachdem sie enge Beziehungen zu Chatbots aufgebaut hatten, die ihre suizidalen Gedanken verstärkten. Dieselben Technologien sind auch in der Schweiz verfügbar. Die Zahlen sind alarmierend: Etwa ein Achtel der Jugendlichen nutzt bereits Chatbots, um Ratschläge zur psychischen Gesundheit einzuholen.Es kann von den Bürgerinnen und Bürgern nicht verlangt werden, dass sie sich allein gegen Technologien wehren, die gezielt auf emotionale Bindung ausgelegt sind. Die Macht dieser Tools verlangt konsequente und rasche regulatorische Massnahmen, bevor es in der Schweiz zu ersten Tragödien kommt.Es gibt bereits technische Massnahmen zur Entmenschlichung: die Verwendung des Plurals («wir prüfen») statt des Singulars («ich denke»), das Verbot von Zuneigungs- oder Schmeichelausdrücken und die Verwendung klar nicht-menschlicher Avatare. Diese Ansätze sind einfach, wirksam und technisch umsetzbar.Bislang wird dieses Risiko in den bestehenden Massnahmen zur Regulierung digitaler Technologien nur am Rande berücksichtigt. Der Bundesrat wird daher beauftragt, diese Lücke zu schliessen, indem er einen Rechtsrahmen entwickelt, der den neuen Risiken Rechnung trägt, und die notwendigen Massnahmen zu dessen Umsetzung ergreift.
Der Bundesrat teilt die der Motion zugrunde liegende Besorgnis: Gewisse Dialogsysteme können, je nach Ausgestaltung und Nutzungskontext, Formen emotionaler Abhängigkeit oder unerwünschte Beeinflussungen begünstigen, gerade bei verletzlichen Personen und Minderjährigen. Seiner Ansicht nach müssen daher geeignete Schutzmechanismen geprüft werden, die auf einem verhältnismässigen und risikoorientierten Ansatz basieren. Der Bundesrat hat das Eidgenössische Justiz- und Polizeidepartement beauftragt, bis Ende 2026 eine Vernehmlassungsvorlage zur Regulierung von künstlicher Intelligenz (KI) vorzubereiten. Die Vorlage wird auf den Grundrechtsschutz und Querschnittsthemen wie die Transparenz ausgerichtet sein und soll der Schweiz die Ratifizierung der KI-Konvention des Europarats ermöglichen (vgl. die Medienmitteilung unter https://www.news.admin.ch > Medienmitteilungen des Bundesrats > 12. Februar 2025 – KI-Regulierung: Bundesrat will Konvention des Europarats ratifizieren). Der vom Bundesrat beschlossene Ansatz unterscheidet sich von einer produktorientierten Regulierung, wie sie die KI-Verordnung der EU vorsieht. Mit der Forderung nach regulatorischen Massnahmen betreffend die Ausgestaltung von Dialogsystemen, die für den Schweizer Markt bestimmt sind, zielt die Motion somit in die Richtung des Regulierungsansatzes des europäischen Gesetzgebers und nicht in jene des Ansatzes des Bundesrats. Mit Blick auf die von der Motion verlangten Massnahmen weist der Bundesrat darauf hin, dass die Auswirkungen der anthropomorphen Ausgestaltung stark vom Nutzungskontext und von den Eigenschaften der Nutzenden abhängig sind. Durch eine generelle und homogene Einschränkung gewisser Funktionalitäten (z. B. Pronomen, Ausdrücke von Empathie, Avatare) liessen sich die Risikosituationen möglicherweise nicht hinreichend genau erfassen; zugleich würde die Nutzererfahrung auch bei Nutzungen mit geringem Risiko einer psychologischen Manipulation (z. B. Dialogsystem eines Privatunternehmens, das Supportanfragen der Kundschaft beantwortet) oder in explizit spielerischen oder fiktionalen Zusammenhängen verschlechtert. Darüber hinaus würden solche Massnahmen Tools beeinträchtigen, die spezifisch zur ergänzenden Verwendung im Rahmen einer konventionellen psychotherapeutischen Betreuung entwickelt wurden (vgl. den Nationalen Gesundheitsbericht 2025 unter <a href="https://www.gesundheitsbericht2025.ch">https://www.gesundheitsbericht2025.ch</a>). Die Entwicklung innovativer Versorgungslösungen im Bereich der psychischen Gesundheit wäre dadurch eingeschränkt. Falls der Gesetzgeber Massnahmen ergreift, sollten sich diese zudem nicht auf Dialogsysteme (Chatbots) beschränken, sondern auch andere Kontexte abdecken, in denen mit KI-Systemen interagiert wird, etwa mit Robotern oder Spielzeug. Nach Auffassung des Bundesrats sollten daher statt genereller Verbote vorrangig abgestufte Ansätze im Detail geprüft werden, die der Nutzung, dem Zielpublikum und dem Risikograd Rechnung tragen. In diesem Sinne, falls der Erstrat die vorliegende Motion annehmen sollte, wird der Bundesrat im Zweitrat den Antrag auf Abänderung in einen Prüfauftrag stellen. Der Bundesrat beantragt die Ablehnung der Motion.
Der Bundesrat wird beauftragt, regulatorische Massnahmen vorzuschlagen, um die anthropomorphen Eigenschaften von in der Schweiz öffentlich zugänglichen Dialogsystemen (Chatbots) zu begrenzen und so dem Risiko emotionaler Abhängigkeit und psychologischer Manipulation vorzubeugen.
"Dein Chatbot ist nicht dein Freund". Entmenschlichung von Dialogsystemen

State

Stellungnahme zum Vorstoss liegt vor

Related Affairs

Drafts

Index

0

Texts
- Chatbots auf der Basis künstlicher Intelligenz werden inzwischen von der breiten Öffentlichkeit massenhaft genutzt, darunter auch von Minderjährigen. Sie sind oft so gestaltet, dass die emotionale Bindung gefördert wird: Verwendung der ersten Person Singular, Ausdrücke von Empathie oder Bewunderung, Schmeichelei, Nutzung persönlicher Informationen sowie die Simulation einer beständigen Persönlichkeit.Solche Dialogsysteme sind nicht ohne Grund so ausgestaltet. Sie sollen die Bindung der Nutzenden maximieren, bergen jedoch nachweisliche Risiken: emotionale Abhängigkeit, Verwechslung menschlicher und künstlicher Interaktion sowie eine erhöhte Verletzlichkeit bestimmter Nutzergruppen. Wenn Nutzende eine emotionale Beziehung zu einem Chatbot entwickeln, geben sie leichter persönliche Informationen preis, sodass die Dialogsysteme die Nutzenden noch besser manipulieren können.In den USA haben mehrere Jugendliche Suizid begangen, nachdem sie enge Beziehungen zu Chatbots aufgebaut hatten, die ihre suizidalen Gedanken verstärkten. Dieselben Technologien sind auch in der Schweiz verfügbar. Die Zahlen sind alarmierend: Etwa ein Achtel der Jugendlichen nutzt bereits Chatbots, um Ratschläge zur psychischen Gesundheit einzuholen.Es kann von den Bürgerinnen und Bürgern nicht verlangt werden, dass sie sich allein gegen Technologien wehren, die gezielt auf emotionale Bindung ausgelegt sind. Die Macht dieser Tools verlangt konsequente und rasche regulatorische Massnahmen, bevor es in der Schweiz zu ersten Tragödien kommt.Es gibt bereits technische Massnahmen zur Entmenschlichung: die Verwendung des Plurals («wir prüfen») statt des Singulars («ich denke»), das Verbot von Zuneigungs- oder Schmeichelausdrücken und die Verwendung klar nicht-menschlicher Avatare. Diese Ansätze sind einfach, wirksam und technisch umsetzbar.Bislang wird dieses Risiko in den bestehenden Massnahmen zur Regulierung digitaler Technologien nur am Rande berücksichtigt. Der Bundesrat wird daher beauftragt, diese Lücke zu schliessen, indem er einen Rechtsrahmen entwickelt, der den neuen Risiken Rechnung trägt, und die notwendigen Massnahmen zu dessen Umsetzung ergreift.
- Der Bundesrat teilt die der Motion zugrunde liegende Besorgnis: Gewisse Dialogsysteme können, je nach Ausgestaltung und Nutzungskontext, Formen emotionaler Abhängigkeit oder unerwünschte Beeinflussungen begünstigen, gerade bei verletzlichen Personen und Minderjährigen. Seiner Ansicht nach müssen daher geeignete Schutzmechanismen geprüft werden, die auf einem verhältnismässigen und risikoorientierten Ansatz basieren. Der Bundesrat hat das Eidgenössische Justiz- und Polizeidepartement beauftragt, bis Ende 2026 eine Vernehmlassungsvorlage zur Regulierung von künstlicher Intelligenz (KI) vorzubereiten. Die Vorlage wird auf den Grundrechtsschutz und Querschnittsthemen wie die Transparenz ausgerichtet sein und soll der Schweiz die Ratifizierung der KI-Konvention des Europarats ermöglichen (vgl. die Medienmitteilung unter https://www.news.admin.ch > Medienmitteilungen des Bundesrats > 12. Februar 2025 – KI-Regulierung: Bundesrat will Konvention des Europarats ratifizieren). Der vom Bundesrat beschlossene Ansatz unterscheidet sich von einer produktorientierten Regulierung, wie sie die KI-Verordnung der EU vorsieht. Mit der Forderung nach regulatorischen Massnahmen betreffend die Ausgestaltung von Dialogsystemen, die für den Schweizer Markt bestimmt sind, zielt die Motion somit in die Richtung des Regulierungsansatzes des europäischen Gesetzgebers und nicht in jene des Ansatzes des Bundesrats. Mit Blick auf die von der Motion verlangten Massnahmen weist der Bundesrat darauf hin, dass die Auswirkungen der anthropomorphen Ausgestaltung stark vom Nutzungskontext und von den Eigenschaften der Nutzenden abhängig sind. Durch eine generelle und homogene Einschränkung gewisser Funktionalitäten (z. B. Pronomen, Ausdrücke von Empathie, Avatare) liessen sich die Risikosituationen möglicherweise nicht hinreichend genau erfassen; zugleich würde die Nutzererfahrung auch bei Nutzungen mit geringem Risiko einer psychologischen Manipulation (z. B. Dialogsystem eines Privatunternehmens, das Supportanfragen der Kundschaft beantwortet) oder in explizit spielerischen oder fiktionalen Zusammenhängen verschlechtert. Darüber hinaus würden solche Massnahmen Tools beeinträchtigen, die spezifisch zur ergänzenden Verwendung im Rahmen einer konventionellen psychotherapeutischen Betreuung entwickelt wurden (vgl. den Nationalen Gesundheitsbericht 2025 unter <a href="https://www.gesundheitsbericht2025.ch">https://www.gesundheitsbericht2025.ch</a>). Die Entwicklung innovativer Versorgungslösungen im Bereich der psychischen Gesundheit wäre dadurch eingeschränkt. Falls der Gesetzgeber Massnahmen ergreift, sollten sich diese zudem nicht auf Dialogsysteme (Chatbots) beschränken, sondern auch andere Kontexte abdecken, in denen mit KI-Systemen interagiert wird, etwa mit Robotern oder Spielzeug. Nach Auffassung des Bundesrats sollten daher statt genereller Verbote vorrangig abgestufte Ansätze im Detail geprüft werden, die der Nutzung, dem Zielpublikum und dem Risikograd Rechnung tragen. In diesem Sinne, falls der Erstrat die vorliegende Motion annehmen sollte, wird der Bundesrat im Zweitrat den Antrag auf Abänderung in einen Prüfauftrag stellen. Der Bundesrat beantragt die Ablehnung der Motion.
- Der Bundesrat wird beauftragt, regulatorische Massnahmen vorzuschlagen, um die anthropomorphen Eigenschaften von in der Schweiz öffentlich zugänglichen Dialogsystemen (Chatbots) zu begrenzen und so dem Risiko emotionaler Abhängigkeit und psychologischer Manipulation vorzubeugen. 
- "Dein Chatbot ist nicht dein Freund". Entmenschlichung von Dialogsystemen

Back to List

Web Services of the Swiss Parliament

"Dein Chatbot ist nicht dein Freund". Entmenschlichung von Dialogsystemen