Transparente und risikobasierte Folgeabschätzungen beim Einsatz von künstlicher Intelligenz und Algorithmen durch den Bund

ShortId

24.3796

Id

20243796

Updated

26.09.2024 16:07

Language

Title

Transparente und risikobasierte Folgeabschätzungen beim Einsatz von künstlicher Intelligenz und Algorithmen durch den Bund

AdditionalIndexing

04;34;1236

1

PriorityCouncil1

Nationalrat

Texts

Systeme, die auf Künstlicher Intelligenz (KI) oder Algorithmen basieren, können Prognosen erstellen, Empfehlungen machen, Entscheidungen fällen und Inhalte generieren. Auch öffentliche Verwaltungen in der Schweiz testen oder verwenden solche Systeme vermehrt. Diese Systeme bergen Chancen für mehr Effizienz in der Verwaltung, aber auch Risiken in Bezug auf die Grundrechte oder demokratische und rechtsstaatliche Prozesse. Insbesondere können sie diskriminierende Auswirkungen auf bestimmte Bevölkerungsgruppen mit sich bringen. In den Niederlanden gerieten Tausende von Familien in existenzielle Not, als ein diskriminierender Algorithmus sie fälschlicherweise dazu aufforderte, staatliche Kinderbetreuungsgelder zurückzuzahlen. In Österreich berechnete ein Algorithmus die Wahrscheinlichkeit, dass Arbeitslose wieder in den Arbeitsmarkt eingegliedert werden. Dieser vergab Minuspunkte, wenn Arbeitslose Fürsorgepflicht hatten – aber nur dann, wenn es sich um Frauen handelte. Diese Risiken sind abhängig von Kontext, Zweck und Art und Weise der Anwendung. Darum müssen die Behörden diese Risiken systematisch prüfen. Eine erste Stufe der Risikoabschätzung ermöglicht dabei rasch und ohne grossen Aufwand eine Triage von risikoarmen und risikoreichen Anwendungen. Einzig dann, wenn sich bei dieser Triage-Stufe Risikosignale zeigen, ist eine umfassendere Folgenabschätzung vorzunehmen. Die Ergebnisse dieser Folgenabschätzung sind transparent zu machen und zu diesem Zweck in einem Verzeichnis zugänglich zu machen. Die Notwendigkeit einer solchen Folgenabschätzung ist bereits in der KI-Konvention des Europarats festgelegt. Die Schweiz wird daher einen solchen Mechanismus einführen müssen, um das Übereinkommen ratifizieren zu können. Auch die Verordnung zum AI Act der Europäischen Union sieht eine grundrechtliche Folgenabschätzung bei der Verwendung von Hochrisiko-KI-Systemen durch die öffentliche Verwaltung vor, die transparent gemacht werden muss.
<div>Das geltende Recht enthält bereits Instrumente zur Vermeidung möglicher Grundrechtsverletzungen im Zusammenhang mit KI-Systemen. So sieht zum Beispiel Artikel 22 des Datenschutzgesetzes (DSG; SR 235.1) vor, dass die Bundesorgane vorgängig eine Datenschutz-Folgenabschätzung durchführen müssen, wenn eine Bearbeitung ein hohes Risiko für die Persönlichkeit oder die Grundrechte der betroffenen Person mit sich bringen kann. Durch die Verwendung neuer Technologien wie KI können notorische Risikofaktoren entstehen (vgl. Merkblatt zur Datenschutz-Folgenabschätzung [DSFA] nach den Art. 22 und 23 DSG; www.edoeb.admin.ch > Datenschutz > Rechtsgrundlagen Datenschutz > Wichtige Neuerungen > Datenschutz-Folgenabschätzung, Seite 13). Die zu berücksichtigenden Risiken können auch materieller Art sein, wie etwa eine fehlerhafte Datenverarbeitung, die zur Verweigerung einer Anstellung führen kann (vgl. Commentaire romand de la Loi fédérale sur la protection des données, N. 24 zu Art. 22 DSG). Die Richtlinien des Bundesrates für die Risikovorprüfung und die Datenschutz‑Folgenabschätzung bei Datenbearbeitungen durch die Bundesverwaltung (DSFA-Richtlinien; BBl 2023 1882) halten zudem fest, dass das federführende Departement und die Bundeskanzlei insbesondere im erläuternden Bericht, in der Botschaft und in den Abstimmungserläuterungen über die Ergebnisse der DSFA und gegebenenfalls über die Stellungnahme des EDÖB informieren (vgl. Art. 4.2 Abs. 3 DSFA-Richtlinien). Im Bereich der Informatik sehen die Informatiksicherheitsvorgaben namentlich eine Schutzbedarfsanalyse (Schuban) vor, bei der die Anforderungen an die Informationssicherheit und den Datenschutz dokumentiert werden (www.ncsc.admin.ch > Dokumentation > Informatiksicherheitsvorgaben Bund > Sicherheitsverfahren > Beurteilung des Schutzbedarfs). Der Bundesrat hat am 22. November 2023 das UVEK (BAKOM) und das EDA (Abteilung Europa) damit beauftragt, bis Ende 2024 eine Auslegeordnung zur KI-Regulierung in der Schweiz sowie mögliche Regulierungsansätze vorzulegen. Dabei geht es auch um die Frage, ob eine Pflicht zur Durchführung einer Grundrechtsfolgenabschätzung von KI‑Systemen und zur Veröffentlichung der Ergebnisse eingeführt werden soll, insbesondere im Zusammenhang mit der Prüfung der Konvention des Europarats über KI, Menschenrechte, Demokratie und Rechtsstaatlichkeit. Der Bundesrat hält es deshalb für sinnvoller, das Ergebnis dieser Arbeiten abzuwarten, bevor er über weitere Verpflichtungen für die Bundesverwaltung entscheidet.</div> Der Bundesrat beantragt die Ablehnung der Motion.
Der Bundesrat wird beauftragt, die Bundesverwaltung zu verpflichten, bei ihrer Verwendung von algorithmischen und KI-basierten Systemen eine Folgenabschätzung zu grundrechtlichen und gesellschaftlichen Risiken durchzuführen und deren Resultate transparent zu machen. Diese Pflicht soll bei allen Systemen bestehen, die zur Entscheidungsfindung oder -unterstützung in der Bundesverwaltung eingesetzt werden.
Transparente und risikobasierte Folgeabschätzungen beim Einsatz von künstlicher Intelligenz und Algorithmen durch den Bund

State

Stellungnahme zum Vorstoss liegt vor

Related Affairs

Drafts

Index

0

Texts
- Systeme, die auf Künstlicher Intelligenz (KI) oder Algorithmen basieren, können Prognosen erstellen, Empfehlungen machen, Entscheidungen fällen und Inhalte generieren. Auch öffentliche Verwaltungen in der Schweiz testen oder verwenden solche Systeme vermehrt. Diese Systeme bergen Chancen für mehr Effizienz in der Verwaltung, aber auch Risiken in Bezug auf die Grundrechte oder demokratische und rechtsstaatliche Prozesse. Insbesondere können sie diskriminierende Auswirkungen auf bestimmte Bevölkerungsgruppen mit sich bringen. In den Niederlanden gerieten Tausende von Familien in existenzielle Not, als ein diskriminierender Algorithmus sie fälschlicherweise dazu aufforderte, staatliche Kinderbetreuungsgelder zurückzuzahlen. In Österreich berechnete ein Algorithmus die Wahrscheinlichkeit, dass Arbeitslose wieder in den Arbeitsmarkt eingegliedert werden. Dieser vergab Minuspunkte, wenn Arbeitslose Fürsorgepflicht hatten – aber nur dann, wenn es sich um Frauen handelte. Diese Risiken sind abhängig von Kontext, Zweck und Art und Weise der Anwendung. Darum müssen die Behörden diese Risiken systematisch prüfen. Eine erste Stufe der Risikoabschätzung ermöglicht dabei rasch und ohne grossen Aufwand eine Triage von risikoarmen und risikoreichen Anwendungen. Einzig dann, wenn sich bei dieser Triage-Stufe Risikosignale zeigen, ist eine umfassendere Folgenabschätzung vorzunehmen. Die Ergebnisse dieser Folgenabschätzung sind transparent zu machen und zu diesem Zweck in einem Verzeichnis zugänglich zu machen. Die Notwendigkeit einer solchen Folgenabschätzung ist bereits in der KI-Konvention des Europarats festgelegt. Die Schweiz wird daher einen solchen Mechanismus einführen müssen, um das Übereinkommen ratifizieren zu können. Auch die Verordnung zum AI Act der Europäischen Union sieht eine grundrechtliche Folgenabschätzung bei der Verwendung von Hochrisiko-KI-Systemen durch die öffentliche Verwaltung vor, die transparent gemacht werden muss.
- <div>Das geltende Recht enthält bereits Instrumente zur Vermeidung möglicher Grundrechtsverletzungen im Zusammenhang mit KI-Systemen. So sieht zum Beispiel Artikel 22 des Datenschutzgesetzes (DSG; SR 235.1) vor, dass die Bundesorgane vorgängig eine Datenschutz-Folgenabschätzung durchführen müssen, wenn eine Bearbeitung ein hohes Risiko für die Persönlichkeit oder die Grundrechte der betroffenen Person mit sich bringen kann. Durch die Verwendung neuer Technologien wie KI können notorische Risikofaktoren entstehen (vgl. Merkblatt zur Datenschutz-Folgenabschätzung [DSFA] nach den Art. 22 und 23 DSG; www.edoeb.admin.ch > Datenschutz > Rechtsgrundlagen Datenschutz > Wichtige Neuerungen > Datenschutz-Folgenabschätzung, Seite 13). Die zu berücksichtigenden Risiken können auch materieller Art sein, wie etwa eine fehlerhafte Datenverarbeitung, die zur Verweigerung einer Anstellung führen kann (vgl. Commentaire romand de la Loi fédérale sur la protection des données, N. 24 zu Art. 22 DSG). Die Richtlinien des Bundesrates für die Risikovorprüfung und die Datenschutz‑Folgenabschätzung bei Datenbearbeitungen durch die Bundesverwaltung (DSFA-Richtlinien; BBl 2023 1882) halten zudem fest, dass das federführende Departement und die Bundeskanzlei insbesondere im erläuternden Bericht, in der Botschaft und in den Abstimmungserläuterungen über die Ergebnisse der DSFA und gegebenenfalls über die Stellungnahme des EDÖB informieren (vgl. Art. 4.2 Abs. 3 DSFA-Richtlinien). Im Bereich der Informatik sehen die Informatiksicherheitsvorgaben namentlich eine Schutzbedarfsanalyse (Schuban) vor, bei der die Anforderungen an die Informationssicherheit und den Datenschutz dokumentiert werden (www.ncsc.admin.ch > Dokumentation > Informatiksicherheitsvorgaben Bund > Sicherheitsverfahren > Beurteilung des Schutzbedarfs). Der Bundesrat hat am 22. November 2023 das UVEK (BAKOM) und das EDA (Abteilung Europa) damit beauftragt, bis Ende 2024 eine Auslegeordnung zur KI-Regulierung in der Schweiz sowie mögliche Regulierungsansätze vorzulegen. Dabei geht es auch um die Frage, ob eine Pflicht zur Durchführung einer Grundrechtsfolgenabschätzung von KI‑Systemen und zur Veröffentlichung der Ergebnisse eingeführt werden soll, insbesondere im Zusammenhang mit der Prüfung der Konvention des Europarats über KI, Menschenrechte, Demokratie und Rechtsstaatlichkeit. Der Bundesrat hält es deshalb für sinnvoller, das Ergebnis dieser Arbeiten abzuwarten, bevor er über weitere Verpflichtungen für die Bundesverwaltung entscheidet.</div> Der Bundesrat beantragt die Ablehnung der Motion.
- Der Bundesrat wird beauftragt, die Bundesverwaltung zu verpflichten, bei ihrer Verwendung von algorithmischen und KI-basierten Systemen eine Folgenabschätzung zu grundrechtlichen und gesellschaftlichen Risiken durchzuführen und deren Resultate transparent zu machen. Diese Pflicht soll bei allen Systemen bestehen, die zur Entscheidungsfindung oder -unterstützung in der Bundesverwaltung eingesetzt werden.
- Transparente und risikobasierte Folgeabschätzungen beim Einsatz von künstlicher Intelligenz und Algorithmen durch den Bund

Back to List

Web Services of the Swiss Parliament

Transparente und risikobasierte Folgeabschätzungen beim Einsatz von künstlicher Intelligenz und Algorithmen durch den Bund