Algorithmen

(1) Jeder hat das Recht, nicht Objekt von automatisierten Entscheidungen von erheblicher Bedeutung für die Lebensführung zu sein. Sofern automatisierte Verfahren zu Beeinträchtigungen führen, besteht Anspruch auf Offenlegung, Überprüfung und Entscheidung durch einen Menschen. Die Kriterien automatisierter Entscheidungen sind offenzulegen.

(2) Insbesondere bei der Verarbeitung von Massen-Daten sind Anonymisierung und Transparenz sicherzustellen.

21 Kommentare

  1. 8

    Die Überschrift ist leider verfehlt. Hier wird (wie auch sonst derzeit in der öffentlichen Debatte) der Begriff ‘Algorithmus’ vulgarisiert und gewissermaßen als Synonym für ‘irgendwelche Technik’, die ‘irgendwie handlungsmächtig’ scheint, eingeführt und dabei ‘irgendwie nach Technik’ klingt. Dabei ist der Begriff ziemlich eindeutig definiert als endliche Sequenz eindeutiger Handlungsanweisungen. Denken Sie etwa an Multiplikationsverfahren aus der Grundschule. Oder an Kochrezepte. Die verzerrende Übernahme populärer Begriffe verdunkelt die Sicht auf die Gegenstände der Regulierung.

  2. 2

    In (1) empfinde ich das Wort “einen” als zu große Einschränkung. Mir würde schon das streichen dieses Wortes “…. Überprüfung und Entscheidung durch Menschen.” genügen. Man kann sich durchaus Szenarien ausmalen bei denen Entscheidungen besser von einem Gericht oder einer Mehrzahl von Personen getroffen werden sollten als von einer Einzelperson.

  3. 2

    Der erste Absatz sollte nach dem ersten Satz enden. Der 2. Satz klingt wie eine Relativierung des 1. Satzes, daher solle man diese trennen:

    (1) Jeder hat das Recht, nicht Objekt von automatisierten Entscheidungen von erheblicher Bedeutung für die Lebensführung zu sein.

    (2) Bei automatisierten Verfahren die zu persönlichen Beeinträchtigungen führen, besteht Anspruch auf Offenlegung, Überprüfung und Entscheidung durch einen Menschen. Die Kriterien automatisierter Entscheidungen sind offenzulegen.

    (3) Insbesondere ….Bezug

  4. 1
    Julia Bonk schreibt:

    Bezieht sich Transparenz hier auch auf das grundlegende Recht zur Offenlegung von Algorithmen, die meine Daten verarbeiten? Ich möchte in den Algorithmus, nachdem Facebook meine virtuelle Netzwerk-Wirklichkeit zusammen stellt, Einblick nehmen können: und mein eigenes Menü zusammen stellen.Bezug

  5. 1

    Dieses Thema tauchte bereits im Zshg. mit der Einschätzung der Vorgehensweise und Relevanz der Schufa-Auskunft auf: Hat der Einzelne das Recht, die Herkunft (sprich: die Berechnung oder den Algorythmus) seines Rankings zu erfahren?

    Die gerichtliche Antwort darauf ist, “Nein”. Sinngemäss deswegen, weil das ein schützenswertes Geschäftsgeheimnis aufhebe. Siehe bspw: http://www.lto.de/recht/hintergruende/h/bgh-urteil-vizr15613-schufa-scoring-ermittlung-kreditwuerdigkeit-algorithmus-geschaeftsgeheimnis-auskunft/

    Aus der Perspektive eines Data-Scientists, erscheint dieses Urteil des BGH – wegen der sich daraus abzuleitenden Widersprüche wie auch Aufwands-Steigerungen – als eine disadäquate, disfunktionale und nicht zukunfts geeignete Beurteilung einer dahinter vermuteten, generelleren Situation.

    Ohne Einsicht in die Algorithmen (oft die schnellste Überprüfung, stösst allerdings z.B. bei der Künstlichen Intelligenz an grundsätzliche Grenzen), oder in einen aufwendigen statistischen Prüfprozess mittels einer unerkennbaren und zugleich potentiell vollständigen Soll-Ist-Überprüfung (d.h. der Prüfende brauchte dafür selbst entweder mindestens alles Wissen des Programmierers, oder aber eine eigene, völlig unabhängig programmierte und vertrauenswürdige Blackbox-Maschine, die statistisch, und für den Prüfling als Prüf-Situation unerkennbar, eine Auswahl aller möglichen Soll-Ist Vergleiche vornimmt), sehe ich keine externen, d.h. staatliche oder von Betroffenen initiierte Kontrollmöglichkeiten, als gegeben.

    Und folglich auch keine Möglichkeit zum Nachweis von Fehlern. Und folglich keine Möglichkeit zur Korrektur oder zu Schadensersatz-Forderungen.

    Das unter Paragraph 7 formulierte Recht erscheint demnach wie ein derzeit nicht vorhandenes, aber völlig selbstverständlich erscheinendes, Recht.

  6. 1

    Die Kriterien automatisierter Entscheidungen komplett offenzulegen ist möglicherweise schwierig, wenn diese Entscheidungen (teils) auf neuronalen Netzen basieren. Eine Technologie, die in der letzten Zeit große Fortschritte macht und nicht effektiv verboten werden sollte.

    Vielleicht ist aber auch nur gemeint und ausreichend, wenn man in so einem Fall die verwendeten Eingangsdaten offenlegt. Also z.B. bei der Entscheidung über die Vergabe eines Kredites, dass darin das Alter des Antragstellers eingeflossen ist, jedoch nicht, wie groß der Einfluss des Alters auf die Entscheidung war.

    1. 0

      Gutes Beispiel: Wir bewegen uns hier bei der Charta von Grundrechten; das ist keine Durchführungsverordnung, d.h. hier sollten unsere Wertvorstellungen formuliert werden, eben die Maßstäbe, die wir an IT anlegen wollen.
      Der Vorschlagstext erscheint mir sinnvoll: Es gibt Einzelkriterien für Entscheidungen. Wir wollen grundsätzlich den effizienten Einsatz von IT bei Entscheidungen vielfälltiger Art. Es gibt aber auch fehlerhafte Implementierung, Konzeptfehler und unpassende Ergebnisse vllt. durch eine lückenhafte Berüchsichtigung von Eingangsbedingungen. Daher brauchen wir notfalls einen Menschen im Gefüge.
      Ich würde mich höchstens an der etwas unspezifischen Formulierung “erheblicher Bedeutung für die Lebensführung” stören. Hat das Schufa-Scoring erhebliche Bedeutung für die Lebensführung? Wie sieht’s mit der Priorisierung von Goole-Suchergebnissen aus?

    2. 0

      Ein Ausweg könnte sein die Verwendung selbstlernender Algorithmen in einem ersten Schritt zu erlauben, um bspw. relevante Merkmale zu finden (z.B. für Kreditwürdigkeit oder zur Risikoabschätzung bei medizinischen Operationen oder bei der Auswahl von passenden Bewerber/innen). Diese (z.B. 5 bis 10) relevanten Merkmale, nach denen dann die Entscheidung (automatisiert) getroffen wird, dann aber im zweiten Schritt offen zu legen. So wird die Entscheidung nachvollziehbar (im Unterschied zu künstlichen neuronalen Netzen).

  7. 0

    Vielen Punkten aus den vorherigen Kommentaren stimme ich zu; insbesondere halte ich auch die Zusammenfassung unter dem Begriff “Algorithmen” für falsch.

    Für mich schießen diese Forderungen weit über das Ziel heraus. Man sollte nicht vergessen, dass Algorithmen auch in der vor-digitalen Zeit allgegenwärtig waren und man auch dort “Objekt von automatisierten Entscheidungen von erheblicher Bedeutung für die Lebensführung” wurde: Nehmen Sie zum Beispiel die Zulassung zu einem Universitätsstudium.

    Zu dieser Verklärung der vor-digitalen Zeit passt es wunderbar, dass – wie zuletzt so häufig im öffentlichen Diskurs – der Begriff “Algorithmus” als etwas Digitales fehlgedeutet wird. Eine interessante Pointe ist hierbei der formulierte “Anspruch auf Offenlegung, Überprüfung und Entscheidung durch einen Menschen”: Diese Überprüfung und Entscheidung durch einen Menschen bedarf ja entweder selbst klaren Prüfvorschriften, also Algorithmen, oder sie würde andernfalls Willkür bedeuten. Letztendlich wird also gefordert, dass Entscheidungen, anstelle von vollkommen nüchternen und neutralen Maschinen, durch vorurteilsbehaftete, bestechbare und fehleranfällige Menschen durchgeführt werden.

    Wie naiv und rückwärtsgewandt diese Forderungen sind wird überdies deutlich, wenn man sich mit dem technologischen Fortschritt im IT-Sektor befasst. Wie soll denn beispielsweise eine “Offenlegung” von Algorithmen im Zusammenhang von Quantencomputern oder Neuronalen Netzen überhaupt aussehen? Und wie soll manch technologischer Fortschritt – zum Beispiel autonomes Fahren – schlichtweg möglich sein, ohne dass Menschen “Objekt von automatisierten Entscheidungen” werden?

  8. 0
    Julian Dierkes schreibt:

    Die durch Algorithmen geschaffenen “Blasen” sind im Moment ja in aller Munde. Muss die Charta darauf eingehen? Z.B. durch Erwähnung der Möglichkeiten durch Algorithmen “Gleichgesinnte” oder gleich-Interessierte zu finde, die der Gefahr der Spaltung der Gesellschaft entgegensteht?

  9. 0

    Wir sind dauernd “Objekte automatisierter Entscheidungen” – egal, wie ich meinen Browser einstelle, die Werbung, die ich sehe, ist das Resultat einer solchen automatisierten Entscheidung. Auch eine Radarfalle oder das ABS meines Autos entscheiden automatisch, und ich bin Objekt der Entscheidung.
    Das alles kann also nicht gemeint sein, und ich würde das daher auch nicht fordern.

    Aber es gibt ja die Einschränkung “erhebliche Bedeutung für die Lebensführung”. Geht es nicht um Diskriminierung? Wenn ja, dann sollte der Begriff hier auch verwendet werden – er ist vermutlich besser bestimmt als “erhebliche Bedeutung für die Lebensführung” (aber ich bin kein Jurist).

    Vorschlag: “Niemand darf durch automatisierte Enscheidungen diskriminiert werden.”

    1. 0
      Catronia schreibt:

      Eine Diskriminierung, welche sich auf gewisse spezifische Daten zurückführen lassen (Geschlecht, Alter, Religion, Sexualität, Lebensweise, …) würde wahrscheinlich schon über bestehende Gesetze geregelt seien. Allerdings denke ich, dass Algorithmen, welche sich nicht auf solche sensiblen Daten beziehen (dementsprechend keine Diskriminierung auftritt), aber sich trotzdem in einer solchen Weise auf Leben auswirken können, dass der Mensch hier zu sehr Objekt ist, als dass seine Würde noch gewahrt bleibt.
      Als einfaches Beispiel würde ich Sozialwohnungen nehmen, welche nicht automatisiert verteilt werden sollten, da Beamten hier ein Ermessungsspielraum für etwaige schwierige Fälle haben sollten.
      Dass Menschen öfters ebenfalls nach Algorithmen handeln, darf hier gerne auch thematisiert werden.

  10. 0
    Dominik Golle schreibt:

    Da vielfach gezeigt wurde, wie schwierig erfolgreiche Anonymisierung ist, könnte hier nicht das Instrument (Anonymisierung), sondern der geforderte Zweck im Mittelpunkt stehen. Vom Sinn her, nicht von der juristischen Formulierung: Es ist sicherzustellen, dass Daten nicht auf Einzelpersonen (ggf. auch nicht auf Gruppen kleiner Personenzahl x?) zurückgeführt werden können.Bezug

  11. 0

    Ich würde “bei der Verarbeitung von Massen-Daten” ergänzen um “bei der Verarbeitung und Zusammenführung von Massen-Daten”… die Anonymität von Daten in einer Datenbank kann bei der Zusammenführung von Daten aus mehreren Datenbanken schnell aufgehoben werden.

  12. 0

    “sofern sie zu Beeinträchtigungen führen” belässt die Beweispflicht beim Opfer. Diese Formulierung würde der Schufa gefallen.
    Stattdessen schlafe ich vor:
    “Bei Verdacht auf unzulässige Diskriminierung muss der vollständige Source innerhalb 12 Stunden einem unabhängigen Expertengremium zugänglich gemacht werden. Bei Nichteinhaltung erfolgt Entzug der Geschäftserlaubnis.”Bezug

    1. 0

      Das ist einerseits zu hart und andererseits nicht genug. Der Sourcecode kann die Geschäftsgrundlage der ganzen Firma sein. Da bräuchte ein Konkurrent nur einen “Verdacht” äußern und (wie auch immer) Einfluss auf einen der “unabhängigen” Experten bekommen und schon hat er Zugriff auf den Code. Auf der anderen Seite sind bei neuronalen Netzen die Trainingsdaten mindestens ebenso wichtig wie der Sourcecode — gerade eine falsche Auswahl dieser Daten könnte zur Diskriminierung führen. (Und warum diese extrem kurze Frist von 12 Stunden?)

Schreiben Sie einen Kommentar

Ihre E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

Mit dem Absenden des Kommentars stimmen Sie unseren Nutzungsbedingungen zu.