Künstliche Intelligenz im Krankenhaus – eine Managementaufgabe
Künstliche Intelligenz (KI) ist längst in den Arbeitsalltag vieler Unternehmen integriert. Das Wachstum und der technologische Fortschritt dieser Schlüsseltechnologie sind immens, weshalb Unternehmen weiter in KI-Anwendungen investieren. Das Standardrepertoire generativer KI-Anwendungen ist beispielsweise in der Analyse und Verarbeitung großer Datenmengen, der Erstellung von Texten und Bildern sowie der Automatisierung von Prozessen zu sehen. Gerade auch für Krankenhäuser und Kliniken zeigt sich ein breites Spektrum möglicher Anwendungsbereiche und KI-Lösungen. Diese reichen von Anwendungen im Personalwesen, der Ressourcenplanung (Betriebsmanagement, Planung der Bettenbelegung o.ä.), über die Vorhersage des Wartungsbedarfs medizinischer Geräte zur Reduzierung von Ausfallzeiten, der digitalen Assistenz bei der Aufklärung von Patienten und zur Beantwortung von Gesundheitsfragen, der Fernüberwachung von Patienten im Rahmen chronischer Erkrankungen oder der Nachsorge bis hin zur Diagnoseunterstützung und Unterstützung bei der Steuerung chirurgischer Roboter.
Das breite Spektrum möglicher Einsatzzwecke von KI-Anwendungen im Krankenhaus und in Kliniken zeigt jedoch auch, dass die damit einhergehenden rechtlichen Herausforderungen ebenfalls breit gefächert sind. Die Entwicklung einer KI-Strategie und der rechtskonforme Einsatz von KI sind daher als Aufgabe der Geschäftsführung zu sehen. Der Beitrag zeigt auf, welchen rechtlichen Regelungen nach der europäischen KI-Verordnung das Management Rechnung zu tragen hat und welche Herausforderungen sich unter Compliance-Aspekten ergeben.
KI-Verordnung
Die Einführung der europäischen KI-Verordnung (KI-VO)[1] markiert einen bedeutenden Schritt zur Regulierung von KI innerhalb der Europäischen Union. Diese Verordnung, die am 1. August 2024 in Kraft trat, zielt darauf ab, die sichere und ethische Nutzung von KI-Technologien zu gewährleisten. Sie umfasst detaillierte Regelungen, die für alle Anbieter von KI-Systemen, die auf dem europäischen Markt angeboten werden, sowie für deren Nutzer gelten. Geschäftsführer und Führungskräfte in Krankenhäusern und Kliniken müssen sich der Auswirkungen der KI-VO bewusst sein, da sie erhebliche Anforderungen für den Einsatz von KI in medizinischen und administrativen Prozessen mit sich bringt.
Zentrale Aspekte der KI-Verordnung
Die KI-VO definiert „künstliche Intelligenz“ als ein maschinengestütztes System, das autonom betrieben werden kann, anpassungsfähig ist und explizite oder implizite Ziele aus den erhaltenen Eingaben ableitet, um Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen zu treffen, die physische oder virtuelle Umgebungen beeinflussen können. Diese Definition legt den Grundstein für die Klassifizierung und Regulierung von KI-Systemen. Ein wesentliches Merkmal von KI-Systemen ist daher ihre Fähigkeit, Ableitungen zu treffen, Lern-, Schlussfolgerungs- und Modellierungsprozesse zu ermöglichen und bis zu einem gewissen Grad unabhängig von menschlichem Zutun zu agieren.
Anwendungsbereich und risikobasierter Ansatz
Die KI-VO erstreckt sich auf alle Entwickler/Anbieter, Inverkehrbringer, Händler, Importeure und Nutzer von KI-Systemen. Sie verfolgt einen risikobasierten Ansatz, der zwischen unannehmbaren (verbotenen), hohen, begrenzten und minimalen Risiken unterscheidet. Je höher das Risiko eines Systems, desto strenger sind die Anforderungen an dessen Betrieb und Überwachung. Spezifische Regelungen gelten zudem für sogenannte Allzweck-KI-Modelle.
Verbotene und Hochrisiko-KI-Systeme
Zu den verbotenen KI-Systemen gehören solche zur biometrischen Kategorisierung basierend auf sensiblen Merkmalen wie politischer Meinung, Religion, sexueller Orientierung oder ethnischer Herkunft, sowie zum Beispiel manipulative Praktiken. Hochrisiko-KI-Systeme, wie solche zur Bewerberauswahl oder zur Bewertung von Arbeitnehmerleistungen, sind zwar erlaubt, unterliegen aber umfangreichen Pflichten und strengen Vorgaben.
Medizinische KI-Systeme als Hochrisiko-KI?
Zur Einordnung eines KI-Systems in eine der Risikoklassen bedarf es einer sogenannten Wesentlichkeitsprüfung. Der Zweck des KI-Einsatzes und der Kontext sind dabei für die Risikobetrachtung maßgeblich. Dient das KI-System im Rahmen seines konkreten Einsatzzwecks etwa der Ergänzung bzw. Unterstützung menschlicher Tätigkeiten, der Mustererkennung, der Verbesserung einer zuvor menschlichen Bewertung oder handelt es sich eher um die Durchführung lediglich vorbereitender Aufgaben, dürfte das KI-System in der Regel als unwesentlich mit geringem oder keinem Risiko einzustufen sein. Zentral ist somit, inwieweit eine wesentliche Beeinflussung der Entscheidungsfindung und nicht nur eine vorbereitende Aufgabenwahrnehmung mit geringen Auswirkungen auf das Ergebnis vorliegt.
Darüber hinaus ist gerade mit Blick auf mögliche KI-Systeme im Krankenhaus zu beachten, dass die KI-VO zusätzlich in ihren Anhängen eine Art Blacklist vorsieht, aus der KI-Systeme folgen, die als Hochrisiko-KI-Systeme gelten. Dies ist dann der Fall, wenn das KI-System als Sicherheitsbauteil eines in Anhang I genannten Produkts verwendet werden soll oder das KI-System selbst ein solches Produkt ist. Insofern ist zu beachten, dass Anhang I zur KI-VO u.a. auf die Medizinprodukte-Verordnung (EU 2017/745) und die In-vitro-Diagnostika Verordnung (EU 2017/746) verweist.
Die KI-VO schreibt für Hochrisiko-KI-Systeme technische Anforderungen vor, die sie erfüllen müssen, um sicherzustellen, dass sie sicher, robust und nachvollziehbar sind. Diese Anforderungen umfassen unter anderem die Datenverarbeitung, die Genauigkeit und die Cybersicherheit der Systeme. Darüber hinaus müssen Anbieter von Hochrisiko-KI-Systemen eine Konformitätsbewertung durchführen, um nachzuweisen, dass ihre Systeme den gesetzlichen Anforderungen entsprechen. Hierauf gilt es aus Betreibersicht bei der Beschaffung solcher KI-Systeme entsprechend zu achten.
KI-Einsatz im Personalwesen als Hochrisiko?
Die Einstufung als Hochrisiko-KI-System kommt nach Anhang III zur KI-VO etwa dann in Betracht, wenn zum Beispiel durch die KI eine Auswertung und Bewertung von Lebensläufen mit Abgabe einer finalen Bewerberempfehlung, eine Bewertung des Bildungsniveaus oder eine Bewertung von Lernergebnissen, oder im Arbeitsverhältnis etwa eine Beeinflussung von Entscheidungen in Bezug auf die Zuweisung von Arbeitsaufgaben, die Beobachtung und Bewertung der Leistung oder eine Beeinflussung von Entscheidungen hinsichtlich Beförderungen oder auch Kündigungen erfolgt.
Transparenz und Rückverfolgbarkeit
Ein zentraler Aspekt der KI-VO ist die Gewährleistung von Transparenz und Rückverfolgbarkeit. Anbieter müssen sicherstellen, dass ihre KI-Systeme für die Nutzer verständlich sind und dass die Entscheidungsprozesse nachvollziehbar bleiben. Dies umfasst die Offenlegung von Informationen über die Funktionsweise der Systeme und die Möglichkeit, Entscheidungen zu überprüfen und zu hinterfragen. Betreiber von KI-Systemen müssen daher darauf achten, von den Anbietern hinreichende Informationen und Dokumentationen zur Verfügung gestellt zu bekommen, um ihren eigenen Informations- und Transparenzpflichten gerecht werden zu können.
Überwachung und Sanktionen
Die Einhaltung der KI-VO wird durch nationale Behörden überwacht, die befugt sind, Untersuchungen durchzuführen und Sanktionen zu verhängen. Bei Verstößen gegen die KI-VO können erhebliche Geldstrafen verhängt werden, die bis zu 6 % des weltweiten Jahresumsatzes des Unternehmens betragen können.
Compliance-Aufgabe für die Geschäftsführung
Die Geschäftsführung ist daher aufgefordert, entsprechend dem eigenen Zielbild für den Einsatz von KI-Systemen die strategisch richtigen Entscheidungen zu fällen, damit den regulatorischen Anforderungen entsprochen und gleichermaßen der unternehmerische Mehrwert beim Einsatz von KI-Systemen erreicht wird.
Hierfür bedarf es zunächst einer Entscheidung, wo im Unternehmen die Zuständigkeit zur Einhaltung der KI-VO und weiterer, im Zusammenhang mit dem KI-Einsatz stehender Rechtsfragen (etwa Datenschutz, IT-Sicherheit und Urheberrecht) verortet wird. In Betracht kommen die Rechts- oder Compliance-Abteilung, aber zum Beispiel auch die IT- oder Datenschutzabteilung. Auch der Einkauf ist bei der Betrachtung mit einzubeziehen. Die Herausforderung besteht darin, dass KI-Systeme keine eindimensionale Funktion im Unternehmen wahrnehmen, sondern wie aufgezeigt, unterschiedliche KI-Systeme zu verschiedenen Zwecken eingesetzt werden. Ein Zusammenführen der KI-Themen aus den unterschiedlichen Bereichen im Unternehmen scheint geboten, nicht zuletzt auch im Hinblick auf etwaige Bericht- und Informationspflichten zu einer nach der KI-VO vorgesehenen KI-Behörde.
Handlungserfordernisse
Die Leitungsebene im Krankenhaus sollte dafür Sorge tragen, dass eine Bestandsaufnahme zu KI-Systemen durchgeführt wird, welche bereits im Betrieb sind oder eingeführt werden sollen (sogenannte GAP-Analyse). Auf Basis der Ergebnisse dieser GAP-Analyse erfolgt sodann eine Einordnung der KI-Systeme unter die Risikoklassen der KI-VO. Hieraus leiten sich sodann wiederum die umzusetzenden Maßnahmen ab, wie die Schaffung von Dokumentationen, die Anpassung von Beschaffungsprozessen und Verträgen im Einkauf, die Sicherstellung der Einhaltung der hohen Anforderungen an die Datenqualität, die etwaig erforderliche Einbindung von Betriebs- bzw. Personalrat (zum Beispiel bei der Toolauswahl) sowie die Sensibilisierung von Mitarbeitern und deren Schulung im Umgang mit KI. Denn die Sicherstellung einer hinreichenden KI-Kompetenz im Unternehmen wird von KI-VO unabhängig von der Risikoeinstufung stets verlangt. Schließlich ist bedeutsam, dass ein sicherer, rechtskonformer und ethischer Umgang mit KI-Anwendungen durch entsprechende interne Richtlinien und Prozesse flankiert wird. Es sind Prozesse zur Auswahl und Qualität von KI-Systemen, Risikoklassifizierung, Dokumentation, Einhaltung von Informations- und Transparenzpflichten sowie zur Überwachung der Einhaltung rechtlicher und ethischer Rahmenbedingungen zu etablieren.
Governance-Strukturen
Die vorstehenden Ausführungen zeigen, dass die Geschäftsführung somit nicht umhinkommt, eine Unternehmens-Governance zur Nutzung von KI-Systemen aufzubauen.
Insbesondere dann, wenn ein KI-System als Hochrisikosystem zu qualifizieren ist, sollte ein Risikomanagement-System etabliert werden. Hiermit ist sicherzustellen, dass über den gesamten Lebenszyklus des KI-Systems eine Risikobewertung durchgeführt und Maßnahmen zur Risikobekämpfung ergriffen werden können. Es bedarf der Protokollierung des Betriebs über die gesamte Lebensdauer des KI-Systems und der Bereithaltung von definierten Informationen über das System und den Anbieter. Schließlich muss ein Hochrisiko-KI-System auch Anforderungen zur Cybersicherheit erfüllen. Nur mit einem effektiven Risikoidentifikations- und Risikobeurteilungsprozess wird die Geschäftsführung in die Lage versetzt, eine Fehlentwicklung des KI-Systems rechtzeitig zu erkennen und entsprechend reagieren zu können. Im Rahmen des Aufbaus geeigneter Governance-Strukturen und zur Erfüllung entsprechender Sorgfaltspflichten sollte zudem ein besonderes Augenmerk auf den Einsatz entsprechend zertifizierter KI-Systeme gelegt werden, um infolge der externen Konformitätsbewertung Fehler in KI-Systemen und eine mögliche Haftung für fehlerhafte KI-Systeme zu reduzieren.
Haftungsmaßstab bei der Delegation von Aufgaben auf KI-Systeme
Die Anforderungen an die Sorgfalt einer ordentlichen und gewissenhaften Geschäftsführung gelten auch bei der Auswahl und der Nutzung von KI-Systemen. Je nach Anwendungsbereich des KI-Systems kann es sich um eine Delegation von Aufgaben handeln, die bislang von Menschen erbracht werden. Soweit die Unternehmensleitung KI-Systeme für die Erfüllung von bestimmten Aufgaben nutzt, liegen einer Risikobeurteilung die gleichen Maßstäbe zu Grunde, wie sie auf nachgeordneter Ebene für autonom handelnde Menschen gelten. Es ist zu beachten, dass die Geschäftsführung bei einer Delegation ihrer Aufgaben eine Pflicht trifft, das KI-System auf Basis einer tauglichen Informationsbasis sorgfältig auszuwählen. Hinzu tritt die Pflicht, das mit der Aufgabe betraute KI-System und die Qualität der zugrunde liegenden Datenbasis zu überwachen. Eine der Geschäftsführung vorwerfbare Pflichtverletzung läge damit immer dann vor, wenn die vorgenommene Delegation als solche bereits grundsätzlich unzulässig oder die Auswahl und Überwachung des KI-Systems unzureichend ist.
Haftung für fehlerhafte Entscheidungen auf Grundlage von KI-Systemen
Demgegenüber trifft die Geschäftsführung grundsätzlich keine Organhaftung, wenn sie bei ihrer Entscheidung auf eine fehlerhafte Analyse des KI-Systems vertraut hat. Vielmehr kommt ihr in diesem Fall die Business Judgement Rule, deren Grundsätze in § 93 Absatz 1 Satz 2 AktG verankert sind, zu Hilfe, wenn die Entscheidung im Rahmen des unternehmerischen Entscheidungsspielraums gelegen hat.
Ein besonderes Augenmerk sollte jedoch auf der Reduzierung von Risiken liegen, die daraus resultieren, dass Entscheidungen bzw. die Grundlagen für eine informierte Entscheidung an ein KI-System delegiert werden. Hierzu zählt auch die Etablierung eines Prozesses zur hinreichenden Dokumentation und Protokollierung von Entscheidungen einer KI-Anwendung.
Fazit
Die KI-VO stellt Führungskräfte im Gesundheitswesen vor vielfältige Herausforderungen. Sie müssen sicherstellen, dass alle KI-Systeme konform im Einklang mit den neuen Regelungen betrieben werden, um rechtliche Risiken zu minimieren und das Vertrauen in KI-Technologien zu stärken. Die Geschäftsführung im Unternehmen hat strategisch zu entscheiden, wer im Unternehmen für die Einhaltung der KI-Governance zuständig sein soll. Die Anforderungen sind umfangreich, nicht zuletzt auf Grund der Vielzahl von Einsatzmöglichkeiten von KI-Systemen im Krankenhaus.
Anmerkungen
[1] https://eur-lex.europa.eu/legal-content/DE/TXT/HTML/?uri=OJ:L_202401689
Anschrift des Verfassers
Marco Müller-ter Jung, LL.M., Rechtsanwalt, Partner IT/IP, Datenschutz, Digitale Innovation, Grant Thornton Rechtsanwaltsgesellschaft mbH, Köln