Abbildung 1: Der „Mensch-in-der-Schleife“ ist Erfolgsfaktor und Qualitätshebel für den Einsatz von KI-Tools und KI-Agenten im Beschaffungsmanagement auf dem Weg zu hybrider Intelligenz (Quelle: Eigene Darstellung).
Abbildung 2: Komplexe Entscheidungsprozesse, in denen ethische, soziale und ökonomische Dimensionen Berücksichtigung finden sowie wertorientierte Kriterien für die Produktauswahlentscheidungen herangezogen werden, bietet KI eine Unterstützung (Quelle: Eigene Darstellung).
Spagat zwischen Gestaltungsoptionen und KI-Halluzinationen
KI-Systeme nehmen bereits heute Einfluss auf weite Bereiche in Wirtschaft und Gesellschaft. Gerade in der Medizin und im Gesundheitswesen sind die Potenziale von KI-Algorithmen zur Präzisierung und Beschleunigung in der Diagnostik bahnbrechend.
KI-gestützte Mustervergleiche in der Dermatologie, vergleichende Befundung in der Radiologie und die gezielte Interpretation thermographischer Patientendaten in der Krebsvorsorge sind neben BigData-Analysen in der Neurologie effektive Anwendungsbereiche zur Verbesserung der Frühdiagnostik onkologischer Erkrankungen.
KI-Anwendungsbereiche in Einkauf und Logistik
Auch der Beschaffungsbereich im Gesundheitswesen wird erheblich betroffen sein, denn KI-Algorithmen nehmen bereits heute massiven Einfluss auf die Plattorm-Ökonomie und ermöglichen es, Entscheidungsprozesse in deutlich kürzerer Zeit und mit höherer Qualität abzuschließen.
Die Bandbreite der Nutzung von KI-Tools im Beschaffungsmanagement reicht von der Beschleunigung und Qualifizierung von Ausschreibungsprozessen über Bedarfsplanung und Lageroptimierung bis hin zur Entwicklung kompletter Ausstattungskonzepte für OP- und Funktionsräume.
Als besonders effektiv haben sich KI-Tools bei der Optimierung von Abrechnungs-, Prüf- und Bedarfsprognoseprozessen bewährt.
KI-basierte Entscheidungsunterstützung
Eine deutliche Qualitätsverbesserung durch KI-Tools und KI-Agenten erwarten Experten bei Entscheidungsprozessen zur Auswahl von Medizinprodukten. Einkäufer stehen regelmäßig vor dem Problem, eine sachlich fundierte und betriebswirtschaftlich tragfähige Auswahlentscheidung zwischen Produktalternativen zu treffen. Das Produkt soll ein attraktives Preis-Leistungs-Verhältnis aufweisen, die Akzeptanz der Mitarbeiter finden sowie Sicherheit für Mitarbeiter und Patienten bieten.
Oft fehlen entscheidungsrelevante Informationen über Auswirkungen des Produktgebrauchs im klinischen Betrieb oder der Zugriff auf klinische und epidemiologische Fakten wie zum Beispiel Sekundär-Inzidenzen beim Einsatz eines Medizinprodukts ist zu zeitaufwendig. Auch Informationen über die Stabilität der Lieferkette eines Produkts spielen in Anbetracht der Zunahme von Lieferabrissen und Monopolabhängigkeiten eine Rolle.
In dieser Situation bieten KI-Tools eine Entscheidungshilfe, insbesondere wenn mehrere Kriterien wie Preis, Folgekosten, Prozesskosten sowie Anwendungsrisiken für Patient und Personal, aber auch Auswirkungen auf die CO2-Bilanz sowie sogenannte „Gemeinde-Effekte“ gleichzeitig berücksichtigt werden sollen.
Hier kann der Einkäufer mit Hilfe von KI-Tools eine Total Cost of Ownership-Analyse durchführen und die verborgenen Kosten eines Produkts transparent machen.
Arbeitsweise und Rolle des Einkäufers im KI-basierten Entscheidungsprozess
Die Nutzung von KI-Tools bzw. KI-Agenten verändert die Arbeitsweise des Einkäufers und bewirkt Veränderungen im Hinblick auf dessen Anforderungsprofil sowie sein Rollenverständnis. Nutzen und Effektivität eines KI-Tools hängen wesentlich davon ab, ob der Einkäufer es gelernt hat, an die KI die der Problemstellung angemessenen Kontextinformationen zu geben und eine zielführende Fragesequenz, sogenannte PROMPTS, zu entwickeln. Wichtig ist, dass der Einkäufer als „Human-in-the-Loop“ (HITL) sich nicht 1:1 auf die Empfehlungen eines KI-Tools verlässt, sondern diese Empfehlungen auf Stringenz überprüft und gegebenenfalls durch Prüffragen, Vertiefungsfragen oder Angabe von entscheidungsrelevanten und validen Quellenhinweisen nachjustiert (siehe Abbildung 1).
Auch ist zu beachten, dass ein KI-Tool weitergehende Aspekte einbringt, die zu Beginn des Suchprozesses gar nicht auf der Entscheidungsagenda des Einkäufers standen. So erhält man als Einkäufer bei der Frage nach dem optimalen OP-Handschuh nicht nur Informationen über Tragekomfort, Materialrobustheit, CO2-Bilanz und Entsorgungsaufwand, sondern auch Hinweise auf latex-assoziierte Allergierisiken, die für Patienten und OP-Personal durch den Gebrauch von Latex-Handschuhen ausgehen, und welche Folgekosten damit einhergehen.
Damit erweitert sich der Katalog der Entscheidungskriterien insbesondere um klinische, epidemiologische und ökologische Indikatoren, die im bisherigen Einkaufsverfahren eine untergeordnete Rolle gespielt haben. Im Sinne einer fachlich fundierten und ganzheitlichen Entscheidungsfindung mögen diese Zusatzinformationen wünschenswert sein; sie bergen aber die Gefahr, dass die Finalentscheidung durch nicht entscheidungsrelevante Sachverhalte verwässert wird. So wurde der KI-basierte Produktvergleich dreier Typen von OP-Handschuhen durch den herstellerseitig kommunizierten AQL-Level (Acceptable Quality Level = erlaubte Ausschussquote) beeinflusst: das Produkt mit dem niedrigsten AQL-Level wurde vom KI-Tool empfohlen. Aber: alle Vergleichsprodukte unterschritten den vorgegebenen Minimum-Level der Industrienorm deutlich, sodass dieses Kriterium keine Entscheidungsrelevanz hat. Dies ist eine typische Informationslage, in der der Sachverstand des HITL gefordert ist, um bei dem KI-Agenten einen Lerneffekt durch Rückkopplung auszulösen.
KI-Blackbox, maligne Nachrichten und KI-Halluzinationen als Stolperfalle
Ein weiteres Erkenntnisproblem in Verbindung mit KI-gestützten Analysen ist darin zu sehen, dass die Algorithmen, nach denen ein KI-Modell lernt, in der Regel nicht transparent sind.
Der „Kluger Hans-Effekt“ (oder Wunderpferd-Effekt) im maschinellen Lernen beschreibt das Phänomen, dass eine Methode zwar zum richtigen Ergebnis führt, aber aus irrelevanten Informationen und/oder unzuverlässigen Quellen gespeist wird. Diesen Zusammenhang demonstriert eine Studie, bei der die eingesetzte KI zur Erkennung von Infektionen in den Röntgenbildern von Lungen die handschriftlichen Notizen an den Bildrändern als Quelle nutzte statt die medizinischen Bildinhalte.
Von besonderer Bedeutung ist das Phänomen der „KI-Halluzinationen“. Solche zu Fehlentscheidungen führenden Falschinformationen entstehen durch „Wissenslücken“ des KI-Agenten, die dieser aufzufüllen versucht durch Wahrscheinlichkeitsannahmen, Interpretationen, kreative Ergänzungen („Whisper-Phänomen“) und die Nutzung von Algorithmen zur Mustererkennung als Ersatz für das Fehlen belegbarer Fakten. Als gewichtige Ursache für KI-Halluzinationen gelten unpräzise formulierte, mehrdeutige Prompts.
Weiterhin können sogenannte maligne Nachrichten die KI-generierten Empfehlungen in die falsche Richtung lenken. Es handelt sich dabei um Informationen, die der KI-Agent unreflektiert aus ideologisch geprägten Quellen ableitet.
Auch das „Sycophancy Phenomenon“ muss durch den KI-Nutzer beachtet und kontrolliert werden. Es beschreibt die Tendenz von KI-Tools, ihren Nutzern ungeprüft zuzustimmen, wenn z. B. über einen PROMPT verlangt wird, dass tendenziöse Berichte oder ideologische Ansichten als Quelle berücksichtigt werden sollen.
Das „Sycophancy Phenomenon“ wirft auch eine grundlegende ethische Frage im Umgang mit KI-Tools auf: Dürfen wir alles, was wir können, und was passiert, wenn KI-Algorithmen ideologisch trainiert werden?
So erfüllen gezielte Hinweise auf die Verwendung von Daten aus Quellen, die der Meinung des KI-Anwenders (oder präziser ausgedrückt: seinen Vorurteilen) entsprechen, den Tatbestand der Manipulation und dies steht einer objektiven KI-Anwendung entgegen.
Der Black-Box-Charakter eines KI-Tools wird durch alle diese genannten Phänomene verstärkt und stellt eine Stolperfalle für den Anwender dar. Wichtig ist daher, einem KI-Tool den Zugang zu validen Datenbanken mit evidenzbasierten Informationen zu ermöglichen, zum Beispiel durch „Retrieval Augmented Generation“ (RAG).
Fazit
– KI ist kein Job-Killer für Einkäufer.
– KI ist auch keine Allzweckwaffe für den erfolgreichen Einkäufer.
– KI ist für den Einkäufer ein Sparringspartner, kein absoluter Ratgeber.
– KI ist so effektiv wie der sie benutzende Einkäufer als Fachmann in der Lage ist, KI-Empfehlungen einer kritischen Würdigung zu unterziehen.
Das heißt: Urteilsvermögen und Problemlösungsfähigkeit von Experten („Hinterkopfwissen“) bilden in Kombination mit maschineller Intelligenz die Grundlage für hybride Intelligenz: der „Mensch in der Schleife“ verhilft dem KI-Modell zu höherer Leistungskapazität durch Anleitungen, Feedback, Kontexteingaben und entscheidungsrelevante Hinweise auf Datenquellen mit evidenzbasierten Daten.
KI bietet die Chance, komplexe Produktauswahlentscheidungen im Beschaffungsmanagement verstärkt an den Prinzipien des „Value- Based Health Care“ zu orientieren (u siehe Abbildung 2). Voraussetzung ist ein „Reinforcement Learning“ (bestärkendes Lernen): Der KI-Agent lernt durch Interaktion mit der Modellumgebung und durch Versuch-und-Irrtum-Erfahrungen.
Entscheidend für die Qualität dieser Lerneffekte ist das Feedback durch den HITL.
Anschrift der Verfasser
dr. med. Anna K. S. von Eiff, MBA, Fachärztin für Innere Medizin (Münster)/Univ.-Prof. Dr. Dr. Wilfried von Eiff, Centrum für Krankenhaus-Management (Universität Münster) und Center for Health Care Management and Regulation (HHL Leipzig Graduate School of Management), von.eiff@uni-muenster.de