Wenn KI den Weg vorgibt - Teil 1

In der Diagnostik haben sich KIs bereits bewiesen. In kurzer Zeit können sie mit großer Treffsicherheit Bilder danach kategorisieren, ob sie krankhafte Veränderungen zeigen oder nicht. (Interview zu KI in der Radiologie, Anm.). Anders verhielt es sich bisher beim zeitlichen Verlauf von Veränderungen und anderen Modalitäten. Doch auch diese Hürde scheint genommen, geht es nach Forschern der TU Wien. Diese stellten die Sepsis, eine der häufigsten Todesursachen auf der Intensivstation, ins Zentrum ihrer Untersuchung. Mit einem großen Datensatz aus Intensivstationen unterschiedlicher Krankenhäuser wurde eine Künstliche Intelligenz entwickelt, die Vorschläge für die Behandlung von Menschen liefert, die wegen einer Sepsis intensivmedizinische Betreuung brauchen. Den Analysen der Forscher zufolge übertrifft die Künstliche Intelligenz die Qualität menschlicher Entscheidungen bereits. 

medinlive: Herr Prof. Heitzinger, in Ihrer Studie wurde die Technologie des Reinforcement Learning eingesetzt. Warum – und könnten Sie diese Technologie bitte näher beschreiben?

Heizinger: Reinforcement Learning oder bestärkendes Lernen wird für das Lernen von optimalen Strategien eingesetzt. Es ist ein sehr allgemeines Konzept, in dem es um das Wechselspiel zwischen einer Umgebung und einem „Agenten“ (der die „Künstliche Intelligenz“ repräsentiert, Anm.) geht. Der Agent setzt Aktionen, die die Umgebung in einen neuen Zustand versetzen. Der Agent erfährt den neuen Zustand und erhält eine Belohnung (oder Bestrafung). Das Ziel des Agenten ist es, eine Strategie zu finden, die die Summe aller zukünftigen Belohnungen maximiert. Anders ausgedrückt ist das Ziel die optimale, zeitabhängige Kontrolle von Systemen.

Reinforcement Learning ist neben Supervised Learning und Unsupervised Learning die dritte Säule des maschinellen Lernens. Ein Beispiel für Supervised Learning ist die Diagnose von Krankheiten in Bildern (Fotos von Hautveränderungen, MRI, Ultraschall und andere) mittels Deep Learning (näheres hierzu im Interview mit KI-Forscher David Major). Im Gegensatz zu Supervised und Unsupervised Learning, in denen es kein Konzept der Zeit gibt, muss der Agent im Reinforcement Learning lernen, in die Zukunft zu blicken, denn die positiven oder negativen Auswirkungen seiner Aktionen machen sich eventuell erst sehr viel später bemerkbar. In medizinischen Anwendungen ist der Agent der Arzt, die Umgebung der Patient, und die Aktionen sind die Behandlungsschritte, wie zum Beispiel das Verabreichen von Medikamenten.

Wir haben uns zu Beginn für intensivmedizinische Anwendungen entschieden, da dort die Datenlage, auch dank der Arbeit der Kollegen an der MedUni Wien, sehr gut ist. Viele Parameter werden in kurzen Zeitabständen, etwa vier Stunden, erhoben und gespeichert. Diese Intervalle werden sich in Zukunft weiter verkürzen. Sepsis ist die häufigste Todesursache auf Intensivstationen und bot sich daher als naheliegende Anwendung an. Beim Lernen der Behandlung von Sepsis werden die Belohnungen je nach Überleben von 30 beziehungsweise 90 Tagen nach Verlassen der Intensivstation vergeben.

medinlive: Wie hängen Reinforcement Learning und die hohe Anzahl der klinischen Parameter (277 in einer der Studien) zusammen?

Heizinger: Die Anzahl der erhobenen Parameter ist heutzutage tatsächlich recht hoch; die Datenlage ist gut und wird immer besser. Das ist die Voraussetzung dafür, dass moderne Methoden der Künstlichen Intelligenz und des maschinellen Lernens funktionieren. Andererseits ist es irreführend, wenn für eine Problemstellung irrelevante Parameter in den Lern-Algorithmus eingegeben werden. Das erschwert das Lernen. Welche Parameter sind also relevant und welche nicht? Diese wichtige Frage können wir nach Ende des Lernprozesses beantworten und die Parameter nach ihrer Bedeutung für eine Aufgabenstellung sortieren.

medinlive: Heißt das, dass man als Arzt/Ärztin durch die Maschine neue oder andere Parameter erkennen beziehungsweise bedeutsamere Parameter ermitteln kann?

Heizinger: Genau. Diese Liste der nach ihrer Relevanz sortierten Parameter beinhaltet wichtige Information. Welche sind die wertvollen Parameter? Worauf sollte man achten? Diese Fragen können wir damit beantworten, was wichtige Impulse für die zukünftige Forschung setzt.

medinlive: Laut Studie ergab sich, dass Blutdruck, Herzfrequenz, Leukozytenzahl und Glykämie die wichtigsten Parameter für die Bestimmung der optimalen Behandlung waren – könnte KI hier Wissen für die medizinische Praxis generieren?

Heizinger: Ja. Wir haben uns auch die Frage gestellt, worauf der Mensch besonders achtet und worauf die KI. Es hat sich herausgestellt, dass der Mensch auf eine kleinere Anzahl wichtiger Parameter achtet, aber die KI eine größere Anzahl von Parametern berücksichtigt. Es sieht also so aus, als ob die KI Vorteile daraus ziehen kann, dass die Algorithmen mehr Parameter und nichtlineare Abhängigkeiten davon berücksichtigen können.

Der menschliche Körper ist ein äußerst kompliziertes System, und die Interaktionen zwischen vielen Parametern und Behandlungsmöglichkeiten sind nicht immer einfach zu verstehen. Unsere Algorithmen haben sich als erstaunlich gut darin herausgestellt, diese Abhängigkeiten zu lernen und die wichtigen Parameter aus den Daten herauszulesen.

medinlive: Kann man die Entscheidungen der KI im Nachhinein nachvollziehen und evaluieren oder handelt es sich hier um eine Blackbox?

Heizinger: Ja, die Entscheidungen sind nachvollziehbar oder erklärbar und nicht nur eine Blackbox, aber es hängt vor allem vom verwendeten Lernalgorithmus ab. Eine Methode besteht darin, zunächst die verschiedenen möglichen Zustände der Patient:innen zu lernen. Jeder Zustand wird durch seine Parameterwerte charakterisiert. Dann können wir die wahrscheinlichsten folgenden Zustände in Abhängigkeit davon, welche Aktion oder welche Behandlung gewählt wurde, lernen.

Auf diese Art und Weise können wir die Strategie der KI nachvollziehen. Wir kennen den aktuellen, gemessenen Zustand des Patienten. Je nachdem, welcher Behandlungsschritt (welche Aktion) als nächster gesetzt wird, wissen wir, wie sich der Patient weiterentwickelt. Und das können wir für viele Zeitschritte wiederholen und so die Entwicklung des virtuellen Patienten beobachten.

Wir legen großes Augenmerk auf die Evaluierung der Strategien. Sie ist eine der wichtigsten Fragen. Zunächst teilen wir die Daten in Datensätze zum Lernen von Strategien und in Datensätze für eine unabhängige Evaluierung auf. Mit Hilfe der Daten, die der Lernalgorithmus vorher noch nie gesehen hat, wird die Qualität der berechneten Strategien beurteilt. Wie man das möglichst genau bewerkstelligt, ist auch eine aktuelle Forschungsfrage. Ich erwarte hier laufende Verbesserungen.

medinlive: In der KI und im maschinellen Lernen spielen Wahrscheinlichkeiten ja im Allgemeinen eine grundlegende Rolle, und Sie haben auch gerade Wahrscheinlichkeiten erwähnt. Wie sieht es dabei in Ihren Studien aus?

Heizinger: Die Wirklichkeit besitzt eine Zufallskomponente, und das muss beim Lernen berücksichtigt werden. Die Datensätze enthalten auf jeden Fall Zufälligkeiten. Man muss daher Datenstrukturen und Algorithmen verwenden, die mit Wahrscheinlichkeiten umgehen können.

Wir haben auf einer modernen Variante des Reinforcement Learning aufgebaut, dem sogenannten distributionellen Reinforcement Learning. Dabei werden für jedes Zustands-Aktions-Paar die Wahrscheinlichkeitsverteilungen der Summen der zukünftigen Belohnungen/Bestrafungen berechnet. Das klingt jetzt sehr abstrakt, ist aber sehr gut interpretierbar und aussagekräftig. Wenn wir einen Behandlungsschritt setzen und sehen, dass die Wahrscheinlichkeit der Belohnung -1 (-1, eigentlich eine Bestrafung, bedeutet Exitus) groß ist und alle anderen Wahrscheinlichkeiten klein sind, dann ist die Prognose schlecht.

Umgekehrt, wenn wir einen Behandlungsschritt setzen und sehen, dass die Wahrscheinlichkeit der Belohnung +1 (+1 bedeutet Überleben) groß ist und alle anderen Wahrscheinlichkeiten klein sind, dann ist die Prognose gut. Wir finden aber auch Zustände und Aktionen, in denen sowohl Belohnungen um +1 und um -1 wahrscheinlich sind. In diesen kritischen, im Sinn von entscheidenden, Zuständen ist die Prognose offen.

medinlive: Wie viele Probanden waren Teil der Studie, in welchem Krankheitsstadium befanden sich dies und wie lange dauerte die Studie?

Heizinger: Es wurden Aufenthalte in Intensivstationen von zehntausenden Patient:innen ausgewertet. Diejenigen, die laut SOFA-Score septisch waren, wurden in die Studie aufgenommen. Die Daten wurden (nicht nur von uns) über mehr als zehn Jahre erhoben.

medinlive: Wie lange wurde die Maschine trainiert und wie lange braucht das Gerät, um eine Prognose zu erstellen?

Heizinger: Die Arbeit an unseren Publikationen erstreckte sich über mehrere Monate. Wir mussten zunächst geeignete theoretische und algorithmische Herangehensweisen identifizieren, die Daten aufbereiten, geeignete Algorithmen implementieren und die Ergebnisse bewerten und validieren. Das Trainieren und Validieren ist ein aufwändiger Prozess, sowohl was die Software-Entwicklung als auch was den Rechenaufwand betrifft. Sobald die Strategie aus den historischen Daten berechnet worden ist, ist der Rechenaufwand sehr gering und sie kann praktisch sofort angewendet werden.

medinlive: Was ist das Endergebnis des KI-Modells? Eine Prognose?

Heizinger: Das Ergebnis sind Behandlungsstrategien. Für jeden Patientenzustand gibt die Strategie die optimale Medikation an, und wir können den zeitlichen Verlauf der Patientenzustände, immer in Abhängigkeit der Behandlung, verfolgen. Prognosen sind mit unserem KI-Modell also auch sofort möglich.

Wir können auch die Wahrscheinlichkeiten angeben, mit denen die Patient:innen in jedem Zustand und für jede Behandlung einen positiven oder negativen Outcome haben werden. Das ist besonders dann von Bedeutung, wenn positiver und negativer Outcome etwa gleich wahrscheinlich sind. Diese kritischen Situationen können wir identifizieren und damit angeben, welche Patient:innen gerade besonderer Aufmerksamkeit bedürfen.

medinlive: Wie schnitten Menschen im Vergleich zur Maschine ab?

Heizinger: Die Validierung der berechneten Behandlungsstrategien hat ergeben, dass für diesen Anwendungsfall die Leistungsfähigkeit der Strategien zumindest auf dem Niveau der Ärzt:innen liegt. Es gibt außerdem gute Hinweise, dass die von der KI erreichten Überlebenswahrscheinlichkeiten sogar besser als die der Ärzt:innen sind.

Weiterlesen:

Teil 2 zu ethischen Problemen

medinlive ist bestrebt, eine Vielzahl von Leserbriefen zu veröffentlichen.
Wir würden gerne wissen, was Sie über diesen oder einen anderen unserer Artikel denken.
Welche Erfahrungen haben Sie mit dem Einsatz Künstlicher Intelligenz im Praxisalltag gemacht?
Schreiben Sie uns auf: redaktion@medinlive.at.
Folgen Sie unseren Beiträgen auch auf Facebook, Twitter und linkedin.