Fortbildung/Technologie„KI-Modelle gehören in die Hände von Experten!“

Künstliche Intelligenz (KI) ist in der Radiologie längst anerkannt, um die Patientenversorgung zu verbessern. Doch die große Zahl unterschiedlicher KI-Anwendungen kann verwirren oder sogar zu Irrtümern führen. Die Deutsche Röntgengesellschaft (DRG) bietet daher als erste Fachgesellschaft eine Q1-Zusatzqualifizierung Künstliche Intelligenz an. Organisiert wird die Fortbildung von der AG Informationstechnologie (AGIT) der DRG. Deren Vorsitzender ist Prof. Dr. med. Matthias May, European Board of Interventional Radiology (EBIR), Leitender Oberarzt am Radiologischen Institut des Universitätsklinikums Erlangen. Im Gespräch mit Ursula Katthöfer (textwiese.com) schildert er zahlreiche Irrtümer, die in der Radiologie bei der Anwendung von KI-Modellen passieren können.

Redaktion: Was wäre ein typischer Fall, in dem KI aufgrund eines Irrtums falsch angewendet wird?

Prof. May: KI hat in ganz unterschiedlichen klinischen Bereichen Einzug gehalten, daher sind auch die Irrtümer unterschiedlich. Bisher hat KI vor allem bei der Bildberechnung die alltägliche Patientenversorgung verbessert. In der CT lässt sich dadurch die Strahlendosis reduzieren, bei der MRT kann die Untersuchungszeit herstellerunabhängig bei gleicher Qualität der Bilder etwa halbiert werden. Die Geräte sind besser verfügbar, wir können mehr Patienten untersuchen. Das ist nicht nur ein wirtschaftlicher Faktor. In der Universitätsmedizin können wir dadurch das Bestmögliche für die Patienten herausholen. Ein typischer Irrtum in diesem Anwendungsbereich wäre, dass etwas in die Bilder hereingerechnet wird, was gar nicht vorhanden ist, sogenannte Konfabulationen. Das kann geschehen, wenn KI auf einen Datensatz angewendet wird, für die sie gar nicht trainiert wurde.

Redaktion: Hätten Sie dazu ein Beispiel?

Prof. May: Ist ein KI-Modell für die Kniebildgebung trainiert und es wird für die Bildgebung des Kopfes genutzt, erscheinen Konturen eines Knies im Kopf. Es ist allerdings sehr unwahrscheinlich, dass einem dieser grobe Fehler nicht auffällt oder jemand schlussfolgert, der Patient hätte ein Knie im Kopf. Vielmehr ist die Sorge, dass Krankheitsbilder wie ein Tumor fälschlicherweise hereingerechnet werden.

Redaktion: Soweit zur Bildberechnung. Kommen wir zu Irrtümern bei der Befundung.

Prof. May: Bisher sind KI-Modelle auf dem Markt, die eine einzige Frage gut beantworten können. Bei der Mammografie lautet die Frage, ob die Patientin einen Tumor hat. Die KI antwortet mit Ja oder Nein. Das gilt auch für das Lungenkrebsscreening. Die KI kann beantworten, ob der Patient eine Läsion in der Lunge hat oder nicht. Allgemein ist die KI sehr gut darauf eingestellt, zu erkennen, dass ein Patient keine verdächtige Läsion hat. Sie kann jedoch nicht gut beantworten, ob es sich um eine Narbe, eine Entzündung oder einen Tumor handelt. Die KI meldet auch gutartige Veränderungen, ohne zu wissen, dass sie ungefährlich sind. Damit zum Irrtum: Wenn ein Radiologe nicht weiß, was das KI-Modell leisten kann, entstehen womöglich Diagnoseirrtümer, die zu unnötigen Untersuchungen und Überdiagnostik führen. Deshalb gehören KI-Modelle in die Hände von Experten.

Redaktion: Wo stecken Stolperfallen, wenn die KI bereits in ein Gerät integriert ist, etwa ins CT?

Prof. May: Wir hatten einen neuen Scanner in der Notaufnahme, der die Bilder nicht zu einem KI-Modell transferierte, sondern direkt am Gerät auswertete. Die KI konnte Hirnblutungen detektieren und meldete, ob eine Hirnblutung vorlag – ja oder nein. Mehr sagte das Gerät nicht aus. Wir fanden das toll und schickten die Ergebnisse ins Archiv. Für das gesamte Klinikum, also auch für die Kollegen auf der Station, war sofort sichtbar, dass eine Hirnblutung vorliegt. Das Problem: Kein Radiologe hatte die Bilder befundet. Unser Vier-Augen-Prinzip wurde umgangen. Die KI konnte anschlagen, ohne dass etwas Relevantes vorlag. Deshalb haben wir unseren Ablauf umgehend umgestellt. Die Bilder werden erst weitergeleitet, wenn das Ergebnis von einem Radiologen evaluiert wurde. Es können also nicht nur Fehler bei der Bildinterpretation entstehen, sondern auch beim Workflow.

Redaktion: Gibt es weitere Irrtümer?

Prof. May: Ein ganz anderes Problem ist die Generalisierbarkeit von KI-Modellen, die oft an einem einzigen Standort trainiert werden. Das bedeutet aber nicht, dass sie an allen Standorten der Erde auf Bilder anwendbar sind. Schon ein anderer Gerätehersteller kann dazu führen, dass die Daten für die KI nicht mehr interpretierbar sind. Oder ein Krankenhaus nutzt eine neuere Gerätegeneration, die KI wurde aber auf einer älteren Technik trainiert – auch das ist ein Risiko.

Ein interessantes Beispiel für die problematische Generalisierbarkeit ist die Tuberkulose (TB). Wenn man in Deutschland das KI-Modell zum TB-Screening, das in Indien trainiert wurde, anwendet, hat jeder Zweite hier bei uns TB, obwohl die Erkrankung eigentlich sehr selten ist. Der Algorithmus in Indien lautet: Hat der Patient eine Verschattung? Wenn ja, ist es TB. In Deutschland kommen aber eher Infektionen mit anderen Erregern, Krebs oder z. B. Flüssigkeitsansammlungen infrage.

Redaktion: Wer trägt die Verantwortung, z. B. wenn durch Irrtümer Fehlbehandlungen oder unnötige Kosten durch Überdiagnostik entstehen?

Prof. May: Das EU-Gesetz zur künstlichen Intelligenz, der EU AI Act, weist die Verantwortung eindeutig den Anwendern von KI zu, also in unserem Fall der Radiologie. Zu wissen, wie die Testkriterien der KI-Modelle sind und was die KI leisten kann, sind wichtige Voraussetzungen für die Befundung mit KI. Deshalb wollen wir als Fachgesellschaft unsere Anwender darin schulen, dem EU AI Act gerecht zu werden.

Redaktion: Die AGIT hat die Q1-Zusatzqualifizierung Künstliche Intelligenz entwickelt, um solche Irrtümer auszuschließen. Wer ist die Zielgruppe?

Prof. May: KI-Modelle betreffen nicht nur Radiologen und Ärzte in der Facharztausbildung. MTR kümmern sich um die Berechnung der Bilder, Medizinphysiker überprüfen die Geräte und machen das Qualitätsmanagement. Deshalb ist die Fortbildung für alle diese Berufsgruppen geöffnet. Sie ist als niederschwelliger Grundkurs aufgebaut, nicht als Informatikstudium. Die Landesärztekammer hat sie mit zehn CME-Punkten zertifiziert.

Redaktion: Wie ist die Fortbildung aufgebaut?

Prof. May: Sie besteht aus drei Online-Modulen. Modul 1 hat zehn Einheiten à etwa zehn Minuten und kann jederzeit im Selbststudium über die DRG-Lernplattform conrad absolviert werden. Wir haben entschieden, dass im Video die Referenten im Mittelpunkt des Bildschirms stehen, nicht die Folie. Es gibt keinen Chat, aber eine kurze Diskussion mit den Moderatoren und eine Leistungskontrolle mit jeweils zwei Multiple-Choice-Fragen. In Modul 2 vermitteln wir gemeinsam mit dem Fraunhofer Mevis Institut aus Bremen praktische Fähigkeiten. Die Teilnehmer sehen Röntgenbilder von Patienten und markieren darauf Portkatheter. Anschließend können Sie prüfen, wie die KI diese Aufgabe nach verschieden großen Trainings übernimmt. Diese Aufgabe muss vor Modul 3 abgeschlossen sein. Das ist ein vierstündiges Live-Seminar, zu dem wir mittlerweile 160 Personen zulassen. Die Nachfrage nach unserer Zusatzqualifikation ist riesig.

Redaktion: Welche Rolle spielen ethische Fragen in der Fortbildung?

Prof. May: Wir müssen über Verantwortung nachdenken. Deshalb freue ich mich sehr, dass Prof. Dr. Saskia Nagel, Inhaberin des Lehrstuhls für Angewandte Ethik an der RWTH Aachen, dazu einen Vortrag hält. Ich mag es, wenn die Teilnehmer die Fortbildung mit dem Gefühl verlassen, dass alles klar geregelt ist. Ethisch betrachtet existiert keine Möglichkeit, die Verantwortung an Befundungsmaschinen abzutreten. Wir werden als Menschen gebraucht. Es mag sein, dass KI für eine einzelne Fragestellung besser als der Mensch ist. Doch meist haben wir unzählige Fragestellungen, die in ein und demselben Bild beantwortet werden müssen.

Redaktion: Auch eine Marktübersicht ist in die Zusatzqualifikation integriert. Um welchen Markt geht es?

Prof. May: Das ist unser deutscher Markt, der ja weitestgehend dem EU-Markt entspricht. Der EU-Markt wiederum unterscheidet sich nicht sehr vom US-Markt. Der eine braucht eine CE-Zulassung, der andere eine FDA-Zulassung.

Dieser Vortrag ist sehr wichtig, um die große Diskrepanz zwischen Wissenschaft und Routineversorgung zu verdeutlichen. In der Wissenschaft gilt Narrenfreiheit, exzellente Forscher trainieren KI-Anwendungen an mehreren Standorten. Die Crux: Diese Anwendungen sind nicht zugelassen und daher auch nicht in der Patientenversorgung nutzbar – von Sonderzulassungen einmal abgesehen. Für kommerzielle Softwareanbieter ist es hingegen nicht einfach, eine KI auf den Markt zu bringen. Sie müssen die Testgüte nachweisen und dokumentieren. Das kann hohe Investitionskosten nach sich ziehen.

Auch bei kommerziellen KI-Modellen gibt es einen Irrtum: Sie werden oft von der Öffentlichkeit als selbstlernend verstanden. Das stimmt nicht. In der Medizin kann kein selbstlernendes System zugelassen werden, weil das Geprüfte unveränderlich sein muss. Ein KI-Modell als Medizinprodukt kann nicht verändert werden. Technisch wäre das möglich, regulatorisch nicht.

Vielen Dank!