Das PDF dient ausschließlich dem persönlichen Gebrauch! - Weitergehende Rechte bitte anfragen unter: nutzungsrechte@asu-arbeitsmedizin.com.
In Folge 1 befasst sich Arn Dietz, einer der Referenten beim Forum der AG im Rahmen der Jahrestagung 2025, mit der Funktionsweise und den Limitationen von Künstlicher Intelligenz. Die weiteren Beiträge beleuchten Themen wie die Telematik Infrastruktur in der Arbeitsmedizin, die arbeitsmedizinische Vorsorge und das Mentoring-Programm der AG.
Anna Wolfschmidt-Fietkau und Rüdiger Stephan Görtz, Arbeitsgruppenleitung der AG Next Generation
Future topics in occupational medicine (Part 1): Science versus fiction – On the functioning and limitations of modern AI
The Technologies associated with the term „Artificial Intelligence“ (AI) have gained huge attention in recent public debates and in the media. It seems like there is no task too complicated for these new systems. AI is associated with super-human performance at the press of a button. On the other hand, AI is often referred to as a “black box”, meaning that it is unclear how the technology actually archives its performance and how far it can be trusted. This text briefly covers the technological foundation that underlies AI-technology and highlights limitations that all AI technologies have in common. Furthermore, the text provides hints and central questions that aid in the understanding of AI technology and in the communication of what AI does, without the need to go into technical details.
Zukunftsthemen der Arbeitsmedizin (Teil 1): Science versus Fiktion – Über die Funktionsweise und die Limitationen moderner KI
Künstliche Intelligenz (KI) ist aus der medialen Öffentlichkeit seit einigen Jahren nicht mehr wegzudenken. Für diese neue Technologie scheint keine Aufgabe zu komplex zu sein. Der Begriff KI weckt Erwartungen nach schnellen, die menschliche Leistung scheinbar übersteigenden Lösungen für Probleme auf Knopfdruck. Gleichzeitig ist die Technologie intransparent und ihre Funktion oft unklar. Der Beitrag beleuchtet die technischen Grundlagen von KI in Kürze und zeigt Limitationen auf, die alle KI-Systeme gemein haben. Darüber hinaus liefert er Hinweise und Leitfragen, die genutzt werden können, um KI zu verstehen und die Funktionsweise sauber zu kommunizieren, ohne die technische Implementierung im Detail kennen zu müssen.
Kernaussagen
Einleitung
Der Begriff Künstliche Intelligenz (KI) ist in aller Munde. Von dieser Technologie werden Ergebnisse erwartet, die automatisch generiert werden und in ihrer Qualität mit den von Menschen erarbeiteten Ergebnissen ebenbürtig sind oder diese sogar übertreffen
können.
Daher werden viele Hoffnungen in die neuen KI-Technologien gesetzt. Gleichzeitig wird das Potenzial von KI aber auch immer mit einer gewissen Skepsis und Verunsicherung diskutiert: „Sind die Ergebnisse der KI wirklich immer so gut?“ „Wenn diese neue Technologie das alles kann, was ich vorher in meinem Kompetenzbereich gesehen habe, wie sieht meine Arbeit dann in Zukunft aus?“
Während der Diskussion im Rahmen der AG Next Generation auf der DGAUM-Jahrestagung 2025 herrschte Aufbruchstimmung. Auf der einen Seite wird in KI-Technologie, insbesondere in Verbindung mit der Elektronischen Patientenakte große Hoffnung gesteckt. Könnten lästige bürokratische Prozesse rund um Rezepte und Befunde bald der Vergangenheit angehören? Auf der anderen Seite herrschte vorsichtiger Optimismus bis hin zu Skepsis gegenüber diversen Technologien, die versprechen, basierend auf den gesammelten Patientendaten Vorschläge zu Diagnosen und Behandlungen zu machen. Dieser Beitrag soll einen Einblick in die Funktionsweise von KI sowie Denkanstöße und Informationsquellen geben. Der Fokus liegt dabei primär auf den Limitationen, die aus der Funktionsweise der Algorithmen resultieren. Die Berichterstattung über KI ist oft sehr positiv konnotiert; das Wissen um die Limitationen ist jedoch nötig, um fundierte Urteile über die Anwendung von KI zu fällen.
Begrifflichkeit KI
Die Art, wie der Begriff KI im allgemeinen Sprachgebrauch verwendet wird, trägt zur allgemeinen Unsicherheit, was die Chancen und Risiken der Technologie angeht, bei. Oft wird davon geredet oder geschrieben, dass KI eingesetzt wird, um eine bestimmte Aufgabe zu erfüllen. Dabei wird KI in den meisten Fällen nicht näher definiert und der Begriff wird oft unsauber verwendet. Es gibt eine Reihe von Technologien aus dem Bereich des maschinellen Lernens, der Datenwissenschaften sowie der klassischen Statistik und Informatik, die unter diesem Begriff im Allgemeinen zusammengefasst werden.
Den meisten der genannten Technologien ist gemeinsam, dass die Ausgaben des Computerprogramms nicht mehr explizit von Programmiererinnen und Programmierern vorgegeben werden. Stattdessen wird mit Hilfe von mathematischen Verfahren lediglich der Prozess, wie diese Ausgaben anhand von Daten erhalten werden können, vorgegeben.1
Die Unterscheidung vollzieht sich auf Ebene der letzten Entscheidungsinstanz. Bei der klassischen Softwareentwicklung sollte die oder der Programmierende alle möglichen Eingaben in ein Programm berücksichtigen und im Programm aufschreiben, wie diese Eingaben verarbeitet werden sollen.
Bei einer KI-Anwendung ist zum Zeitpunkt der Entwicklung der Software noch nicht klar, wie eine konkrete Eingabe in eine Ausgabe überführt werden soll. Dazu werden Daten benötigt, die zum Entwicklungszeitpunkt nicht zwingend bekannt sein müssen.
Darin liegt das große Potenzial all dieser Technologien, da die Problemlösungen, die implizit durch die Angabe eines datenbasierten Weges zur Lösung kodiert werden können, teilweise durch klassische Programmierung nicht greifbar sind oder bisher noch nicht bekannt sind beziehungsweise es zu aufwendig ist, die Lösung explizit durch einen Menschen kodieren zu lassen.
Künstliche Neuronale Netze
Zum maschinellen Lernen und zu KI wird eine ganze Reihe an Technologien gezählt, zum Beispiel statistische Methoden wie Random Forrests oder Kernel Density Estimations, aber auch Regressions- und Fit-Algorithmen, Vorhersagetechniken wie ARIMA oder Stützvektormaschinen (für einen Überblick über eine Reihe von Methoden vgl. das Neural Networking Script von David Kriesel, s. Online-Quellen).
Trotz dieser Methodenvielfalt ist die wohl meistgenutzte Basistechnologie das Künstliche Neuronale Netz (KNN). Viele Vorteile und Limitationen, die Technologien, die unter dem Begriff KI genannt werden, gemein haben, lassen sich exemplarisch am KNN verstehen. Bei einem KNN handelt es sich gewissermaßen um die mathematische Skizze eines biologischen Nervensystems. Die analoge Funktionsweise wird im Folgenden kurz erläutert.
In einem biologischen Nervensystem sind verschiedene Neuronen miteinander verbunden. Über diese Verbindungen können die Neuronen elektrische Impulse miteinander austauschen. Wenn ein Neuron ein gewisses Maß an Impulsen von anderen Neuronen erhalten hat, gibt es einen Impuls weiter. In den Impulsen können Informationen kodiert werden. Die Art, wie diese Informationen verarbeitet werden, hängt von der Verknüpfung der Neuronen untereinander ab.
Ein KNN simuliert genau diese Eigenschaften. Die Fähigkeit der Nervenzelle, einen Impuls, wenn die Summe der vorherigen Impulse stark genug ist, weiter zu geben wird durch eine mathematische Funktion, die Aktivierungsfunktion, nachgeahmt.
Die Verknüpfungen der Neuronen werden durch eine gewichtete Summe nachgebildet, die die Ausgaben von mehreren Aktivierungsfunktionen zusammenfasst und diese als Eingabe für eine nächste Aktivierungsfunktion weitergibt.
Wie bei biologischen Nervensystemen, muss auch das künstliche Nervensystem bestimmte Verbindungen zwischen den Neuronen bilden, um die Aufgabe, für die es konzipiert ist, zu erfüllen. Hierzu gibt es verschiedene Strategien. Die am häufigsten verwendeten Strategien bedienen sich der Methode der Kurvendiskussion2 (meist Gradientenabstiegsverfahren). Hierzu wird eine Verlustfunktion vorgegeben. Diese beschreibt, wie weit eine Ausgabe des KNN von der „Musterlösung“ entfernt ist. Beim Zielschießen auf eine Scheibe mit Pfeil und Bogen wäre beispielsweise eine valide
Verlustfunktion der Abstand zwischen der Mitte der Scheibe und der Stelle auf der Scheibe, an der der Pfeil getroffen hat.
Die Differenz zwischen einem bekannten Ergebnis aus den Daten und der Ausgabe des KNN hängt also von den Eingabedaten und den Gewichten des KNN ab. Ziel ist nun, die Gewichte des KNN so zu verändern, dass die Verlustfunktion für möglichst viele Beispiele im Datensatz klein wird. Es gibt mathematisches Handwerkszeug, um vielversprechende Gewichte zu finden. Der Prozess der Gewichtsermittlung wird als „Training“ bezeichnet.
Es ist jedoch nicht garantiert, dass der ermittelte Gewichtssatz auch optimal ist. Die Verlustfunktion ist eine sehr komplizierte mathematischen Funktion mit vielen Kurven, lokalen Maxima und Minima. Es ist als würde man in einem Gebirge wandern, das man nicht komplett kennt. Man kann zum nächsten Tal, dem tiefsten Ort laufen. Das ist verhältnismäßig einfach. Zu zeigen, dass dieser Ort die tiefste Stelle im ganzen Gebirge ist, ist ungleich komplexer.
Durch das Training, dem gezielten Finden von Gewichten, die die Verlustfunktion verkleinern, wird ein KNN geschaffen, das eine gewisse Aufgabe erfüllt, die von den Daten und der Verlustfunktion vorgegeben ist. Der große Unterschied zu klassischen Computerprogrammen ist, dass nur die Verlustfunktion, die Daten und die Struktur des KNN (wie viele Neuronen sind wie verknüpft) vorgegeben ist. Wie die Aufgabe, die durch Verlustfunktion und Daten gegeben ist, ausgeführt wird, wird durch die Optimierungsprozedur ohne menschliches Zutun festgelegt.
Limitationen und Probleme
Im folgenden Abschnitt werden generelle Limitationen vorgestellt, die häufig im Zusammenhang mit maschinellem Lernen eine Rolle spielen. Bevor eine Lösung eines Problems mit maschinellem Lernen angestrebt wird, sollte überdacht werden, inwiefern diese Limitationen in der aktuellen Problemlösung auftreten.
Aufgabe von Verantwortung über die Problemlösung
Um diese Limitation zu bewerten, sollen kurz die Probleme betrachtet werden, die mit Software gelöst werden. Klassischerweise wird zur Entwicklung einer Software ein Team mit Fachleuten für Softwareentwicklung sowie Expertinnen und Experten aus dem Einsatzbereich der Software zusammengestellt. Dieses Team spezifiziert dann gemeinsam die Anforderungen an die Software und erarbeitet ein Programm, das diese Anforderungen erfüllt. Hier lösen Menschen alle Probleme und hinterlegen die Lösung dann als Computerprogramm. Das heißt, es gibt für jedes Detail der Software
einen Menschen, der weiß, warum dieses Detail in dieser Art ausgestaltet ist. Durch moderne Programmier- und Testtechniken kann zudem sichergestellt werden, dass sich jedes kleine Teil der Software auch so verhält, wie es von den Entwickelnden intendiert ist.
Wird nun ein maschinelles Lernverfahren verwendet, wird ein Stück der Verantwortung abgegeben. Im klassischen Kontext werden alle Details der Lösung des Problems von Menschen durchdrungen und verstanden. Beim maschinellen Lernen wird die Lösung nicht vorgegeben. Stattdessen werden die Randbedingungen von Menschen erarbeitet. Deshalb ist es deutlich schwieriger zu testen, ob das Programm, das durch maschinelles Lernen entsteht, funktioniert – vor allem bei unbekannten Eingaben.
Wird das richtige Problem gelöst?
Wie bereits beschrieben, wird im Kontext des maschinellen Lernens, im Gegensatz zur klassischen Softwareentwicklung, das Problem, das durch die Software gelöst werden soll, nicht von Menschen durchdrungen. Das Problem wird lediglich von Menschen durch Daten und eine Verlustfunktion charakterisiert. Wie die Lösung aussieht, ergibt sich durch den Trainingsprozess. Dadurch ist es möglich, dass die Lösung, die sich im Training ergibt, zwar die Verlustfunktion auf den Trainingsdaten minimiert, trotzdem aber nicht das Problem löst, das die Entwickelnden lösen wollten. Ein prominentes und eindrückliches Beispiel hierfür ist das „Husky-versus-Wolf“-Experiment (Ribeiro et al. 2016). Hier wird ein KNN darauf trainiert, Bilder von Huskys von Bildern von Wölfen zu unterscheiden. Alle Fotos von Wölfen in den Trainingsdaten wurden im Schnee aufgenommen. Alle Huskys wurden mit anderen (nicht Schnee) Hintergründen fotografiert. Um den Unterschied zwischen dem Wolf und dem Husky zu bestimmen, musste das KNN also lediglich überprüfen, ob der Hintergrund des Bildes eher weiß ist oder nicht. Natürlich ist dieses Beispiel genauso gestaltet, dass eine Fehlabstimmung zwischen dem Problem, das gelöst werden soll, und dem Problem, das gelöst wird, entsteht.
Solche (meist unbeabsichtigten) Korrelationen sind jedoch auch in der klinischen Forschung nicht unbekannt und es ist schwer, sie zu vermeiden. Ein KNN kann per design nicht unterscheiden zwischen Korrelationen, die zufällig entstanden sind, und solchen, die mit einem Kausalzusammenhang, der für die Problemlösung relevant ist, assoziiert sind. Zu verhindern, dass eine Lösung durch eine Korrelation herbeigeführt wird, die keine tatsächliche Beziehung zu dem Problem hat, ist Aufgabe des Entwicklungsteams.
Ist das Problem lösbar?
Wenn eine Lösung nicht direkt angegangen wird, sondern durch die Objekte, die es umgeben (Daten, Verlustfunktion und Netzwerkstruktur), angegeben wird, wird in der Mathematik von einer impliziten Definition der Lösung gesprochen. Immer, wenn ein mathematisches Objekt implizit definiert ist, besteht die Möglichkeit, dass es keine Lösung gibt, die die Definition erfüllt. Es werden folgende Gleichungen betrachtet:
1 ≤ x , x ≤ 3
Gesucht ist eine Zahl, die beide Bedingungen erfüllt. Die Zahl ist also größer oder gleich 1 und gleichzeitig kleiner oder gleich 3. Mögliche Lösungen hier wären 2, 2,5 oder 1 oder 1,5. Hier nun die zweite implizite Definition:
4 ≤ x , x ≤ 3
Hier ist eine Zahl gesucht, die kleiner als 3 ist, aber gleichzeitig größer als 4. Es gibt keine Zahl, die diese Definition erfüllt.
Was hat das mit maschinellem Lernen zu tun? Nun, letztendlich handelt es sich immer um Mathematik. Der menschliche Verstand misst Bildern, Texten und Zahlen Bedeutungen bei. Für den Computer sind es allerdings nur Zahlen und Gleichungen. Selbst mit einzelnen Gleichungen lassen sich mathematisch Bedingungen für ein Objekt beschreiben, das es nicht gibt und bei dem das (anders als im Beispiel oben) auch nicht einfach sichtbar ist. Beim maschinellen Lernen verhält es sich auch so, nur dass hier mit zum Teil riesigen Zahlenkolonnen und Gleichungssystemen gearbeitet wird. Es ist wichtig zu überlegen, ob das von dem Programm zu lösende Problem überhaupt lösbar ist.
Lässt sich das Problem durch Daten
und Verlustfunktion fassen?
Es gibt Probleme, die sich nicht in Daten und Funktionen fassen lassen. Das wird vor allem dann interessant, wenn Themenfelder wie Fairness betrachtet werden.
Menschen haben einen auf moralischen Werten und gesellschaftlichen Normen basierenden Begriff von Fairness. Datensätze sind in der Regel nicht neutral. Gesellschaftliche Biases (z. B. Vorurteile, Ungleichgewichte) schreiben sich in die Daten und die umgebenden Infrastrukturen ein. Die Daten, Verlustfunktionen und Modelle können bearbeitet werden, um einen menschlichen Fairnessbegriff bei der Ergebniserzeugung zu berücksichtigen. Dies muss allerdings von Datensatz zu Datensatz gemacht und kritisch hinterfragt werden (Varshney 2022, s. Online-Quellen).
Die Rolle der Daten
In der Technologiebranche wird gerne damit geworben, dass alle relevanten Informationen bereits in Daten vorlägen und diese nur durch das passende Modell zutage gefördert werden müssten.
Das stimmt jedoch im Allgemeinen nicht (Pearl 2018). Alles, was die Daten enthalten, sind Korrelationen. Um allerdings fundiert Entscheidungen treffen zu können, ist der kausale Zusammenhang zwischen den Dingen, die sich in den Daten manifestieren, wichtig. Beispiel: Der Hahn kräht immer vor dem Sonnenaufgang. Geht die Sonne wegen des Krähens des Hahns auf? Immerhin geht sein Krähen dem Sonnenaufgang voraus.
Ebenso wichtig wie die Daten sind daher die Verlustfunktion und die verwendeten Modelle. Durch sie können die Entwickelnden des Programms ihre Weltsicht und ihre Vorstellung der Zusammenhänge ein Stück weit in die Software einfließen lassen. Im Umkehrschluss heißt das jedoch auch, dass nicht alle Informationen in den Daten vorhanden sind. Es gibt hier keine objektive Wahrheit, die von einem Algorithmus mittels Logik oder Intelligenz erkannt werden kann. Gesellschaftliche Werte und Normen, Wissensregime und Weltanschauungen schreiben sich in die Systemstrukturen ein. Daher ist es wichtig, vor dem Einsatz eines Systems, das auf Daten trainiert wurde, den Anwendungsbereich zu reflektieren.
Manche Lösungen verstehen wir nicht (KÖNNEN wir sie verstehen?)
Es gibt Fälle von maschinellem Lernen, wo selbst das Team, das das Programm geschrieben hat, nicht verstehen kann, wie es funktioniert.
Das liegt daran, dass diese Systeme eine Kombination aus Elementen sind, die zusammen in der Lage sind, mehr zu leisten als die Summe der Teile.
Bei biologischen Nervensystemen verhält es sich genauso. Wie eine Nervenzelle funktioniert, ist auf mikroskopischer Ebene sehr gut erforscht. Wir verstehen, wie die Zelle dazu genutzt werden kann, Informationen zu verarbeiten und wir können verstehen, wie kleine Nervensysteme, zum Beispiel das Nervensystem des Fadenwurms „C. elegans“ (OpenWorm, s. Online-Quellen), funktionieren. Dieses Wissen befähigt uns nur in sehr rudimentären Teilen dazu zu verstehen, wie das menschliche Gehirn arbeitet, da die Komplexität nicht durch die Beschaffenheit der einzelnen Systemkomponenten erzeugt wird, sondern durch deren Interaktion.
Schlussgedanken und Appell
Maschinelles Lernen (ML) eröffnet vielversprechende neue Perspektiven. Gleichzeitig bleiben die logischen Regeln, die Computerprogramme und den empirischen Erkenntnisgewinn beschränken, auch hier erhalten. ML ist keine Zaubertechnologie, für die andere Regeln gelten. Wie oben gezeigt, gibt es eine ganze Reihe von Limitationen, die aus diesen logischen Regeln resultieren.
Nicht zuletzt ist das Feld des maschinellen Lernens komplex. Um ein Verständnis für die Algorithmen zu entwickeln, ist eine umfassende mathematische Vorbildung erfoderlich. Die im Feld eingesetzten Methoden reichen von einfachen statistischen Tests und Fits, die sich noch praktisch von Hand rechnen lassen, bis hin zu künstlichen neuronalen Netzen mit Milliarden von
künstlichen Neuronen, für die riesige Serverfarmen betrieben werden müssen.
Mit dem Begriff „künstliche Intelligenz“ wird meistens weniger die zugrunde liegende Technologie assoziiert, sondern vielmehr die Art, wie die Nutzerinteraktion stattfindet, und die Erwartungshaltung, die an die Technologie getragen wird.
Wenn über KI und maschinelles Lernen in der Öffentlichkeit diskutiert wird, leiden die Debatten teilweise unter der inflationären Nutzung des Begriffs KI. Die Technologie weckt Hoffnungen, bei denen nicht klar ist, ob diese auch erfüllt werden können.
Es müsste also in der Diskussion klarer spezifiziert werden, wie ein KI-Programm das Problem lösen könnte, welche Daten in das System eingehen sollen, welches Wissen im System vorhanden sein muss und welche Ausgabe das System in welcher Form liefern soll.
Die Formulierung „KI hilft in der Diagnose von Tumoren“ kann beispielsweise spezifiziert werden zu: „Ein KI-Programm zur Bildverarbeitung hat Ultraschallbilder verarbeitet. Basierend auf einem Training an markierten Beispielbildern kann das Programm Gewebe, bei dem es sich potenziell um Tumore handelt, markieren.“ Beim zweiten Satz ist viel klarer, wo das Programm anfängt und wo es aufhört und welche potenziellen Limitationen sich aus der zugrunde liegenden Methode ergeben.
Natürlich sind diese Informationen nicht immer leicht zu erhalten. Viele Hersteller legen die Quelle ihrer Daten und die Details der Software nicht offen. Um das Verständnis für eine KI-Lösung zu erhöhen, können folgende Leitfragen verwendet werden:
Wenn weniger darüber geredet wird, was KI kann, und mehr darüber, wie KI es können sollte, kann dieses anspruchsvolle Thema verständlicher dargestellt werden.
Interessenkonflikt: Der Autor gibt an, dass kein Interessenkonflikt vorliegt.
Literatur
Ribeiro MT, Singh S, Guestrin C: “Why should i trust you?” Explaining the predictions of any classifier. Proceedings of the 22nd ACM SIGKDD international conference on knowledge discovery and data mining 2016: 1135–1144.
Pearl J: The Book of Why: The New Science of Cause and Effect. New York: Basic Books, 2018
Online-Quellen
Kriesel D: Ein kleiner Überblick über Neuronale Netze
https://www.dkriesel.com/science/neural_networks
OpenWorm: Building the first digital life form. Open source
https://openworm.org/
Varshney KR: Trustworthy Machine Learning. Independently Published. 2022
http://www.trustworthymachinelearning.com.
Kontakt
Foto: Uwe Völkner/FOX
