Aktuelle KI-basierte Sprach-Bild-Modelle k?nnen Inhalte sehr gut wahrnehmen, kommen bei komplexeren wissenschaftlichen Prozessen jedoch an Grenzen. Das zeigt eine aktuelle Studie von Forschenden der Friedrich-Schiller-Universit?t Jena in Zusammenarbeit mit internationalen Partnern, die im Fachjournal ?Nature Computational Science“ erschienen ist. In dieser Arbeit haben die Forschenden erstmals systematisch untersucht, wie gut moderne KI-Modelle visuelle und textuelle Informationen in der Chemie und Materialwissenschaft verarbeiten k?nnen.

Innovatives Bewertungsverfahren für KI

?Unsere Studie l?st ein Problem in der KI-Forschung: Wie kann man multimodale Systeme fair bewerten, wenn unklar ist, welche Daten die Modelle bereits im Training gesehen haben?“, erkl?rt Dr. Kevin Maik Jablonka, Leiter einer Carl-Zeiss-Stiftungs-Nachwuchsgruppe an der Friedrich-Schiller-Universit?t Jena und am Helmholtz-Institut für Polymere in Energieanwendungen (HIPOLE) Jena, die methodische Innovation. Das entwickelte Bewertungsverfahren erm?glicht es erstmals, die St?rken und Schw?chen aktueller KI-Systeme in wissenschaftlichen Anwendungen systematisch zu analysieren.

?Multimodale KI-Systeme, die sowohl Texte als auch Bilder verstehen k?nnen, gelten als Zukunft der wissenschaftlichen Assistenzsysteme“, erl?utert Jablonka. ?Wir wollten herausfinden, ob diese Modelle wirklich das Potenzial haben, Forschende bei der t?glichen Arbeit zu unterstützen – von der Literaturauswertung bis zur Datenanalyse.“

Mehr als eintausend Aufgaben aus dem wissenschaftlichen Alltag

Um die F?higkeiten multimodaler KI zu testen, entwickelte das internationale Team das Bewertungsverfahren ?MaCBench“ (https://macbench.lamalab.orgExterner Link), das mehr als 1.100 realit?tsnahe Aufgaben aus drei zentralen Bereichen der wissenschaftlichen Arbeit umfasst: der Datenextraktion aus der Literatur, dem Verst?ndnis von Labor- und Simulationsexperimenten sowie der Interpretation von Messergebnissen. Die Tests umfassten dabei Aufgaben von der Analyse von Spektroskopie-Daten über die Bewertung von Laborsicherheit bis hin zur Interpretation von Kristallstrukturen.

Das Team untersuchte führende KI-Modelle auf deren F?higkeit, wissenschaftliche Informationen zu verstehen und zu verknüpfen. ?Im Gegensatz zu reinen Textmodellen müssen diese Systeme visuelle und textuelle Informationen gleichzeitig verarbeiten k?nnen – eine Kernf?higkeit für wissenschaftliche Arbeit“, erl?utert Jablonka.

Erfolge bei einfachen Aufgaben, Schw?chen bei komplexem Denken

Die Ergebnisse der nun vorgelegten Studie zeigen ein differenziertes Bild: W?hrend die KI-Modelle Laborger?te zuverl?ssig erkannten oder standardisierte Daten nahezu fehlerfrei extrahierten, zeigten sich fundamentale Schw?chen bei r?umlichen Analysen und der Verknüpfung verschiedener Informationsquellen. ?Besonders auff?llig war, dass dieselben Informationen von den Modellen deutlich besser verarbeitet wurden, wenn sie als Text statt als Bild pr?sentiert wurden“, berichtet Jablonka. ?Das deutet darauf hin, dass die Integration verschiedener Datentypen noch nicht optimal funktioniert.“

Auff?llig war auch die Entdeckung, dass die Leistung der Modelle stark mit der H?ufigkeit der Testmaterialien im Internet korrelierte. ?Das l?sst vermuten, dass die Modelle teilweise auf Mustererkennung aus Trainingsdaten zurückgreifen, anstatt echtes wissenschaftliches Verst?ndnis zu entwickeln“, so der Forscher.

Grundlagen für bessere KI-Assistenzsysteme

Die Erkenntnisse k?nnen bei der Entwicklung zukünftiger wissenschaftlicher KI-Assistenten von Vorteil sein: ?Bevor diese Systeme zuverl?ssig in der Forschung eingesetzt werden k?nnen, müssen deren r?umliche Wahrnehmung und die Verknüpfung verschiedener Informationsarten fundamental verbessert werden“, resümiert Jablonka. ?Unsere Arbeit zeigt konkrete Wege auf, wie diese Herausforderungen angegangen werden k?nnen und die KI-Tools für die Naturwissenschaften verbessert werden k?nnen.“