Mensch oder ChatGPT?

Je fachfremder sie sind, desto schwerer ist es für Gutachterinnen und Gutachter zu unterscheiden, ob eine wissenschaftliche Veröffentlichung von ChatGPT oder von einem Menschen verfasst wurde.

Ein Team aus Tiermedizinerinnen und Tiermedizinern aus der Klinik für Kleintiere der Stiftung Tierärztliche Hochschule Hannover (TiHo) testete gemeinsam mit Forschenden verschiedener europäischer Institutionen, wie gut Gutachterinnen und Gutachter erkennen können, ob die Zusammenfassung eines wissenschaftlichen Artikels mit ChatGPT oder von einem Menschen verfasst wurde. Sie konzentrierten sich dabei auf das Fach Neurologie.

Unter dem Titel „ChatGPT and Scientific Papers in Veterinary Neurology; Is the Genie Out of the Bottle?" veröffentlichte das Team seine Ergebnisse in dem Fachmagazin Frontiers in Veterinary Science. Das Team bewertete dafür die Fähigkeit von ChatGPT, wissenschaftliche Arbeiten für das Fach veterinärmedizinische Neurologie zu generieren. Sie ließen Abstracts und Einleitungen mit Referenzen erstellen und analysierten sie anschließend. Für die Arbeit wählten sie die drei Forschungsbereiche Entzündungen des Gehirns, Epilepsie und kanine Geruchserkennung aus. Des Weiteren überprüften sie die Texte mit gängigen KI- und Plagiatserkennungssoftwares.

Dr. Samira Abani, Klinik für Kleintiere und Erstautorin der Arbeit, sagte: „Unsere Studie beleuchtet die Vorzüge und die Einschränkungen von ChatGPT beim wissenschaftlichen Schreiben im Bereich Tiermedizin. Ein negatives Beispiel ist, wenn ChatGPT zum alleinigen Schreiben der wissenschaftlichen Dokumente benutzt wird, da es zu ‚Halluzinationen‘ neigt und Sachen erfindet. Es gibt aber auch positive Beispiele: So kann die Anwendung Dokumente für die englische Sprache für nicht Muttersprachler überarbeiten und die Nachteile nicht englischsprachiger Forschender überwinden."

Dr. Jasmin Nessler, wissenschaftliche Mitarbeiterin in der Klinik für Kleintiere, fügt hinzu: „Die Ergebnisse waren sehr aufschlussreich für uns. Erfahrene Neurologinnen und Neurologen, die mit den Feinheiten des wissenschaftlichen Schreibens vertraut sind, hatten zunehmend Schwierigkeiten, zwischen von ChatGPT generierten und von Menschenhand verfassten Abstracts zu unterscheiden, insbesondere bei abnehmender Fachkenntnis. Diese Erkenntnis unterstreicht die Fähigkeit von ChatGPT, menschliche Schreibstile nachzuahmen und kohärent klingende, plausible Texte zu erzeugen.“

Professor Holger Volk, PhD, Leiter der Klinik für Kleintiere, sagt: „Die Studie zeigt, dass selbst erfahrene Gutachterinnen und Gutachter getäuscht werden können, da Sprachmodelle wie ChatGPT darauf trainiert sind, menschliche Schreibstile nahtlos zu imitieren. Die Auswirkungen für die wissenschaftliche Gemeinschaft sind tiefgreifend und erfordern eine Neubewertung herkömmlicher Bewertungskriterien."

Die Originalpublikation

Samira Abani, Holger Andreas Volk, Steven De Decker, Joe Fenn, Clare Rusbridge, Marios Charalambous, Rita Goncalves, Rodrigo Gutierrez-Quintana, Shenja Loderstedt, Thomas Flegel, Carlos Ros, Thilo von Klopmann, Henning C. Schenk, Marion Kornberg, Nina Meyerhoff, Andrea Tipold, Jasmin Nicole Nessler

ChatGPT and Scientific Papers in Veterinary Neurology; Is the Genie Out of the Bottle?

Frontiers in Veterinary Science

https://www.frontiersin.org/articles/10.3389/fvets.2023.1272755/full

Firmenkontakt und Herausgeber der Meldung:

Stiftung Tierärztliche Hochschule Hannover
Bünteweg 2
30559 Hannover
Telefon: +49 (511) 953-8002
Telefax: +49 (511) 953-828002
https://www.tiho-hannover.de/

Ansprechpartner:
Dr. Samira Abani
Klinik für Kleintiere
E-Mail: samira.abani@tiho-hannover.de
Sonja von Brethorst
Presse- und Öffentlichkeitsarbeit
Telefon: +49 (511) 953-8002
E-Mail: sonja.von.brethorst@tiho-hannover.de
Für die oben stehende Pressemitteilung ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel