ChatGPT und KI-Sprachtools wurden von der KI-Konferenz zum Verfassen von Arbeiten verboten

Von James Vincent, einem leitenden Reporter, der seit acht Jahren bei The Verge über KI, Robotik und mehr berichtet.

Eine der weltweit renommiertesten Konferenzen zum Thema maschinelles Lernen hat Autoren verboten, KI-Tools wie ChatGPT zum Verfassen wissenschaftlicher Arbeiten zu verwenden, was eine Debatte über die Rolle von KI-generierten Texten in der Wissenschaft ausgelöst hat.

Die International Conference on Machine Learning (ICML) gab die Richtlinie Anfang dieser Woche bekannt und erklärte: „Beiträge, die Text enthalten, der aus einem Large-Scale-Language-Modell (LLM) wie ChatGPT generiert wurde, sind verboten, es sei denn, der produzierte Text wird als Teil des präsentiert.“ experimentelle Analyse des Papiers. Die Nachricht löste eine breite Diskussion in den sozialen Medien aus, wobei KI-Akademiker und Forscher die Politik sowohl verteidigten als auch kritisierten. Die Organisatoren der Konferenz reagierten mit der Veröffentlichung einer längeren Erklärung, in der sie ihre Überlegungen darlegten. (Das ICML reagierte auf Anfragen von The Verge nach einem Kommentar, indem es uns auf dieselbe Aussage verwies.)

Laut ICML stellt der Aufstieg öffentlich zugänglicher KI-Sprachmodelle wie ChatGPT – ein Allzweck-KI-Chatbot, der letzten November im Internet eingeführt wurde – eine „aufregende“ Entwicklung dar, die dennoch „unvorhergesehene Konsequenzen [und] unbeantwortete Fragen“ mit sich bringt. Laut ICML gehören dazu Fragen dazu, wem die Ergebnisse solcher Systeme gehören (sie werden anhand öffentlicher Daten geschult, die normalerweise ohne Zustimmung gesammelt werden, und geben diese Informationen manchmal wörtlich wieder) und ob von KI generierte Texte und Bilder „als neu oder einfach betrachtet werden sollten“. Ableitungen bestehender Arbeiten.“

Sind KI-Schreibwerkzeuge nur Assistenten oder etwas mehr?

Die letztgenannte Frage steht im Zusammenhang mit einer heiklen Debatte über die Urheberschaft – das heißt, wer „schreibt“ einen KI-generierten Text: die Maschine oder ihr menschlicher Controller? Dies ist besonders wichtig, da die ICML nur Texte verbietet, die „vollständig“ von KI erstellt wurden. Die Organisatoren der Konferenz sagen, dass sie die Verwendung von Tools wie ChatGPT „zum Bearbeiten oder Polieren von Autorentexten“ nicht verbieten und weisen darauf hin, dass viele Autoren zu diesem Zweck bereits „halbautomatische Bearbeitungstools“ wie die Grammatikkorrektursoftware Grammarly verwendet haben.

„Es ist sicher, dass diese und viele weitere Fragen im Laufe der Zeit beantwortet werden, da diese groß angelegten generativen Modelle immer weiter verbreitet werden. Allerdings haben wir noch keine klaren Antworten auf diese Fragen“, schreiben die Teilnehmer der Konferenz Veranstalter.

Aus diesem Grund sagt das ICML, dass sein Verbot von KI-generiertem Text im nächsten Jahr neu bewertet wird.

Die Fragen, mit denen sich das ICML befasst, sind jedoch möglicherweise nicht einfach zu lösen. Die Verfügbarkeit von KI-Tools wie ChatGPT sorgt bei vielen Organisationen für Verwirrung, von denen einige mit eigenen Verboten reagiert haben. Letztes Jahr verbot die Codierungs-Q&A-Website Stack Overflow Benutzern das Senden von mit ChatGPT erstellten Antworten, während das New Yorker Bildungsministerium erst diese Woche den Zugriff auf das Tool für alle in seinem Netzwerk blockierte.

KI-Sprachmodelle sind Werkzeuge zur automatischen Vervollständigung ohne inhärenten Sinn für Faktizität

In jedem Fall gibt es unterschiedliche Befürchtungen hinsichtlich der schädlichen Auswirkungen von KI-generierten Texten. Einer der häufigsten Gründe ist, dass die Ergebnisse dieser Systeme einfach unzuverlässig sind. Bei diesen KI-Tools handelt es sich um umfangreiche Autovervollständigungssysteme, die darauf trainiert sind, vorherzusagen, welches Wort in einem bestimmten Satz auf das nächste folgt. Daher verfügen sie nicht über eine fest codierte Datenbank mit „Fakten“, auf die sie zurückgreifen könnten – sie verfügen lediglich über die Fähigkeit, plausibel klingende Aussagen zu verfassen. Dies bedeutet, dass sie dazu neigen, falsche Informationen als Wahrheit darzustellen, da die Plausibilität eines bestimmten Satzes keine Garantie für dessen Faktizität ist.

Im Falle des ICML-Verbots von KI-generiertem Text besteht eine weitere potenzielle Herausforderung darin, zwischen Texten zu unterscheiden, die nur von KI „poliert“ oder „bearbeitet“ wurden, und solchen, die „vollständig“ von diesen Tools erstellt wurden. Ab wann stellen mehrere kleine KI-gesteuerte Korrekturen eine größere Neufassung dar? Was passiert, wenn ein Benutzer ein KI-Tool bittet, seinen Aufsatz in einer prägnanten Zusammenfassung zusammenzufassen? Zählt dies als frisch generierter Text (weil der Text neu ist) oder als reine Überarbeitung (weil es sich um eine Zusammenfassung der Wörter handelt, die der Autor geschrieben hat)?

Bevor das ICML den Geltungsbereich seiner Politik klarstellte, befürchteten viele Forscher, dass ein mögliches Verbot von KI-generiertem Text auch für diejenigen schädlich sein könnte, die nicht Englisch als Muttersprache sprechen oder schreiben. Professor Yoav Goldberg von der Bar-Ilan-Universität in Israel sagte gegenüber The Verge, dass ein generelles Verbot der Verwendung von KI-Schreibwerkzeugen ein Akt der Überwachung dieser Gemeinschaften wäre.

„Bei der Bewertung von Arbeiten im Peer-Review gibt es eine klare unbewusste Voreingenommenheit dahingehend, fließendere Arbeiten zu bevorzugen, und das wirkt sich zugunsten von Muttersprachlern aus“, sagt Goldberg. „Durch die Verwendung von Tools wie ChatGPT zur Formulierung ihrer Ideen scheinen viele Nicht-Muttersprachler zu glauben, dass sie bei diesen Themen „gleiche Wettbewerbsbedingungen“ schaffen können.“ Solche Tools könnten Forschern helfen, Zeit zu sparen und besser mit ihren Kollegen zu kommunizieren, sagte Goldberg.

KI-Schreibwerkzeuge unterscheiden sich aber auch qualitativ von einfacherer Software wie Grammarly. Deb Raji, KI-Forscherin bei der Mozilla Foundation, sagte gegenüber The Verge, dass es für das ICML sinnvoll sei, Richtlinien einzuführen, die speziell auf diese Systeme abzielen. Wie Goldberg sagte sie, sie habe von Nicht-Muttersprachlern gehört, dass solche Tools „unglaublich nützlich“ für die Ausarbeitung von Papieren sein können, und fügte hinzu, dass Sprachmodelle das Potenzial hätten, drastischere Änderungen an Texten vorzunehmen.

„Ich sehe LLMs als deutlichen Unterschied zu Dingen wie Autokorrektur oder Grammatik, bei denen es sich um Korrektur- und Lehrmittel handelt“, sagte Raji. „Obwohl es für diesen Zweck verwendet werden kann, sind LLMs nicht explizit darauf ausgelegt, die Struktur und Sprache bereits geschriebener Texte anzupassen – es verfügt auch über andere, problematischere Funktionen, wie die Generierung neuartiger Texte und Spam.“

„Letztendlich unterzeichnen die Autoren das Papier und haben einen Ruf, den es zu wahren gilt.“

Goldberg sagte, dass er es zwar durchaus für möglich halte, dass Akademiker ihre Arbeiten vollständig mithilfe von KI erstellen würden, „es aber für sie kaum einen Anreiz gibt, dies tatsächlich zu tun.“

„Letztendlich unterzeichnen die Autoren das Papier und haben einen guten Ruf“, sagte er. „Selbst wenn die gefälschte Arbeit irgendwie durch ein Peer-Review geht, wird jede falsche Aussage mit dem Autor in Verbindung gebracht und bleibt ihm während seiner gesamten Karriere im Gedächtnis.“

Dieser Punkt ist besonders wichtig, da es keine völlig zuverlässige Möglichkeit gibt, KI-generierten Text zu erkennen. Sogar das ICML stellt fest, dass eine narrensichere Erkennung „schwierig“ ist und dass die Konferenz ihr Verbot nicht proaktiv durchsetzen wird, indem sie Einreichungen über Detektorsoftware laufen lässt. Stattdessen werden nur Beiträge untersucht, die von anderen Wissenschaftlern als verdächtig gekennzeichnet wurden.

Mit anderen Worten: Als Reaktion auf den Aufstieg disruptiver und neuartiger Technologien verlassen sich die Organisatoren auf traditionelle soziale Mechanismen, um akademische Normen durchzusetzen. KI kann zum Polieren, Bearbeiten oder Schreiben von Texten verwendet werden, aber es bleibt immer noch Sache des Menschen, seinen Wert einzuschätzen.

/ Melden Sie sich für Verge Deals an, um täglich Angebote für von uns getestete Produkte in Ihrem Posteingang zu erhalten.