Die zwei im ATHENE-Kontext stehenden Publikationen sind:

Like a Good Nearest Neighbor: Practical Content Moderation and Text Classification
Luke Bates und Iryna Gurevych
Mehr über das Paper:
Die Textklassifizierung ist ein wichtiges Werkzeug für Expertinnen und Experten der natürlichen Sprachverarbeitung. Jedoch haben leistungsfähige Systeme oft Probleme: sie sind entweder zu langsam, umständlich oder unvorhersehbar, was ihre zuverlässige Anwendung erschwert. Besonders wichtig ist die Textklassifizierung für die Inhaltsmoderation auf Social-Media-Plattformen, um unerwünschte Texte zu kennzeichnen und den Nutzern ein sicheres Erlebnis zu bieten. Die Moderation von Inhalten ist schwierig, weil ständig neue Arten von unerwünschten Texten auftauchen, wie zum Beispiel neue Fake-News-Themen. Die Forschenden lösen diese Probleme, indem sie einen kostengünstigen Textklassifikator entwickeln. Dieser nutzt abstandsbasierte Algorithmen, um den Eingabetext so zu verändern, dass er dem Modell bereits bekannten Text ähnelt. Dadurch erkennt das Modell, dass es ähnliche Fälle bereits gesehen hat. Diese Methode ist nicht nur in der Lage, unerwünschte Inhalte zu erkennen, sondern auch einfacher und leistungsfähiger als teurere Systeme.
PDF des Papers

CATfOOD: Counterfactual Augmented Training for Improving Out-of-Domain Performance and Calibration
Rachneet Singh Sachdeva, Martin Tutek und Iryna Gurevych
Mehr über das Paper:
In den letzten Jahren haben große Sprachmodelle (Large Language Models, LLMs) erstaunliche Fähigkeiten in großem Umfang gezeigt, insbesondere bei der Erstellung von Text basierend auf einer gegebenen Anweisung. In ihrer Arbeit erforschen die Wissenschaftlerinnen und Wissenschaftler, wie LLMs genutzt werden können, um die Trainingsdaten von kleineren Sprachmodellen (SLMs) zu erweitern. Dazu fügen sie automatisch generierten minimal veränderten Eingaben, kontrafaktische (CF) Instanzen hinzu. Dies soll die Leistung von SLMs in der extraktiven Fragebeantwortung (QA) außerhalb ihres normalen Trainingsbereichs verbessern.
Die Forschenden zeigen in ihrer Arbeit, dass diese Erweiterung der Daten über verschiedene LLM-Generatoren hinweg konsistent die Leistung außerhalb des normalen Trainingsbereichs verbessert. Das betrifft sowohl die Genauigkeit als auch die Zuverlässigkeit der Modelle, und das sowohl für Modelle, die auf Vertrauen basieren, als auch für rational erweiterte Kalibrierungsmodelle.
PDF des Papers

Weitere von der Forschungsgruppe um Prof. Gurevych verfasste Paper, die auf der EACL akzeptiert wurden sind:

Zero-shot Sentiment Analysis in Low-Resource Languages Using a Multilingual Sentiment Lexicon
Fajri Koto, Tilman Beck, Zeerak Talat, Iryna Gurevych und Timothy Baldwin

Document Structure in Long Document Transformers
Jan Buchmann, Max Eichler, Jan-micha Bodensohn, Ilia Kuznetsov und Iryna Gurevych

Predicting Client Emotions and Therapist Interventions in Psychotherapy Dialogues
Tobias Mayer, Neha Warikoo, Amir Eliassaf, Dana Atzil-slonim und Iryna Gurevych

Sensitivity, Performance, Robustness: Deconstructing the Effect of Sociodemographic Prompting Tilman Beck, Hendrik Schuff, Anne Lauscher und Iryna Gurevych
Das Paper erhielt den "Social Impact Award".

M4: Multi-generator, Multi-domain, and Multi-lingual Black-Box Machine-Generated Text Detection
Yuxia Wang, Jonibek Mansurov, Petar Ivanov, Jinyan Su, Artem Shelmanov, Akim Tsvigun, Chenxi Whitehouse, Osama Mohammed Afzal, Tarek Mahmoud, Toru Sasaki, Thomas Arnold, Alham Aji, Nizar Habash, Iryna Gurevych und Preslav Nakov.
Das Paper erhielt den "Resource Paper Award".

Die EACL fand vom 17. - 22. März 2024 auf Malta statt.

Mehr über das ATHENE-Projekt Fake News and Conspiracy Theories

Zur News-Übersicht