Kategorie: Auswertung

KI zur Auswertung von Beteiligung? Das Potenzial von Sprachmodellen zur Erkennnung von Verkehrsmitteln in Beteiligungsbeiträgen

In diesem Artikel in der Zeitschrift Internationales Verkehrswesen stellen Laura Mark, Julia Romberg und Tobias Escher ein Sprachmodell vor, mit dessen Hilfe Verkehrsmittel in Beteiligungsbeiträgen zuverlässig erkannt werden. Sie zeigen damit, dass überwachtes maschinelles Lernen die Auswertung von Beteiligungsbeiträgen mobilitätsbezogener Online-Beteiligungsverfahren sinnvoll unterstützen kann.

Zusammenfassung

Konsultationen sind ein wichtiger Bestandteil der Verkehrsplanung und können dazu beitragen, Wissen aus der Bevölkerung in den Planungsprozess zu integrieren. Insbesondere durch Onlineformate kommen allerdings oft große Mengen an Beiträgen zustande, deren gründliche Auswertung ressourcenintensiv ist. Mit dem Einsatz von KI wird die Hoffnung verbunden, diese zu unterstützen.

Das in diesem Artikel vorgestellte Sprachmodell beruht auf dem Konzept des überwachten maschinellen Lernens zur Textklassifikation. Dabei werden vortrainierte Modelle mithilfe kleinerer Datensätze nachtrainiert. So kann ein Modell an einen speziellen Anwendungsbereich, wie beispielsweise verkehrsplanerische Konsultationsprozesse, angepasst werden.

Hier wurde eine vortrainierte deutschsprachige Version des leistungsfähigen RoBERTa Sprachmodells als Ausgangspunkt genommen. Anhand eines Kategorisierungsschemas, das hauptsächlich nach erwähnten Verkehrsmitteln unterscheidet, wurden 1.700 Beiträge aus sieben verkehrsplanerischen Konsultationsprozessen manuell kodiert. Die so entstandenen Daten wurden zum Teil als Trainingsdaten zum Fine-Tuning des Sprachmodells und zum Teil zur Evaluation genutzt.

Ergebnisse

  • Insgesamt konnte gezeigt werden, dass sich bereits heute verfügbare Sprachmodelle eignen, um die Auswertung von Konsultationsprozessen in der Praxis zu unterstützen. Das hier entwickelte Sprachmodell zur Erkennung der Verkehrsmittel kann dabei als Basis für eine konkrete Anwendung dienen.
  • Das nachtrainierte RoBERTa-Sprachmodell ist sehr gut in der Lage, die passenden Verkehrsmittel zuzuordnen. Das von uns vorgestellte Modell kann zuverlässig immer deutlich über 90% der Beiträge korrekt den darin genannten Verkehrsmitteln zuordnen.
  • Für die Verfahren, auf deren Beiträgen das Modell trainiert worden war, konnten im Durchschnitt 97% der Kategorien korrekt zugeordnet werden (auf einem separaten Testset). Für Beiträge aus anderen verkehrsbezogenen Beteiligungsverfahren konnten mit einer Genauigkeit von 91 bis 94% weiterhin sehr zuverlässig die passenden Verkehrsmittel zugeordnet werden.
  • Die Leistung des Modells verschlechtert sich also kaum, wenn es auf bislang unbekannte Daten aus mobilitätsbezogenen Beteiligungsverfahren angewandt wird. Das bedeutet, dass eine manuelle Kodierung im Vorfeld zumindest bei ähnlich aufgestellten Beteiligungsverfahren entfallen kann, was den Aufwand deutlich reduziert.

Publikation

Mark, Laura; Romberg, Julia; Escher, Tobias (2024): KI zur Auswertung von Beteiligung. In: Internationales Verkehrswesen 76 (1), S. 12–16.

Kodierung und Bereitstellung von Datensätzen

Im Rahmen unseres Projekts haben wir an der manuellen Annotation einer Vielzahl von Datensätzen gearbeitet mit dem Ziel die Entwicklung von KI-Verfahren zu Auswertung von Beteiligungsbeiträgen zu unterstützen.

Überwachte maschinelle Lernverfahren (supervised machine learning) benötigen Trainingsdatensätze um Eigenschaften und Muster der jeweiligen Kodierungen erlernen zu können. Im Bereich von Bürger*innenbeteiligung fehlt es hier an umfassend kodierten deutschsprachigen Datensätzen. Um den Bedarf zu decken, haben wir deshalb an der Kodierung deutschsprachiger Beteiligungsverfahren aus dem Bereich Mobilität nach vier Dimensionen gearbeitet:

  • Erstens haben wir Verfahren thematisch nach Verkehrsmitteln, weiteren Ansprüchen an den Raum, sowie unmittelbar zu behebenden Mängeln kodiert.
  • Zweitens haben wir Verfahren nach argumentativen Sätzen kodiert und diese in Vorschläge und Zustandsbeschreibungen unterteilt.
  • Drittens haben wir argumentativen Sinneinheiten zugeordnet, wie konkret diese sind.
  • Viertens haben wir textuelle Ortsangaben kodiert.

Eine detailliertere Beschreibung der Datensätze – Stand Juni 2022 – findet sich in unserer Publikation: Romberg, Julia; Mark, Laura; Escher, Tobias (2022, June). A Corpus of German Citizen Contributions in Mobility Planning: Supporting Evaluation Through Multidimensional Classification. Seitdem haben wir weiter an der thematischen Kodierung der Datensätze gearbeitet und unser Schema der Verkehrsmittel überarbeitet.

Die folgende Tabelle zeigt den aktuellen Stand der Kodierung und wird fortlaufend aktualisiert:

Im Einklang mit unserer Open Source-Richtlinie werden die kodierten Datensätzen der Öffentlichkeit nach Möglichkeit unter Creative Commons CC BY-SA License verfügbar gemacht.

Basierend auf diesen Datensätzen sind eine Reihe von Publikationen entstanden. Diese finden Sie unter https://www.cimt-hhu.de/gruppe/romberg/romberg-veroeffentlichungen/.

Masterarbeit zur thematischen Klassifikation von Beteiligungsbeiträgen mit Active Learning

Im Rahmen seiner Masterarbeit im MA Informatik an der Heinrich-Heine-Universität Düsseldorf hat sich Boris Thome mit der Klassifikation von Beteiligungsbeiträgen nach den enthaltenen Themen beschäftigt. Diese Arbeit führt die Arbeit von Julia Romberg und Tobias Escher fort, indem eine feinere Einteilung der Beiträge nach Unterkategorien untersucht wurde.

Zusammenfassung

Politische Behörden in demokratischen Ländern konsultieren die Öffentlichkeit regelmäßig zu bestimmten Themen, doch die anschließende Auswertung der Beiträge erfordert erhebliche personelle Ressourcen, was häufig zu Ineffizienzen und Verzögerungen im Entscheidungsprozess führt. Eine der vorgeschlagenen Lösungen ist die Unterstützung der menschlichen Analyst*innen bei der thematische Gruppierung der Beiträge durch KI.

Überwachtes maschinelles Lernen (supervised machine learning) bietet sich für diese Aufgabe an, indem die Vorschläge der Bürger nach bestimmten vordefinierten Themen klassifiziert werden. Durch die individuelle Natur vieler öffentlicher Beteiligungsverfahren ist der manuelle Aufwand zur Erstellung der benötigten Trainingsdaten jedoch oft zu teuer. Eine mögliche Lösung, um die Menge der Trainingsdaten zu minimieren, ist der Einsatz von Active Learning. In unser vorherigen Arbeit konnten wir zeigen, dass Active Learning den manuellen Annotationsaufwand zur Kodierung von Oberkategorien erheblich reduzieren kann. In dieser Arbeit wurde nachfolgend untersucht, ob dieser Vorteil auch dann noch gegeben ist, wenn die Oberkategorien in weitere Unterkategorien unterteilt werden. Eine besondere Herausforderung besteht darin, dass einige der Unterkategorien sehr selten sein können und somit nur wenige Beiträge umfassen.

In der Evaluation verschiedener Methoden wurden Daten aus Online-Beteiligungsprozessen in drei deutschen Städten verwendet. Die Ergebnisse zeigen, dass die maschinelle Klassifikation von Unterkategorien deutlich schwerer ist als die Klassifikation der Oberkategorien. Dies liegt an der hohen Anzahl von möglichen Unterkategorien (30 im betrachteten Datensatz), die zusätzlich sehr ungleich verteilt sind. Im Fazit ist weitere Forschung erforderlich, um eine praxisgerechte Lösung für die flexible Zuordnung von Unterkategorien durch maschinelles Lernen zu finden.

Publikation

Thome, Boris (2022): Thematische Klassifikation von Partizipationsverfahren mit Active Learning. Masterarbeit am Institut für Informatik, Lehrstuhl für Datenbanken und Informationssysteme, der Heinrich-Heine-Universität Düsseldorf. (Download)

Masterarbeit zur automatisierten Klassifikation von Argumenten in Beteiligungsbeiträgen

Im Rahmen ihrer Masterarbeit im MA Informatik an der Heinrich-Heine-Universität Düsseldorf hat sich Suzan Padjman mit der Klassifikation von Argumentationskomponenten in Beteiligungsbeiträgen beschäftigt. Diese Arbeit führt die bisherige Arbeit unseres Teams fort, indem Fälle betrachtet werden, in denen argumentative Sätze sowohl einen Vorschlag als auch eine Zustandsbeschreibung enthalten können.

Zusammenfassung

Öffentlichkeitsbeteiligungsverfahren ermöglichen es den Bürger*innen, sich an kommunalen Entscheidungsprozessen zu beteiligen, indem sie ihre Meinung zu bestimmten Themen äußern. Kommunen haben jedoch oft nur begrenzte Ressourcen, um eine möglicherweise große Menge an Textbeiträgen zu analysieren, welche zeitnah und detailliert ausgewertet werden müssen. Eine automatisierte Unterstützung bei der Auswertung kann daher hilfreich sein, z.B. um Argumente zu analysieren.

Bei der Klassifikation von argumentativen Sätzen nach Typen (hier: Vorschlag oder Zustandsbeschreibung) kann es vorkommen, dass ein Satz mehrere Komponenten eines Arguments beinhaltet. In diesem Fall besteht die Notwendigkeit einer Multi-Label Klassifikation, bei der mehr als eine Kategorie zugeordnet werden kann.

Um dieses Problem zu lösen, wurden in der Arbeit verschiedene Methoden zur Multi-Label Klassifikation von Argumentationskomponenten verglichen (SVM, XGBoost, BERT und DistilBERT). Im Ergebnis zeigte sich, dass BERT-Modelle eine macro F1-Vorhersagegüte von bis zu 0,92 erreichen können. Dabei weisen die Modelle datensatzübergreifend eine robuste Performance auf – ein wichtiger Hinweis auf den praktischen Nutzen solcher Verfahren.

Publikation

Padjman, Suzan (2022): Mining Argument Components in Public Participation Processes. Masterarbeit am Institut für Informatik, Lehrstuhl für Datenbanken und Informationssysteme, der Heinrich-Heine-Universität Düsseldorf. (Download)

Projektarbeit zur automatisierten Erkennung von Verortungen in Beteiligungsbeiträgen

Im Rahmen ihrer Projektarbeit im MA Informatik an der Heinrich-Heine-Universität Düsseldorf hat sich Suzan Padjman mit der Entwicklung von Verfahren zur automatisierten Erkennung von textuell beschriebenen Ortsangaben in Beteiligungsverfahren beschäftigt.

Zusammenfassung

Im Kontext der Verkehswende sind konsultative Verfahren ein beliebtes Hilfsmittel, um Bürger*innen die Möglichkeit zu geben, ihre Interessen und Anliegen zu vertreten und einzubringen. Insbesondere bei mobilitätsbezogenen Fragen ist ein wichtiger Anaylseaspekt der gesammelten Beiträge, welche Orte (z.B. Straßen, Kreuzungen, Rad- oder Fußwege) Probleme aufweisen und verbesserungswürdig sind, um die Mobilität nachhaltig zu fördern. Eine automatisierte Identifikation von solchen Verortungen hat das Potential, die ressourcenintensive manuelle Auswertung zu unterstützen.

Ziel dieser Arbeit war es daher, mithilfe von Methoden aus dem Natural-Language-Processing (NLP) eine automatisierte Lösung zur Identifikation von Verortungen zu finden. Dazu wurde eine Verortung als die Beschreibung eines konkreten Ortes eines Vorschlags definiert, welche auf einer Karte markiert werden könnte. Beispiele für Verortungen sind Straßennamen, Stadtteile und eindeutig zuordenbare Plätze, wie z.B. “in der Innenstadt” oder “am Ausgang des Hauptbahnhofs”. Reine Lagebeschreibungen ohne eine konkrete Ortszugehörigkeit wurden dagegen nicht als Verortung betrachtet. Methodisch wurde die Aufgabe als eine Sequence-Labeling-Aufgabe betrachtet, da Verortungen häufig aus mehreren hintereinanderfolgenden Token, sogenannten Wortsequenzen, bestehen.

Im Vergleich verschiedener Modelle (spaCy NER, GermanBERT, GBERT, dbmdz BERT, GELECTRA, multilingual BERT, multilingual XLM-RoBERTa) auf zwei deutschsprachigen Beteiligungsdatensätzen zur Radinfrastruktur in Bonn und Köln Ehrenfeld zeigte sich, dass GermanBERT die besten Ergebnisse erzielt. Dieses Modell kann Token, die Teil einer textuellen Ortsbeschreibung sind, mit einem vielversprechenden macro F1-Score von 0,945 erkennen. In zukünftiger Arbeit sollen die erkannten Textphrasen dann in Geokoordinaten überführt werden, um die erkannten Ortszugehörigkeiten von Vorschlägen auch kartenbasiert abbilden zu können.

Publikation

Padjman, Suzan (2021): Unterstützung der Auswertung von verkehrsbezogenen Bürger*innenbeteiligungsverfahren durch die automatisierte Erkennung von Verortungen. Projektarbeit am Institut für Informatik, Lehrstuhl für Datenbanken und Informationssysteme, der Heinrich-Heine-Universität Düsseldorf. (Download)

Verkehrswende konkret: Perspektiven der SÖF-Nachwuchsgruppen mit Schwerpunkt Mobilität

Gemeinsam mit CIMT starteten im Jahr 2019 zwei weitere BMBF-geförderten Nachwuchsgruppen in der sozial-ökologischen Forschung mit einem Fokus auf dem Verständnis und der Gestaltung der Verkehrswende: Experi, mit einem Fokus auf der Rolle von Reallaboren für die Mobilitätswende, und MoveMe mit einem besonderen Augenmerk auf den Besonderheiten für die Verkehrswende im suburbanen Raum.

In den letzten Jahren wurden zahlreiche theoretische und empirische Beiträge erarbeitet, und mittlerweile liegen in allen drei Nachwuchsgruppen zahlreiche Erkenntnisse vor. Im Rahmen eines gemeinsamen zweitägigen Workshops haben sich die drei Nachwuchsgruppen am 25. &. 26. Oktober in Hannover zu einem intensiven Austausch getroffen.

Ziel war die Vorstellung der jeweiligen Erkenntnisse, der Austausch über gemeinsame Herausforderungen, und die Identifikation möglicher Schnittstellen. Unter dem übergeordneten Anliegen der Gestaltung der Verkehrswende wurden dabei eine Reihe von Themen deutlich, zu denen in den Gruppen mit verschiedenen theoretischen Ansätzen und empirischen Methoden neue Perspektiven erarbeitet werden. Dazu gehören die Akzeptanz von Verkehrswendemaßnahmen, die Bedeutung von Partizipation und Konsultationsprozessen sowie die konkreten Optionen für eine Ausgestaltung zukünftiger Mobilität.

Der Workshop soll als Impuls dienen, in Zukunft verschiedene Formate der Zusammenarbeit auszuloten, z.B. in Form von gemeinsamen Veranstaltungen, Publikationen oder Projekten.

Übersicht über Ansätze computerbasierter Textanalyse zur Unterstützung der Auswertung von Beiträgen aus Öffentlichkeitsbeteiligungen

In diesem Artikel in der Zeitschrift Digital Government: Research and Practice geben Julia Romberg und Tobias Escher einen Überblick über automatisierte Techniken die bereits zur Unterstützung der Auswertung von Beiträgen in Beteiligungsprozessen verwendet wurden. Auf Basis einer systematischen Literaturstudie bewerten sie die Leistungsfähigkeit der bisher eingesetzten Verfahren und zeigen weiteren Forschungsbedarf auf.

Zusammenfassung

Öffentliche Institutionen, die Bürger*innen im Rahmen politischer Entscheidungsprozesse konsultieren, stehen vor der Herausforderung, die Beiträge der Bürger*innen auszuwerten. Unter demokratischen Aspekten ist diese Auswertung von wesentlicher Bedeutung, benötigt gleichzeitig aber umfangreiche personelle Ressourcen. Eine bislang noch zu wenig erforschte Lösung für dieses Problem bietet die Nutzung von künstlicher Intelligenz, wie beispielsweise computer-unterstützter Textanalyse. Wir identifizieren drei generische Aufgaben im Auswertungsprozess, die von der automatisierten Verarbeitung natürlicher Sprache (NLP) profitieren könnten. Auf Basis einer systematischen Literaturrecherche in zwei Datenbanken zu Computerlinguistik und Digital Government geben wir einen detaillierten Überblick über die existierenden Ansätze und deren Leistungsfähigkeit. Auch wenn teilweise vielversprechende Ansätze existieren, beispielsweise um Beiträge thematisch zu gruppieren oder zur Erkennung von Argumenten und Meinungen, so zeigen wir, dass noch bedeutende Herausforderungen bestehen, bevor diese in der Praxis zuverlässig zur Unterstützung eingesetzt werden können. Zu diesen Herausforderungen zählt die Qualität der Ergebnisse, die Anwendbarkeit auf nicht-englischsprachige Korpora und die Bereitstellung von Software, die diese Algorithmen auch Praktikter*innen zugänglich macht. Wir diskutieren verschiedene Ansätze zur weiteren Forschung, die zu solchen praxistauglichen Anwendungen führen könnten. Die vielversprechendsten Ansätze integrieren die Expertise menschlicher Analyst*innen, zum Beispiel durch Ansätze des Active Learning oder interaktiver Topic Models.

Ergebnisse

  • Es gibt eine Reihe von Aufgaben im Auswertungsprozess, die durch die automatisierte Verarbeitung natürlicher Sprache (NLP) unterstützt werden könnten. Dazu gehören i) die Erkennung von Duplikaten, ii) die thematische Gruppierung von Beiträgen, und iii) die detaillierte Analyse einzelner Beiträge. Der Großteil der Literatur in dieser Literaturstudie konzentriert sich auf die automatisierte Erkennung und Analyse von Argumenten, einen Aspekt der detaillierten Analyse einzelner Beiträge.
  • Wir stellen eine umfangreiche Zusammenfassung der genutzten Datensätze und der verwendeten Algorithmen vor, und bewerten deren Leistungsfähigkeit. Trotz der ermutigenden Ergebnisse wurde die deutlichen Entwicklungssprünge, in den letzten Jahren im NLP-Bereich erfolgt sind, bislang kaum für diesen Anwendungsfall genutzt.
  • Eine besondere auffällige Lücke besteht in der mangelnden Verfügbarkeit von Anwendungen, die Praktiker*innen die einfache Nutzung von NLP-basierten Verfahren für die Auswertung ihrer Daten erlauben würden.
  • Der Aufwand zur Erstellung von annotierten Daten, die zum Training von Modellen des maschinellen Lernens notwendig sind, kann dazu führen, dass sich die erhofften Effizienzvorteile einer automatisierten Auswertung nicht einstellen.
  • Wir empfehlen verschiedene vielversprechendsten Ansätze zur weiteren Forschung. Viele davon integrieren die Expertise menschlicher Analyst*innen, zum Beispiel durch Ansätze des Active Learning oder interaktiver Topic Models.

Publikation

Romberg, Julia; Escher, Tobias (2023): Making Sense of Citizens’ Input through Artificial Intelligence. In: Digital Government: Research and Practice, Artikel 3603254. DOI: 10.1145/3603254.

Unterstützung des manuellen Evaluierungsprozesses von Bürger*innenbeiträgen durch Natural Language Processing

Doktorarbeit (Volltext) von Julia Romberg

Die Einbindung der Öffentlichkeit in Entscheidungsprozesse ist ein weit verbreitetes Instrument in Demokratien. Einerseits dienen solche Verfahren dem Ziel, durch die Ideen und Vorschläge der Bürger*innen einen besser informierten Prozess zu erreichen und damit möglicherweise das Prozessergebnis, d.h. die daraus resultierende Politik, zu verbessern. Andererseits wird durch die Einbeziehung der Bürger*innen versucht, die Akzeptanz der getroffenen Entscheidungen in der Öffentlichkeit zu erhöhen.

Bei dem Versuch, die oft großen Mengen an Bürger*innenbeiträgen auszuwerten, sehen sich die Behörden regelmäßig mit Herausforderungen konfrontiert, die auf begrenzte Ressourcen (z.B. Personalmangel, Zeitmangel) zurückzuführen sind. Wenn es um textuelle Beiträge geht, bietet das Natural Language Processing (NLP) die Möglichkeit, die bisher noch überwiegend manuell durchgeführte Auswertung automatisiert zu unterstützen. Obwohl in diesem Bereich bereits einige Forschungsarbeiten durchgeführt wurden, sind wichtige Fragen bisher nur unzureichend oder gar nicht beantwortet worden.

In meiner Dissertation, welche ich im Jahr 2023 erfolgreich abgeschlossen habe, stand deshalb im Fokus, wie bestehende Forschungslücken mithilfe von Textklassifikationsmethoden überwunden werden können. Ein besonderer Fokus lag dabei auf den Aufgaben der thematischen Strukturierung von Beiträgen und der Argumentationsanalyse.

Zu Beginn der Arbeit wird ein systematischer Literaturüberblick über bisherige Ansätze zur maschinengestützten Auswertung von Textbeiträgen gegeben (Details finden Sie in diesem Artikel). Vor dem Hintergrund des identifizierten Mangels an Sprachressourcen wird der neu erarbeitete CIMT-Datenkorpus für die Entwicklung von Textklassifikationsmodellen für deutschsprachige Öffentlichkeitsbeteiligung vorgestellt (Details finden Sie in diesem Artikel).

Zunächst steht dann die thematische Strukturierung mit Fokus auf die inhaltliche und kontextuelle Einzigartigkeit von Verfahren im Mittelpunkt. Um den Einsatz individuell angepasster Machine Learning-Modelle lohnenswert zu gestalten, wird das Konzept des Active Learnings eingesetzt, um den manuellen Klassifikationsaufwand durch eine optimierte Trainingsdatenauswahl zu verringern. In einem Vergleich über drei Beteiligungsprozesse hinweg zeigt sich, dass die Kombination von Active Learning mit Transformer-basierten Architekturen den manuellen Aufwand bereits ab einigen hundert Beiträgen signifikant reduzieren kann, bei guter Vorhersagegenauigkeit und geringen Laufzeiten (Details finden Sie in diesem Artikel). Anschließend werden Maße vorgestellt, um weitere praxisrelevante Anforderungen der Einsetzbarkeit zu evaluieren. Diese geben Einblick in das Verhalten verschiedener Active Learning-Strategien hinsichtlich klassenbezogener Eigenschaften auf den häufig imbalancierten Datensätzen.

Danach wird der Schwerpunkt auf die Analyse der Argumentation der Bürger*innen verlagert. Der erste Beitrag ist ein robustes Modell zur Erkennung von Argumentationsstrukturen über verschiedene Prozesse der öffentlichen Beteiligung hinweg. Unser Ansatz verbessert die zuvor in der Anwendungsdomäne eingesetzten Techniken zur Erkennung von argumentativen Sätzen und insbesondere zur Klassifikation von Argumentkomponenten (Details finden Sie in diesem Artikel). Zudem wird die maschinelle Vorhersage der Konkretheit von Argumenten untersucht. Hierbei wird der subjektiven Natur von Argumentation Rechnung getragen, indem ein erster Ansatz zur direkten Modellierung verschiedener Perspektiven als Teil des maschinellen Lernprozesses des Argumentation Minings vorgestellt wird (Details finden Sie in diesem Artikel).

Subjektives Machine Lerning am Beispiel der Konkretheit von Argumenten in der Öffentlichkeitsbeteiligung

In dieser Veröffentlichung im Workshop on Argument Mining entwickelt Julia Romberg eine Methode, um menschlichen Perspektivismus in die maschinelle Vorhersage einzubeziehen. Die Methode wird an der Aufgabe der Konkretheit von Argumenten in Beiträgen zur Bürger*innenbeteiligung getestet.

Zusammenfassung

Obwohl Argumentation sehr subjektiv sein kann, besteht die gängige Praxis beim überwachten maschinellen Lernen (supervised machine learning) darin, eine aggregierte Grundwahrheit zu konstruieren und daraus zu lernen. Dieser Ansatz führt zu einer Vernachlässigung individueller, aber potenziell wichtiger Perspektiven und kann in vielen Fällen dem subjektiven Charakter der Aufgaben nicht gerecht werden. Eine Lösung für dieses Manko sind multiperspektivische Ansätze, die im Bereich des Argument Mining bisher nur wenig Beachtung gefunden haben.

In dieser Arbeit stellen wir PerspectifyMe vor, eine Methode zur Integration von Perspektivismus durch Anreicherung einer Aufgabe mit Subjektivitätsinformationen aus dem Datenannotationsprozess. Wir veranschaulichen unseren Ansatz anhand des Anwendungsfalls der Klassifizikation der Konkretheit von Argumenten und liefern erste vielversprechende Ergebnisse auf dem kürzlich veröffentlichten CIMT PartEval Argument Concreteness Corpus.

Ergebnisse

  • Beim maschinellen Lernen wird oft von einer einzigen Grundwahrheit ausgegangen, was aber für subjektive Aufgaben nicht zutrifft.
  • PerspectifyMe ist eine einfache Methode, um den Perspektivismus in bestehende maschinelle Lernprozesse einzubinden, indem ein aggregiertes Label durch eine Subjektivitätsbewertung ergänzt wird.
  • Ein Beispiel für eine subjektive Aufgabe ist die Einstufung der Konkretheit eines Arguments (gering, mittel, hoch). Die Automatisierung dieser Aufgabe ist auch von Interesse für die Auswertung von Bürger*innenbeteiligungsverfahren.
  • Erste Ansätze zur Klassifikation der Konkretheit von Argumenten (aggregiertes Label) zeigen eine Accuracy von 0,80 und einen F1-Wert von 0,67.
  • Ob die Konkretheit eines Arguments eine subjektive Wahrnehmung triggert, kann mit einer Accuracy von 0,72 bzw. einem F1-Wert von 0,74 vorhergesagt werden.

Publikation

Romberg, Julia (2022, October). Is Your Perspective Also My Perspective? Enriching Prediction with Subjectivity. In Proceedings of the 9th Workshop on Argument Mining (pp.115-125), Gyeongju, Republic of Korea. Association for Computational Linguistics. https://aclanthology.org/2022.argmining-1.11

Automatisierte thematische Kategorisierung von Bürger*innenbeiträgen: Reduzierung des manuellen Annotationsaufwands durch Active Learning

In dieser Veröffentlichung in Electronic Government untersuchen Julia Romberg und Tobias Escher das Potenzial von Active Learning, um den manuellen Annotationsaufwand bei der thematischen Kategorisierung von Bürger*innenbeteiligungsbeiträgen zu reduzieren.

Zusammenfassung

Politische Behörden in demokratischen Ländern konsultieren die Öffentlichkeit regelmäßig zu bestimmten Themen, doch die anschließende Auswertung der Beiträge erfordert erhebliche personelle Ressourcen, was häufig zu Ineffizienzen und Verzögerungen im Entscheidungsprozess führt. Eine der vorgeschlagenen Lösungen ist die Unterstützung der menschlichen Analyst*innen bei der thematische Gruppierung der Beiträge durch KI.

Überwachtes maschinelles Lernen (supervised machine learning) bietet sich für diese Aufgabe an, indem die Vorschläge der Bürger nach bestimmten vordefinierten Themen klassifiziert werden. Durch die individuelle Natur vieler öffentlicher Beteiligungsverfahren ist der manuelle Aufwand zur Erstellung der benötigten Trainingsdaten jedoch oft zu teuer. Eine mögliche Lösung, um die Menge der Trainingsdaten zu minimieren, ist der Einsatz von Active Learning. Während sich dieses halbüberwachte Verfahren in den letzten Jahren stark verbreitet hat, wurden diese neuen vielversprechenden Ansätze nicht für die Auswertung von Beteiligungsbeiträgen angewendet.

Daher verwenden wir Daten aus Online-Beteiligungsprozessen in drei deutschen Städten, stellen zunächst Baselines für die Klassifikation auf und bewerten anschließend, wie verschiedene Strategien des Active Learnings den manuellen Annotationsaufwand reduzieren und gleichzeitig eine gute Modellleistung beibehalten können. Unsere Ergebnisse zeigen nicht nur, dass Modelle des überwachten maschinellen Lernens die Beiträge zur Bürger*innenbeteiligung zuverlässig thematisch kategorisieren können, sondern auch, dass Active Learning die Menge der benötigten Trainingsdaten deutlich reduziert. Dies hat wichtige Implikationen für die Praxis der Öffentlichkeitsbeteiligung, da es den Zeitaufwand für die Auswertung drastisch reduziert, wovon insbesondere Prozesse mit einer größeren Anzahl von Beiträgen profitieren können.

Ergebnisse

  • Wir vergleichen verschiedene moderne Ansätze zur Textklassifikation und zum Active Learning anhand einer Fallstudie von drei Beteiligungsprozessen zur Radverkehrsplanung in den deutschen Kommunen Bonn, Köln Ehrenfeld und Moers.
  • Das Modell BERT kann in etwa 77 % der Fälle die richtigen Themen vorhersagen.
  • Active Learning reduziert den manuellen Annotationsaufwand erheblich: Es reichte aus, 20 bis 50 % der Datensätze manuell zu kategorisieren, um die Genauigkeit von 77% zu halten. Die Effizienzgewinne wachsen mit der Größe des Datensatzes.
  • Zugleich arbeiten die Modelle mit einer effizienten Laufzeit.
  • Unsere Hypothese ist daher, dass Active Learning in den meisten Anwendungsfällen den menschlichen Aufwand erheblich reduzieren sollte.

Publikation

J. Romberg and T. Escher. Automated topic categorisation of citizens’ contributions: Reducing manual labelling efforts through active learning. In M. Janssen, C. Csáki,I. Lindgren, E. Loukis, U. Melin, G. Viale Pereira, M. P. Rodríguez Bolívar, and E. Tambouris, editors,Electronic Government, pages 369–385, Cham, 2022. SpringerInternational Publishing. ISBN 978-3-031-15086-9