Autor: Julia Romberg

Unterstützung des manuellen Evaluierungsprozesses von Bürger*innenbeiträgen durch Natural Language Processing

Doktorarbeit von Julia Romberg

Die Einbindung der Öffentlichkeit in Entscheidungsprozesse ist ein weit verbreitetes Instrument in Demokratien. Einerseits dienen solche Verfahren dem Ziel, durch die Ideen und Vorschläge der Bürger*innen einen besser informierten Prozess zu erreichen und damit möglicherweise das Prozessergebnis, d.h. die daraus resultierende Politik, zu verbessern. Andererseits wird durch die Einbeziehung der Bürger*innen versucht, die Akzeptanz der getroffenen Entscheidungen in der Öffentlichkeit zu erhöhen.

Bei dem Versuch, die oft großen Mengen an Bürger*innenbeiträgen auszuwerten, sehen sich die Behörden regelmäßig mit Herausforderungen konfrontiert, die auf begrenzte Ressourcen (z.B. Personalmangel, Zeitmangel) zurückzuführen sind. Wenn es um textuelle Beiträge geht, bietet das Natural Language Processing (NLP) die Möglichkeit, die bisher noch überwiegend manuell durchgeführte Auswertung automatisiert zu unterstützen. Obwohl in diesem Bereich bereits einige Forschungsarbeiten durchgeführt wurden, sind wichtige Fragen bisher nur unzureichend oder gar nicht beantwortet worden. In meiner Dissertation habe ich mich deshalb auf die Teilaufgaben der thematischen Vorstrukturierung sowie die Analyse von Argumentation konzentriert.

Für die thematische Strukturierung der Beiträge habe ich einen überwachten Lernansatz (supervised machine learning) gewählt, der auf Klassifikationsalgorithmen und Active Learning basiert. Einerseits habe ich am Beispiel von drei Fallstudien aus deutschen Kommunen untersucht, wie viel manueller Aufwand durch solche Strategien reduziert werden kann (Details finden Sie in diesem Artikel). Andererseits habe ich Bewertungsmetriken entwickelt, die die Bedürfnisse der öffentlichen Analysten bei der Entwicklung von Themenklassifizierungsmethoden mit Active Learning widerspiegeln.

Bei der Analyse von Argumentation habe ich zum einen untersucht, wie robust die Methoden zur Identifizierung und Klassifizierung von Argumenten in verschiedenen Beteiligungsprozessen sind (Details finden Sie in diesem Artikel). Zum anderen habe ich mich auf die Konkretheit von Argumenten konzentriert. Zusätzlich zur Vorhersage eines dreistufigen Konkretheitslabels habe ich eine Methode entwickelt, um die Subjektivität von Konkretheitsbewertungen und deren Auswirkungen auf das Vorhersageergebnis zu berücksichtigen (Details finden Sie in diesem Artikel).

Subjektives Machine Lerning am Beispiel der Konkretheit von Argumenten in der Öffentlichkeitsbeteiligung

In dieser Veröffentlichung im Workshop on Argument Mining entwickelt Julia Romberg eine Methode, um menschlichen Perspektivismus in die maschinelle Vorhersage einzubeziehen. Die Methode wird an der Aufgabe der Konkretheit von Argumenten in Beiträgen zur Bürger*innenbeteiligung getestet.

Zusammenfassung

Obwohl Argumentation sehr subjektiv sein kann, besteht die gängige Praxis beim überwachten maschinellen Lernen (supervised machine learning) darin, eine aggregierte Grundwahrheit zu konstruieren und daraus zu lernen. Dieser Ansatz führt zu einer Vernachlässigung individueller, aber potenziell wichtiger Perspektiven und kann in vielen Fällen dem subjektiven Charakter der Aufgaben nicht gerecht werden. Eine Lösung für dieses Manko sind multiperspektivische Ansätze, die im Bereich des Argument Mining bisher nur wenig Beachtung gefunden haben.

In dieser Arbeit stellen wir PerspectifyMe vor, eine Methode zur Integration von Perspektivismus durch Anreicherung einer Aufgabe mit Subjektivitätsinformationen aus dem Datenannotationsprozess. Wir veranschaulichen unseren Ansatz anhand des Anwendungsfalls der Klassifizikation der Konkretheit von Argumenten und liefern erste vielversprechende Ergebnisse auf dem kürzlich veröffentlichten CIMT PartEval Argument Concreteness Corpus.

Ergebnisse

  • Beim maschinellen Lernen wird oft von einer einzigen Grundwahrheit ausgegangen, was aber für subjektive Aufgaben nicht zutrifft.
  • PerspectifyMe ist eine einfache Methode, um den Perspektivismus in bestehende maschinelle Lernprozesse einzubinden, indem ein aggregiertes Label durch eine Subjektivitätsbewertung ergänzt wird.
  • Ein Beispiel für eine subjektive Aufgabe ist die Einstufung der Konkretheit eines Arguments (gering, mittel, hoch). Die Automatisierung dieser Aufgabe ist auch von Interesse für die Auswertung von Bürger*innenbeteiligungsverfahren.
  • Erste Ansätze zur Klassifikation der Konkretheit von Argumenten (aggregiertes Label) zeigen eine Accuracy von 0,80 und einen F1-Wert von 0,67.
  • Ob die Konkretheit eines Arguments eine subjektive Wahrnehmung triggert, kann mit einer Accuracy von 0,72 bzw. einem F1-Wert von 0,74 vorhergesagt werden.

Publikation

Romberg, Julia (2022, October). Is Your Perspective Also My Perspective? Enriching Prediction with Subjectivity. In Proceedings of the 9th Workshop on Argument Mining (pp.115-125), Gyeongju, Republic of Korea. Association for Computational Linguistics. https://aclanthology.org/2022.argmining-1.11

Automatisierte thematische Kategorisierung von Bürger*innenbeiträgen: Reduzierung des manuellen Annotationsaufwands durch Active Learning

In dieser Veröffentlichung in Electronic Government untersuchen Julia Romberg und Tobias Escher das Potenzial von Active Learning, um den manuellen Annotationsaufwand bei der thematischen Kategorisierung von Bürger*innenbeteiligungsbeiträgen zu reduzieren.

Zusammenfassung

Politische Behörden in demokratischen Ländern konsultieren die Öffentlichkeit regelmäßig zu bestimmten Themen, doch die anschließende Auswertung der Beiträge erfordert erhebliche personelle Ressourcen, was häufig zu Ineffizienzen und Verzögerungen im Entscheidungsprozess führt. Eine der vorgeschlagenen Lösungen ist die Unterstützung der menschlichen Analyst*innen bei der thematische Gruppierung der Beiträge durch KI.

Überwachtes maschinelles Lernen (supervised machine learning) bietet sich für diese Aufgabe an, indem die Vorschläge der Bürger nach bestimmten vordefinierten Themen klassifiziert werden. Durch die individuelle Natur vieler öffentlicher Beteiligungsverfahren ist der manuelle Aufwand zur Erstellung der benötigten Trainingsdaten jedoch oft zu teuer. Eine mögliche Lösung, um die Menge der Trainingsdaten zu minimieren, ist der Einsatz von Active Learning. Während sich dieses halbüberwachte Verfahren in den letzten Jahren stark verbreitet hat, wurden diese neuen vielversprechenden Ansätze nicht für die Auswertung von Beteiligungsbeiträgen angewendet.

Daher verwenden wir Daten aus Online-Beteiligungsprozessen in drei deutschen Städten, stellen zunächst Baselines für die Klassifikation auf und bewerten anschließend, wie verschiedene Strategien des Active Learnings den manuellen Annotationsaufwand reduzieren und gleichzeitig eine gute Modellleistung beibehalten können. Unsere Ergebnisse zeigen nicht nur, dass Modelle des überwachten maschinellen Lernens die Beiträge zur Bürger*innenbeteiligung zuverlässig thematisch kategorisieren können, sondern auch, dass Active Learning die Menge der benötigten Trainingsdaten deutlich reduziert. Dies hat wichtige Implikationen für die Praxis der Öffentlichkeitsbeteiligung, da es den Zeitaufwand für die Auswertung drastisch reduziert, wovon insbesondere Prozesse mit einer größeren Anzahl von Beiträgen profitieren können.

Ergebnisse

  • Wir vergleichen verschiedene moderne Ansätze zur Textklassifikation und zum Active Learning anhand einer Fallstudie von drei Beteiligungsprozessen zur Radverkehrsplanung in den deutschen Kommunen Bonn, Köln Ehrenfeld und Moers.
  • Das Modell BERT kann in etwa 77 % der Fälle die richtigen Themen vorhersagen.
  • Active Learning reduziert den manuellen Annotationsaufwand erheblich: Es reichte aus, 20 bis 50 % der Datensätze manuell zu kategorisieren, um die Genauigkeit von 77% zu halten. Die Effizienzgewinne wachsen mit der Größe des Datensatzes.
  • Zugleich arbeiten die Modelle mit einer effizienten Laufzeit.
  • Unsere Hypothese ist daher, dass Active Learning in den meisten Anwendungsfällen den menschlichen Aufwand erheblich reduzieren sollte.

Publikation

J. Romberg and T. Escher. Automated topic categorisation of citizens’ contributions: Reducing manual labelling efforts through active learning. In M. Janssen, C. Csáki,I. Lindgren, E. Loukis, U. Melin, G. Viale Pereira, M. P. Rodríguez Bolívar, and E. Tambouris, editors,Electronic Government, pages 369–385, Cham, 2022. SpringerInternational Publishing. ISBN 978-3-031-15086-9

Datenkorpus zur Unterstützung der Evaluation von Partizipation in der Verkehrsplanung durch multidimensionale Klassifikation

In dieser Veröffentlichung der Conference on Language Resources and Evaluation stellen Julia Romberg, Laura Mark und Tobias Escher eine Sammlung von annotierten Datensätzen vor, die die Entwicklung von Ansätzen des maschinellen Lernens zur Unterstützung der Auswertung von Beteiligungsbeiträgen fördert.

Zusammenfassung

Behörden in demokratischen Ländern konsultieren regelmäßig die Öffentlichkeit, um den Bürger*innen die Möglichkeit zu geben, ihre Ideen und Bedenken zu bestimmten Themen zu äußern. Bei dem Versuch, die (oft zahlreichen) Beiträge der Öffentlichkeit auszuwerten, um sie in die Entscheidungsfindung einfließen zu lassen, stehen die Behörden aufgrund begrenzter Ressourcen dabei oft vor Herausforderungen.

Wir identifizieren mehrere Aufgaben, deren automatisierte Unterstützung bei der Auswertung von Bürger*innenbeteiligung helfen kann. Dies sind i) die Erkennung von Argumenten, genauer gesagt von Prämissen und deren Schlussfolgerungen, ii) die Bewertung der Konkretheit von Argumenten, iii) die Erkennung von textlichen Beschreibungen von Orten, um die Ideen der Bürger*innen räumlich verorten zu können, und iv) die thematische Kategorisierung von Beiträgen. Um in zukünftiger Forschung Techniken entwickeln zu können, die diese vier Aufgaben adressieren, veröffentlichen wir den CIMT PartEval Corpus. Dieser neue und öffentlich verfügbare deutschsprachigen Korpus enthält mehrere tausend Bürgerbeiträge aus sechs mobilitätsbezogenen Planungsprozessen in fünf deutschen Kommunen. Er bietet Annotationen für jede dieser Aufgaben, die in deutscher Sprache für den Bereich der Bürgerbeteiligung bisher entweder überhaupt noch nicht oder nicht in dieser Größe und Vielfalt verfügbar waren.

Ergebnisse

  • Der CIMT PartEval Argument Component Corpus umfasst 17.852 Sätze aus deutschen Bürgerbeteiligungsverfahren, die als nicht-argumentativ, Prämisse (premise) oder Schlussfolgerung (major position) annotiert sind.
  • Der CIMT PartEval Argument Concreteness Corpus besteht aus 1.127 argumentativen Textabschnitten, die nach drei Konkretheitsstufen annotiert sind: niedrig, mittel und hoch.
  • The CIMT PartEval Geographic Location Corpus provides 4,830 location phrases and the GPS coordinates for 2,529 public participation contributions.
  • Der CIMT PartEval Thematic Categorization Corpus basiert auf einem neuen hierarchischen Kategorisierungsschema für Mobilität, das Verkehrsarten (nicht-motorisierter Verkehr: Fahrrad, zu Fuß, Roller; motorisierter Verkehr: öffentlicher Nahverkehr, öffentlicher Fernverkehr, kommerzieller Verkehr) und einer Reihe von Spezifikationen wie fließender oder ruhender Verkehr, neue Dienstleistungen sowie Inter- und Multimodalität erfasst. Insgesamt wurden 697 Dokumente nach diesem Schema annotiert.

Publikation

Romberg, Julia; Mark, Laura; Escher, Tobias (2022, June). A Corpus of German Citizen Contributions in Mobility Planning: Supporting Evaluation Through Multidimensional Classification. In Proceedings of the Language Resources and Evaluation Conference (pp. 2874–2883), Marseille, France. European Language Resources Association. https://aclanthology.org/2022.lrec-1.308

Korpus verfügbar unter

https://github.com/juliaromberg/cimt-argument-mining-dataset

https://github.com/juliaromberg/cimt-argument-concreteness-dataset

https://github.com/juliaromberg/cimt-geographic-location-dataset

https://github.com/juliaromberg/cimt-thematic-categorization-dataset

Robuste Klassifikation von Argumentationskomponenten in Bürger*innenbeteiligungsverfahren zur Verkehrsplanung

In dieser Veröffentlichung des Workshop on Argument Mining befassen sich Julia Romberg und Stefan Conrad mit der Robustheit von Klassifikationsalgorithmen für Argument Mining, um zuverlässige Modelle zu erstellen, die über verschiedene Datensätze hinweg generalisieren.

Zusammenfassung

Öffentlichkeitsbeteiligungsverfahren ermöglichen es den Bürger*innen, sich an kommunalen Entscheidungsprozessen zu beteiligen, indem sie ihre Meinung zu bestimmten Themen äußern. Kommunen haben jedoch oft nur begrenzte Ressourcen, um eine möglicherweise große Menge an Textbeiträgen zu analysieren, welche zeitnah und detailliert ausgewertet werden müssen. Eine automatisierte Unterstützung bei der Auswertung kann daher hilfreich sein, z.B. um Argumente zu analysieren.

In diesem Paper befassen wir uns (A) mit der Identifizierung von argumentativen Diskurseinheiten und (B) mit deren Klassifizierung als Prämisse (premise) oder Schlussfolgerung (major position) in deutschen Bürger*innenbeteiligungsprozessen. Das Ziel unserer Arbeit ist es, Argument Mining für den Einsatz in Kommunen nutzbar zu machen. Wir vergleichen verschiedene Argument-Mining-Ansätze und entwickeln ein generisches Modell, das erfolgreich Argumentstrukturen in verschiedenen Datensätzen der verkehrsbezogenen Stadtplanung erkennen kann. Wir führen einen neuen Datenkorpus ein, der fünf Beteiligungsprozesse umfasst. In unserer Evaluierung erreichen wir hohe Makro-F1-Werte (0,76 – 0,80 für die Identifizierung argumentativer Einheiten; 0,86 – 0,93 für deren Klassifizierung). Darüber hinaus verbessern wir frühere Ergebnisse für die Klassifizierung von argumentativen Einheiten in einem ähnlichen deutschen Online-Partizipationsdatensatz.

Ergebnisse

  • Wir haben eine umfassende Evaluierung von Methoden des maschinellen Lernens in fünf Bürger*innenbeteiligungsverfahren in deutschen Kommunen durchgeführt, die sich in Format (Online-Beteiligungsplattformen und Fragebögen) und Prozessgegenstand unterscheiden.
  • BERT übertrifft bei beiden Aufgaben bisher veröffentlichte Argument-Mining-Ansätze für öffentliche Beteiligungsprozesse auf deutschsprachigen Daten und erreicht Makro-F1 Werte von 0,76 – 0,80 für die Identifizierung argumentativer Einheiten und Makro-F1 Werte von 0,86 – 0,93 für deren Klassifikation.
  • In einer datensatzübergreifenden Evaluierung können BERT-Modelle Argumentstrukturen in Datensätzen, die nicht Teil des Trainings waren, mit vergleichbarer Güte erkennen.
  • Eine solche Robustheit des Modells über verschiedene Beteiligungsprozesse hinweg ist ein wichtiger Schritt auf dem Weg zur praktischen Anwendung des Argument Mining in Kommunen.

Publikation

Romberg, Julia; Conrad, Stefan (2021, November). Citizen Involvement in Urban Planning – How Can Municipalities Be Supported in Evaluating Public Participation Processes for Mobility Transitions?. In Proceedings of the 8th Workshop on Argument Mining (pp. 89-99), Punta Cana, Dominican Republic. Association for Computational Linguistics. https://aclanthology.org/2021.argmining-1.9

Interdisziplinäres Seminar zur Erforschung von sozialem Status und Sprache

In diesem Semester bieten wir online das Masterseminar „Die Erforschung von sozialem Status und Sprache mit Hilfe von automatisierten Auswertungsmöglichkeiten“ an der Heinrich-Heine-Universität Düsseldorf an.

Im Seminar wollen wir gemeinsam die Zusammenhänge von sozialem Status und Sprache am praktischen Beispiel von diskursiven Online-Beteiligungsverfahren untersuchen. Dabei soll die theoriebasierte Entwicklung einer soziologischen Fragestellung Hand-in-Hand mit der empirischen Untersuchung anhand von automatisierter Sprachverarbeitung (Natural Language Processing bzw. Text Mining) gehen. Dazu vermittelt das Seminar sowohl theoretische Hintergründe zur Beziehung von sprachlichem Kapital und sozialer Klasse sowie anderen demographischen Kategorien, als auch Fähigkeiten zur Untersuchung der Fragestellung durch automatisierte Inhaltsanalyse mit Hilfe von Verfahren des Natural Language Processing. Dazu werden sowohl die theoretischen Grundlagen dieser Techniken vermittelt, als auch deren Anwendung im Rahmen bestehender Softwarelösungen erprobt.

Zu Beginn des Seminars werden wir uns neben einer Einführung in die Soziolinguistik mit Theorien zum symbolischen Wert von sprachlichem Kapital und Macht von Bourdieu und Theorien zum machtfreien Diskurs in Anlehnung an Jürgen Habermas auseinandersetzen und diese auf das Thema politischer Beteiligung anwenden. Daran anschließend werden wir uns mit quantitativen Ansätzen zur Messbarkeit der verschiedenen Sprachindikatoren aus der Theorie auseinandersetzen, wie beispielsweise dem Informationsgehalt eines Beitrags oder dem verwendeten Vokabular. Diese sollen anhand existierender Softwarepakete in der Statistikumgebung R angewendet werden und auf ihre Nützlichkeit zur Beantwortung der Fragestellung von Sprache und Macht kritisch reflektiert werden.

Gegenstand der Untersuchung ist die Kommunikation im Rahmen von politischen Beteiligungsverfahren, konkret die von Bürger*innen verfassten Beiträge. Dazu nutzen wir Daten aus einer Befragung im Zusammenhang mit einem Beteiligungsverfahren in drei Städten in NRW, mit dem Bürger*innen Vorschläge zur Verbesserung des Radverkehrs in ihrer Stadt gemacht haben.

Auswertung des ersten Praxisworkshops der Nachwuchsforschungsgruppe CIMT

Als transdisziplinäres Forschungsprojekt möchten wir in regelmäßigen Abständen Vertreter*innen aus der Praxis der kommunalen Bürgerbeteiligung zu Workshops einladen, um mit Ihnen konkrete Fragestellungen im Zusammenhang mit unserer Forschung zu diskutieren. Im Mittelpunkt unseres ersten Praxisworkshops im Sommer 2020 stand die Frage, wie die Auswertung von Beiträgen technisch unterstützt werden kann und welche Anforderungen Praktiker*innen an eine Softwarelösung zur (teil-)automatisierten Unterstützung der Auswertung von Bürger*innenbeteiligung haben.

Bei kommunalen Beteiligungsverfahren geben Bürger*innen Vorschläge und Meinungen zu vorgegebenen Fragen ab. Damit diese in die weitere Planung einfließen können, müssen die Beiträge von den zuständigen Verwaltungen oder entsprechend beauftragten Dienstleister*innen ausgewertet werden. Gerade bei Partizipationsverfahren mit hoher Beteiligung kann die Auswertung ein hohes Maß an Ressourcen binden.

Im Ergebnis wird deutlich, dass es einen tatsächlichen Bedarf nach IT-Unterstützung bei der Auswertung gibt, da diese bislang in der Regel noch vorwiegend händisch erfolgt und entsprechend zeitaufwendig ist. Zu diesen Anforderungen gehört vor allem die Möglichkeit, Beiträge thematisch nach inhaltlichen Aspekten zu gruppieren. Weiterhin besteht Bedarf zur Unterstützung bei der Erkennung von Duplikaten und der Identifikation und Bewertung von konkreten Maßnahmen aus den Beiträgen. Dabei lauten zwei wesentliche Anforderungen, dass alle Beiträge gleichberechtigt berücksichtigt werden und dass automatisiert getroffene Entscheidungen transparent und nachvollziehbar sind.

Zusätzlich wurde durch den aktuellen Anlass im Rahmen des Praxisworkshops eine Befragung nach dem Einfluss der Covid-19-Pandemie auf die Arbeit mit Bürger*innenbeteiligung durchgeführt. Zusammenfassend zeigt sich eine hohe Verunsicherung, wie Bürger*innenbeteiligung während der Pandemie gut umgesetzt werden kann, sowie eine hohe Diskrepanz zwischen den verschiedenen Beteiligungsformaten. Während die Online-Beteiligung als kontaktloses Medium von der Lage profitieren kann, ist die Vor-Ort-Beteiligung stark betroffen.

Der ausführliche Bericht ist als Working Paper verfügbar.

Analyse der Anforderungen an eine Software zur (teil-)automatisierten Unterstützung bei der Auswertung von BeteiligungsverfahrenHerunterladen

Erstes Beiratstreffen der Nachwuchsforschungsgruppe CIMT in Berlin

Am 28. Februar 2020 veranstaltete die Nachwuchsforschungsgruppe das erste Treffen des Beirats. Das Zusammentreffen der Mitglieder aus Forschung und Praxis fand im Wissenschaftszentrum Berlin für Sozialforschung statt.

Beiratstreffen am WZB Berlin
Beiratstreffen am 28. Februar

Einen zentralen Punkt der Veranstaltung bildete die Vorstellung und das Kennenlernen der Beiratsmitglieder und der Mitglieder der Nachwuchsforschungsgruppe. Jun.-Prof. Tobias Escher stellte als Gruppenleiter das interdisziplinäre Forschungsprojekt im Gesamten vor. Laura Mark (Stadtplanung), Katharina Huseljić (Soziologie) und Julia Romberg (Informatik) erörterten anschließend detaillierter die Forschungsvorhaben der einzelnen Disziplinen. In den nachfolgenden Diskussionsrunden ergab sich ein konstruktiver Austausch zu den Anforderungen der Projektteile und des Gesamtprojekts. Zum Abschluss wurde in einer Feedback-Runde gemeinschaftlich beschlossen, den Austausch halbjährlich bis jährlich fortzuführen.

CIMT bedankt sich bei allen Beteiligten für einen gelungenen Tag!