Unterstützung des manuellen Evaluierungsprozesses von Bürger*innenbeiträgen durch Natural Language Processing

Doktorarbeit von Julia Romberg

Die Einbindung der Öffentlichkeit in Entscheidungsprozesse ist ein weit verbreitetes Instrument in Demokratien. Einerseits dienen solche Verfahren dem Ziel, durch die Ideen und Vorschläge der Bürger*innen einen besser informierten Prozess zu erreichen und damit möglicherweise das Prozessergebnis, d.h. die daraus resultierende Politik, zu verbessern. Andererseits wird durch die Einbeziehung der Bürger*innen versucht, die Akzeptanz der getroffenen Entscheidungen in der Öffentlichkeit zu erhöhen.

Bei dem Versuch, die oft großen Mengen an Bürger*innenbeiträgen auszuwerten, sehen sich die Behörden regelmäßig mit Herausforderungen konfrontiert, die auf begrenzte Ressourcen (z.B. Personalmangel, Zeitmangel) zurückzuführen sind. Wenn es um textuelle Beiträge geht, bietet das Natural Language Processing (NLP) die Möglichkeit, die bisher noch überwiegend manuell durchgeführte Auswertung automatisiert zu unterstützen. Obwohl in diesem Bereich bereits einige Forschungsarbeiten durchgeführt wurden, sind wichtige Fragen bisher nur unzureichend oder gar nicht beantwortet worden. In meiner Dissertation habe ich mich deshalb auf die Teilaufgaben der thematischen Vorstrukturierung sowie die Analyse von Argumentation konzentriert.

Für die thematische Strukturierung der Beiträge habe ich einen überwachten Lernansatz (supervised machine learning) gewählt, der auf Klassifikationsalgorithmen und Active Learning basiert. Einerseits habe ich am Beispiel von drei Fallstudien aus deutschen Kommunen untersucht, wie viel manueller Aufwand durch solche Strategien reduziert werden kann (Details finden Sie in diesem Artikel). Andererseits habe ich Bewertungsmetriken entwickelt, die die Bedürfnisse der öffentlichen Analysten bei der Entwicklung von Themenklassifizierungsmethoden mit Active Learning widerspiegeln.

Bei der Analyse von Argumentation habe ich zum einen untersucht, wie robust die Methoden zur Identifizierung und Klassifizierung von Argumenten in verschiedenen Beteiligungsprozessen sind (Details finden Sie in diesem Artikel). Zum anderen habe ich mich auf die Konkretheit von Argumenten konzentriert. Zusätzlich zur Vorhersage eines dreistufigen Konkretheitslabels habe ich eine Methode entwickelt, um die Subjektivität von Konkretheitsbewertungen und deren Auswirkungen auf das Vorhersageergebnis zu berücksichtigen (Details finden Sie in diesem Artikel).