2. Praxisworkshop zur automatisierten Auswertung von Beteiligungsbeiträgen

Am vergangenen Freitag haben wir im Rahmen unseres 2. Praxisworkshops erste Ergebnisse zu unseren aktuellen Arbeiten zur automatisierten Auswertung von Beteiligungsbeiträgen vorgestellt. Insgesamt hatten wir 12 Teilnehmende, die in verschiedenen Rollen (Stadtplanung, Bürger*innenbeteiligung, Dienstleistung als Planende oder für Partizipation) mit der Auswertung von Beteiligungsbeiträgen Erfahrung haben.

Zu Beginn haben wir einen Ansatz vorgestellt, um einzelne Sätze in Beteiligungsbeiträgen als Vorschlag oder Zustandsbeschreibung (beziehungsweise beides oder nichts davon) zu klassifizieren. Das funktioniert in der Praxis auch automatisiert schon ziemlich gut, wie auch unserer Veröffentlichung in den Proceedings of the 8th Workshop on Argument Mining zu entnehmen ist.

Beispiel für die Kategorisierung eines Beitrages in Sätze mit Vorschlag oder Zustandsbeschreibung: links die automatisierte Klassifikation, rechts die manuelle Kodierung. Auch wenn das Modell noch Fehler macht, ist die Zuverlässigkeit insgesamt schon sehr hoch.

Die Expertinnen und Experten konnten die Zuordnung in der Regel nachvollziehen, allerdings trifft es nur teilweise den Bedarf in der Beteiligungspraxis. So lassen sich aus Beschreibungen von Situationen vor Ort in der Regel auch häufig Vorschläge ableiten, bzw. aus Vorschlägen auch Einschätzungen der Situation vor Ort. Hier würde zunächst einmal vor allem eine Hervorhebung von solchen inhaltlich relevanten Sätzen (im Gegensatz zu allgemeinen Informationen im Beitrag) weiterhelfen, um eine Konzentration auf das Wesentliche zu ermöglichen. Auch wäre eine Unterscheidung in konkrete Vorschläge vs. allgemeine Forderungen oder Kritik an bestehenden Verhältnissen denkbar.

Eine von allem geteilte Feststellung war, dass der Auswertungsprozess immer das Lesen und Abwägen jedes einzelnen Beitrags durch die Verantwortlichen erfordert, nicht zuletzt um sicherzustellen, dass alle Beiträge gleich und fair behandelt werden. Während eine Vorsortierung oder eine Priorisierung wichtig ist, um die Bearbeitung durch die Verantwortlichen zu erleichtern, darf ein Algorithmus nie die finale Entscheidung über die aus einem Beitrag erwachsenden Konsequenzen haben. So ist auch sichergestellt, dass mögliche Fehlzuordnungen im Rahmen der automatisierten Klassifikation erkannt werden und die Entscheidungsprozesse transparent und nachvollziehbar bleiben.

Als Folge dieser grundlegenden Feststellung muss eine Automatisierung also vor allem darauf angelegt sein, die mit der Auswertung betrauten Personen in ihrer praktischen Arbeit zu unterstützen. Die Teilnehmenden des Workshops haben dabei vor allem die Rolle der thematischen Klassifikation von Beiträgen betont. Im Kontext der Verfahren im Fokus von CIMT, erfordert das hier vor allem die Zuordnung von Beiträgen zu verkehrsrelevanten Kategorien. Dabei gilt es zwischen generischen und prozess-spezifischen Kategorien zu unterscheiden. Einerseits gibt es eine ganze Reihe von Themen, die für alle Beteiligungsverfahren mit einem Mobilitätsfokus relevant sind. Dazu zählt die Erkennung von Verkehrsmitteln oder bestimmten verkehrsrelevanten Themen, z.B. Verkehrssicherheit oder Mobilitätsmanagement. Diese eignen sich insbesondere für Verfahren, die überwachtes Lernen anwenden, da die Erkennung vorab (auch auf anderen, vergleichbaren Datensätzen) trainiert werden kann. Im Gegensatz dazu haben viele der Beteiligungsverfahren aber auch immer spezielle Themen, die nicht vorab feststehen, sondern sich erst in der konkreten Beteiligung ergeben. Hier müsste dann gegebenenfalls auf nicht-überwachte Verfahren zurückgegriffen werden, die dann nach Abschluss eines Verfahrens die Menge der Beiträge nach Ähnlichkeiten (z.B. in der Wortverteilung) analysieren und clustern.

Zusätzliche inhaltliche Klassifikationen, die im Rahmen des Workshops vorgeschlagen wurden, umfassten:

  • die Verortung von Vorschlägen (an der wir auch schon arbeiten)
  • die Erkennung von Vorschlägen, die rasches Handeln erfordern (z.B. Hinweis auf akute Gefahrenstellen)
  • Unterscheidung der Konkretheit von Vorschlägen (an der wir auch schon arbeiten)

Darüber hinaus wollten wir von den Workshopteilnehmenden wissen, in welcher Form eine solche Automatisierung dann auch den Auswertungsprozess sinnvoll unterstützen kann. Dazu haben wir einige mögliche Vorschläge für die Visualisierung der durch die Modelle vorgenommenen Klassifikationen gezeigt.

Beispielhafte Visualisierung der Funktionalität einer möglichen Softwareanwendung, die zu einem Beitrag thematisch ähnliche Beiträge anzeigt und eine weitere Filterung (z.B. nach räumlicher Nähe) erlaubt.

Hier war eine deutliche Präferenz für die Möglichkeit, gleichzeitige mehrere Themenschwerpunkte auswählen und visualisieren zu können (Anzeige von Schnittmengen). Um die auf Natural Language Processing basierenden Modelle in der Praxis auch anwendbar zu machen, bedarf es darüber hinaus einer geeigneten Softwarelösung, für die noch weitere Anregungen gemacht wurden:

  • die Visualisierung der klassifizierten Beiträge, z.B. eine Übersicht über alle Beiträge einer Kategorie
  • Möglichkeit der manuellen Nachkodierung von Beiträgen zulassen
  • Ausgabe von Überblickstatistiken über alle Beiträge eines Verfahrens (z.B. Anzahl der Vorschläge in einer bestimmten Kategorie)
  • Angabe eines Zuverlässigkeitswerts als Indikator dafür, wie „sicher“ sich der Algorithmus bei der Zuordnung ist
  • weitergehende Informationen zu Beiträgen erfassbar machen, z.B.
    • gelesen/ungelesen
    • Bearbeitungsstatus
    • Verantwortlichkeiten

Wir bedanken uns bei allen Teilnehmenden für die Zeit und den wichtigen Input. Insgesamt konnten wir damit wertvolle Erkenntnisse für die weitere Entwicklung von Analysewerkzeugen gewinnen. Einige davon befinden sich aktuell bereits ohnehin in der Entwicklung (z.B. die Erkennung von Verortungen oder die thematische Kodierung). Wir sind zuversichtlich, dazu bald weitere Ergebnisse zu präsentieren und damit einen weiteren Schritt zu machen, um die Verantwortlichen in der Beteiligungspraxis gezielt bei der Auswertung zu unterstützen.

Interdisziplinäres Seminar zur Erforschung von sozialem Status und Sprache

In diesem Semester bieten wir online das Masterseminar „Die Erforschung von sozialem Status und Sprache mit Hilfe von automatisierten Auswertungsmöglichkeiten“ an der Heinrich-Heine-Universität Düsseldorf an.

Im Seminar wollen wir gemeinsam die Zusammenhänge von sozialem Status und Sprache am praktischen Beispiel von diskursiven Online-Beteiligungsverfahren untersuchen. Dabei soll die theoriebasierte Entwicklung einer soziologischen Fragestellung Hand-in-Hand mit der empirischen Untersuchung anhand von automatisierter Sprachverarbeitung (Natural Language Processing bzw. Text Mining) gehen. Dazu vermittelt das Seminar sowohl theoretische Hintergründe zur Beziehung von sprachlichem Kapital und sozialer Klasse sowie anderen demographischen Kategorien, als auch Fähigkeiten zur Untersuchung der Fragestellung durch automatisierte Inhaltsanalyse mit Hilfe von Verfahren des Natural Language Processing. Dazu werden sowohl die theoretischen Grundlagen dieser Techniken vermittelt, als auch deren Anwendung im Rahmen bestehender Softwarelösungen erprobt.

Zu Beginn des Seminars werden wir uns neben einer Einführung in die Soziolinguistik mit Theorien zum symbolischen Wert von sprachlichem Kapital und Macht von Bourdieu und Theorien zum machtfreien Diskurs in Anlehnung an Jürgen Habermas auseinandersetzen und diese auf das Thema politischer Beteiligung anwenden. Daran anschließend werden wir uns mit quantitativen Ansätzen zur Messbarkeit der verschiedenen Sprachindikatoren aus der Theorie auseinandersetzen, wie beispielsweise dem Informationsgehalt eines Beitrags oder dem verwendeten Vokabular. Diese sollen anhand existierender Softwarepakete in der Statistikumgebung R angewendet werden und auf ihre Nützlichkeit zur Beantwortung der Fragestellung von Sprache und Macht kritisch reflektiert werden.

Gegenstand der Untersuchung ist die Kommunikation im Rahmen von politischen Beteiligungsverfahren, konkret die von Bürger*innen verfassten Beiträge. Dazu nutzen wir Daten aus einer Befragung im Zusammenhang mit einem Beteiligungsverfahren in drei Städten in NRW, mit dem Bürger*innen Vorschläge zur Verbesserung des Radverkehrs in ihrer Stadt gemacht haben.

Kurs Mobilität und Nachhaltigkeit: Soziale Aspekte der Verkehrswende

In diesem Semester bieten wir online ein Masterseminar zu Mobilität und Nachhaltigkeit an der Heinrich-Heine-Universität Düsseldorf an.

Im Rahmen der Veranstaltung beschäftigen wir uns vorwiegend mit Mobilitätsforschung aus sozialwissenschaftlicher Perspektive. Unser besonderes Augenmerk gilt der Frage, was nachhaltige Mobilität ausmacht und welche sozialen Mechanismen im Zusammenhang mit der Verkehrswende wirksam werden. Dazu wird im ersten Teil der Veranstaltung ein grundlegendes Verständnis vermittelt über Struktur, Ursachen und Wirkungen des derzeitigen Mobilitätsverhaltens mit Schwerpunkt auf urbanen Kontexten in Deutschland. Im zweiten Teil der Veranstaltung wenden wir uns der Frage zu, wie Mobilität nachhaltig werden kann und betrachten, welche Potentiale konkrete Maßnahmen (z.B. Bepreisung, Sharing & Pooling, Bürgertickets) für die Verkehrswende haben.

Der Kurs ist wie folgt aufgebaut:

3.11.Einführung
10.11.Mobilität und Verkehr: Kennzahlen des Nutzungsverhaltens
17.11.Auswirkungen von Verkehr
24.11.Theorien zu Einflüssen auf Mobilitätsverhalten
1.12.Mobilität und Sozialstruktur
8.12.Stadtplanung und Mobilität
15.12.Auto-Kultur
22.12.Nachhaltigkeit & Mobilität
29.12. + 5.01.
12.01.Akzeptanz der Verkehrswende
19.01.nachhaltige Mobilität: Urban Design
26.01.nachhaltige Mobilität: City-Maut
02.02.nachhaltige Mobilität: Sharing & Pooling (eMobilität)
09.02.nachhaltige Mobilität: ländliche Mobilität

Auswertung des ersten Praxisworkshops der Nachwuchsforschungsgruppe CIMT

Als transdisziplinäres Forschungsprojekt möchten wir in regelmäßigen Abständen Vertreter*innen aus der Praxis der kommunalen Bürgerbeteiligung zu Workshops einladen, um mit Ihnen konkrete Fragestellungen im Zusammenhang mit unserer Forschung zu diskutieren. Im Mittelpunkt unseres ersten Praxisworkshops im Sommer 2020 stand die Frage, wie die Auswertung von Beiträgen technisch unterstützt werden kann und welche Anforderungen Praktiker*innen an eine Softwarelösung zur (teil-)automatisierten Unterstützung der Auswertung von Bürger*innenbeteiligung haben.

Bei kommunalen Beteiligungsverfahren geben Bürger*innen Vorschläge und Meinungen zu vorgegebenen Fragen ab. Damit diese in die weitere Planung einfließen können, müssen die Beiträge von den zuständigen Verwaltungen oder entsprechend beauftragten Dienstleister*innen ausgewertet werden. Gerade bei Partizipationsverfahren mit hoher Beteiligung kann die Auswertung ein hohes Maß an Ressourcen binden.

Im Ergebnis wird deutlich, dass es einen tatsächlichen Bedarf nach IT-Unterstützung bei der Auswertung gibt, da diese bislang in der Regel noch vorwiegend händisch erfolgt und entsprechend zeitaufwendig ist. Zu diesen Anforderungen gehört vor allem die Möglichkeit, Beiträge thematisch nach inhaltlichen Aspekten zu gruppieren. Weiterhin besteht Bedarf zur Unterstützung bei der Erkennung von Duplikaten und der Identifikation und Bewertung von konkreten Maßnahmen aus den Beiträgen. Dabei lauten zwei wesentliche Anforderungen, dass alle Beiträge gleichberechtigt berücksichtigt werden und dass automatisiert getroffene Entscheidungen transparent und nachvollziehbar sind.

Zusätzlich wurde durch den aktuellen Anlass im Rahmen des Praxisworkshops eine Befragung nach dem Einfluss der Covid-19-Pandemie auf die Arbeit mit Bürger*innenbeteiligung durchgeführt. Zusammenfassend zeigt sich eine hohe Verunsicherung, wie Bürger*innenbeteiligung während der Pandemie gut umgesetzt werden kann, sowie eine hohe Diskrepanz zwischen den verschiedenen Beteiligungsformaten. Während die Online-Beteiligung als kontaktloses Medium von der Lage profitieren kann, ist die Vor-Ort-Beteiligung stark betroffen.

Der ausführliche Bericht ist als Working Paper verfügbar.

Erstes Beiratstreffen der Nachwuchsforschungsgruppe CIMT in Berlin

Am 28. Februar 2020 veranstaltete die Nachwuchsforschungsgruppe das erste Treffen des Beirats. Das Zusammentreffen der Mitglieder aus Forschung und Praxis fand im Wissenschaftszentrum Berlin für Sozialforschung statt.

Beiratstreffen am WZB Berlin
Beiratstreffen am 28. Februar

Einen zentralen Punkt der Veranstaltung bildete die Vorstellung und das Kennenlernen der Beiratsmitglieder und der Mitglieder der Nachwuchsforschungsgruppe. Jun.-Prof. Tobias Escher stellte als Gruppenleiter das interdisziplinäre Forschungsprojekt im Gesamten vor. Laura Mark (Stadtplanung), Katharina Huseljić (Soziologie) und Julia Romberg (Informatik) erörterten anschließend detaillierter die Forschungsvorhaben der einzelnen Disziplinen. In den nachfolgenden Diskussionsrunden ergab sich ein konstruktiver Austausch zu den Anforderungen der Projektteile und des Gesamtprojekts. Zum Abschluss wurde in einer Feedback-Runde gemeinschaftlich beschlossen, den Austausch halbjährlich bis jährlich fortzuführen.

CIMT bedankt sich bei allen Beteiligten für einen gelungenen Tag!