Methodik & Transparenz

1. Datenquellen

• Basis ist die öffentlich zugängliche Ratsinformations-Plattform der Stadt München.
• Dokumente werden per Crawler geladen und in data.csv abgelegt (Spalten u. a.: Drucksachen-Nr., Titel, Typ, Gestellt am, Erledigt am, Gestellt von, Zuständiges Referat, document_content).
• Personen- und Fraktionsnamen stammen ausschließlich aus den veröffentlichten Dokumenten.

2. Vorverarbeitung

• Alle Texte werden als String gespeichert, Datumsspalten in Datumsformate konvertiert (ungültige Daten werden verworfen).
• Keine automatische Korrektur oder Normalisierung des Inhalts; eventuelle OCR-/Formatierungsartefakte bleiben bestehen.
• Optional können Filter nach Antragstyp (typ_filter) angewandt werden (OR-Logik über ausgewählte Typen).

3. Such- und Zählregeln

• Suche erfolgt regex-basiert, case-insensitive, pro Suchwort.
• Freie Stichwortsuche: Es kann jedes Wort bzw. jede Phrase gesucht werden.
• Schwelle: MIN_OCCURRENCES_PER_DOC = 1. Ein Dokument zählt als Treffer, sobald das Suchwort mindestens einmal vorkommt.
• Binär pro Dokument: Ein Dokument trägt maximal 1 zum Zähler bei, auch wenn das Wort mehrfach vorkommt.
• Theme-Expansion (aktiv): Suchbegriffe werden über THEME_MAP um thematisch verwandte Phrasen erweitert (z. B. "Wohnen" → Wohnung, Miete, Zimmer ...). Dadurch steigen Trefferzahlen, weil Synonyme mitgezählt werden. Abschaltbar via expand_with_themes=False.
• Mehrere Suchwörter: Trefferlisten werden vereinigt (Union). total_word_count zählt jedes Dokument höchstens einmal über alle Suchbegriffe.
• Lemmatisierung: Für Theme-Expansion wird spaCy auf Lemmebene eingesetzt; die eigentliche Zählung bleibt regex-basiert.

4. Theme-Expansion und semantische Suche

Wie ein Suchbegriff zu mehreren Suchbegriffen wird:

Um die Suchergebnisse zu verbessern, gibt es die Möglichkeit, mit einem Suchbegriff automatisch verwandte Begriffe zu finden. Dieses System heißt Theme-Expansion und funktioniert folgendermaßen:

• Der Nutzer klickt einen Theme-Button (z. B. „Wohnen") auf der Startseite oder gibt einen Suchbegriff ein.
• Das System prüft, ob dieser Begriff einem Theme in der THEME_MAP entspricht oder einer der zugeordneten Phrasen.
• Falls ja: Alle Phrasen dieses Themes werden zur Suche hinzugefügt. Z. B. werden bei „Wohnen" automatisch auch „Wohnung", „Miete", „Mietspiegel", etc. gesucht.
• Die Regex-basierte Suche wird dann für jeden dieser expandierten Begriffe durchgeführt.
• Die Ergebnisse werden zusammengefasst (Union), sodass jedes Dokument maximal einmal gezählt wird.

Technischer Hintergrund: Die Theme-Expansion ist lexikon-basiert (rule-based) und nutzt spaCy auf Lemma-Ebene für die Erkennung von Themenbegriffen in Texten. Die eigentliche Zählung bleibt regex-basiert für optimale Performance. Die Theme-Expansion ist standardmäßig aktiviert, kann aber über expand_with_themes=False deaktiviert werden.

Verfügbare Themes und ihre Suchbegriffe

Hier ist eine Übersicht aller Themes und ihrer zugeordneten Suchbegriffe:

5. Auswertungen

• Zeitslider-Hinweis: Zeigt die Inhaltsabdeckung (Anteil der Anträge mit Textinhalt) für das Jahr unter dem Regler. Die Prozentwerte werden je Jahr aus document_content berechnet und in Kategorien zusammengefasst.
• KPI Verarbeitung: Durchschnittliche Bearbeitungszeit (Erledigt am − Gestellt am) nur für erledigte Vorgänge; offene/geschlossene Zähler basieren auf Vorhandensein des Erledigt-Datums; Referats-Breakdown über erledigte Vorgänge.
• Trend (absolut): Gruppierung nach Monat (YYYY-MM) und Summe der binären count-Spalte; Tooltips zeigen Typ-Breakdown und Gesamtzahl.
• Trend (Anteil): Anteil der Treffer pro Monat (count/total); Tooltips zeigen Anteil sowie Treffer/gesamt.
• Trend (korrigiert): Korrektur der Monatszahlen mit der PDF-Verfügbarkeit (Schätzung fehlender Inhalte).
• Fraktionen/Einreicher: Feld Gestellt von wird an Kommata gesplittet, pro Name summiert; Tooltips zeigen Typ-Breakdowns.
• Anteil pro Fraktion: Verhältnis (Treffer / alle Dokumente je Fraktion); Tooltips zeigen Anteil und Treffer/gesamt.
• Bearbeitungsdauer nach Referat: Durchschnittliche Tage pro Referat; Tooltips zeigen Ø‑Tage und Typ-Breakdown.
• Stadtteilkarte: Kreisdiagramme je Stadtteil, normalisiert nach Gesamtaktivität der Fraktionen; Kreisgröße = Erwähnungen. Diese Karte ist statisch.
• Antragsliste: Kartenansicht mit Titel, Datum und Kurzbeschreibung; Klick öffnet das Dokument (falls vorhanden).

6. Visualisierung

• Frontend nutzt D3.js; Daten werden über JSON-Endpunkte aus Flask geladen.
• Keine clientseitige Nachfilterung außer Darstellung (Tooltips, Sortierungen auf Basis der gelieferten Aggregationen).
• Tooltips zeigen zusätzliche Details (z. B. Typ-Breakdowns, Anteile und Treffer/gesamt).
• Die Stadtteilkarte ist vorgerendert und wird nicht durch die Filter beeinflusst.

7. Grenzen & Bias

• Regex- und Theme-Expansion können Über- oder Unterzählungen verursachen (z. B. Teilwörter, fehlende Synonyme).
• Binäre Zählung ignoriert Mehrfachnennungen innerhalb eines Dokuments.
• Qualität der Ergebnisse hängt von Datenvollständigkeit und Richtigkeit der Quelle ab.
• Kein automatisches Entfernen von Stoppwörtern in der Zählung; Theme-Expansion ist kuratiert und kann unvollständig sein.