Klassifikation von Suchanfragen mit Machine Learning

Ausgangssituation

• Ein Marktforschungsunternehmen möchte eine Million Suchanfragen aus Internetsuchmaschinen klassifizieren
• Der im Projekt entwickelte Machine Learning (ML)-Algorithmus soll auf weitere Suchanfragen anwendbar sein
• Klassifikationskategorien sowie Design und Training des Algorithmus durch mgm technology partners GmbH

Ziele

• Manuelle Klassifikation einer Trainingsprobe von 8.000 Suchanfragen
• Fachlich schlüssige und auf die Spezifika der zur Verfügung gestellten Suchanfragen angepasste Dokumentation der Kategorien „Branche“ und „Nutzerbedürfnis“
• Automatisierte Klassifizierung von einer Million Suchanfragen durch den entwickelten ML-Algorithmus

Vorgehensweise

• Fachliche Definition geeigneter Kategorien
• Auswahl einer repräsentativen Trainingsmenge
• Manuelle Klassifikation mit Hilfe von Crowdworkern
• Training des ML-Algorithmus
• Automatische Klassifizierung von Branchen mit Hilfe von Newsgroups, Foren, Wikidata und Wiktionary als Ontologien
• Visualisierung zur Qualitätssicherung und Verbesserung
• Berechnung von KPIs, Genauigkeit, F-Maß

Ergebnisse

• Fachliche Spezifikation der einzelnen Kategorien zu Branche und Nutzerbedürfnis
• Automatisierte Klassifizierung von einer Million Suchanfragen
• ML-Algorithmus inklusive Parameter