Verbessere deine Volltextsuche

So optimierst du eine Volltextsuche anhand von echtem Feedback deiner Nutzer*innen
In diesem Blogpost zeige ich dir, wie wir echte Nutzungsdaten nutzen können, um eine Suchmaschine auf Basis einer quantitativen Analyse zu optimieren. Dabei beantworte ich folgende Fragen:
- Was sind die wichtigsten Kennzahlen für Information Retrieval in Volltextsuchen?
- Wie können wir echte Nutzungsdaten nutzen, um unsere Volltextsuche zu verbessern?
- Wie führen wir eine quantitative Analyse unserer Volltextsuche durch?
- Wie stellen wir sicher, dass eine Änderung an unserer Elasticsearch-Query die Gesamtqualität unserer Volltextsuche nicht verschlechtert?
- Wie verbessern wir die Qualität unserer Volltextsuche nachhaltig?
Ich zeige dir, wie wir Kennzahlen definieren, echte Nutzungsdaten sammeln, die Volltextsuche quantitativ analysieren und schliesslich unsere Kennzahlen Schritt für Schritt verbessern.

TL;DR
- Definiere das Ziel der Suchmaschine und wähle passende KPIs
- Logge die Suchbegriffe der Nutzer*innen und ihre Klicks auf Resultate. Betrachte dieses Log als Ground Truth – in der Annahme, dass die Nutzer*innen das gewünschte Resultat gefunden haben
- Berechne mit diesem Log die KPIs deiner Suchmaschine auf Basis der echten Suchanfragen. Die KPIs sind unser Massstab für den Erfolg der Suchmaschine.
- Ändere nie, wirklich nie eine Elasticsearch-Query, ein Indexschema oder die Daten, ohne die KPIs neu zu evaluieren
Kennzahlen definieren
Bevor wir mit der Optimierung loslegen, müssen wir ganz klar wissen, welches Ziel unsere Suchmaschine erfüllen soll. Welchen Informationsbedarf soll sie abdecken? Wer nutzt die Suchmaschine?
Interessieren sich unsere Kund*innen für ein einzelnes Resultat (z. B. Welchen Film schaue ich als Nächstes? Welchen Sneaker soll ich kaufen?) oder für eine Liste möglicher Resultate, um sich einen Überblick zu verschaffen (z. B. In welchen Mails habe ich über das kommende Sommerfest geschrieben? Welche Dokumente drehen sich um Kunde X?).
Je nach Use Case definieren wir dann unsere Key Performance Indicators (KPIs), um den Erfolg unserer Suchmaschine zu messen. Die gängigen KPIs für Information Retrieval lassen sich grob in zwei Kategorien einteilen: Sensitivität und Spezifität.
Sensitivität – Misst, wie gut ein relevanter Treffer unter den ersten Resultaten gefunden wird.
Spezifität – Misst, wie gut alle relevanten Einträge unter den ersten Resultaten gefunden werden.
Wähle die relevanten KPIs je nach Use Case und Kontext.
Sensitivitäts-KPIs
Wir wollen unseren Kund*innen das am besten passende Resultat zuoberst in den Suchresultaten zeigen. Meistens springen sie ab, wenn das gewünschte Resultat nicht unter den ersten X Resultaten auf der Suchseite steht – oder nicht auf der ersten Seite der Suchresultate.
Hit-Rate@K Anteil der Suchanfragen, bei denen der gesuchte Treffer unter den ersten K Resultaten ist. Je höher, desto besser. Sie entspricht Recall@K (siehe unten), wenn es in unserer Datenbank nur ein relevantes Resultat gibt.
MRR (Mean Reciprocal Rank) berechnet die durchschnittliche Position der Treffer, nach denen die Kund*innen gesucht haben. Je höher, desto besser.
Spezifitäts-KPIs
Wir wollen unseren Kund*innen eine Liste möglicher Treffer zeigen, absteigend sortiert nach Übereinstimmung. Die Reihenfolge ist nicht so wichtig, aber alle relevanten Resultate müssen aufgelistet sein.
Recall@K Wie viele der gewünschten Resultate stehen unter den ersten K Resultaten? Je höher, desto besser. Ein Recall@10 von 0.6 bedeutet, dass 3 von 5 gewünschten Resultaten unter den ersten 10 Resultaten auftauchen.
DCG Discounted Cumulative Gain misst, wie viele hochrelevante Resultate unter den Top-Resultaten sind. Er bestraft es, wenn ein hochrelevantes Resultat ganz unten in den Suchresultaten steht.
Noch mehr KPIs
Das ist nur eine Auswahl möglicher KPIs. Schau dir diesen Wikipedia-Artikel an – dort findest du weitere Infos und noch mehr Evaluationsmasse.
Messen
Nachdem wir unsere Kennzahlen definiert haben, können wir die aktuelle Implementierung unserer Suchmaschine messen und evaluieren.
Um überhaupt messen zu können, brauchen wir zuerst Daten. Dafür gibt es zwei Möglichkeiten: eine qualitative und eine quantitative Analyse.

Bei einer qualitativen Analyse konzentrieren wir uns auf einzelne Use Cases und stecken möglichst viel Aufwand in die Ground Truth unserer Testdaten. Das heisst, wir legen für eine Reihe vorgegebener Suchbegriffe manuell alle passenden Dokumente fest. Das ist oft mühsame Arbeit und deckt nur einen sehr kleinen Teil der Use Cases unserer Suchmaschine ab. Eine qualitative Analyse machen wir deshalb nur für ausgewählte, sehr wichtige Use Cases.
Auf der anderen Seite steht die quantitative Analyse: Je mehr Daten, desto besser. Sie müssen nicht immer zu 100 % stimmen. Für eine quantitative Analyse können wir die Logdaten der Nutzer*innen unserer Suchmaschine verwenden.
Daten sammeln
Sammle Logdaten der Suchmaschine im Live-Betrieb. Logge, wonach die Kund*innen suchen und auf welches Resultat sie klicken.
Wenn wir annehmen, dass das angeklickte Resultat der gewünschte beste Treffer für die Suchanfrage ist, können wir die Logdaten nutzen, um unsere Suchmaschine zu evaluieren. Diese Annahme stimmt vielleicht nicht zu 100 %. Trotzdem fahren wir damit viel besser, als wenn wir uns aufs Bauchgefühl verlassen oder nur für den Manager optimieren, der findet, der teuerste Sneaker gehöre ganz nach oben.
Um die Logdaten zu sammeln, bauen wir ein Tracking in unsere Suchresultatseite ein. Sobald jemand auf ein Suchresultat klickt, tracken wir den Suchbegriff zusammen mit der ID des angeklickten Resultats. Für spätere Langzeitanalysen lohnt es sich oft, auch den Rang des angeklickten Resultats zu loggen (war es das erste angezeigte Resultat oder das auf Platz 24?). Für unseren Use Case brauchen wir aber vorerst nur den Suchbegriff und das angeklickte Resultat. So erhältst du eine Liste von Logs wie diese:

Sammle genügend Logdaten. Mit rund 100'000 Paaren aus Suchbegriff und Resultat-Klick bist du gut unterwegs. Berücksichtige ausserdem saisonale Unterschiede im Suchverhalten, falls es solche gibt. Die Logdaten sollten ein umfassendes Bild vom Suchverhalten unserer Nutzer*innen liefern.
Evaluieren
Jetzt können wir unsere Suchmaschine mit diesen Daten füttern und für jedes Paar aus Suchbegriff und Resultat-Klick die Kennzahlen berechnen.
Wenden wir das auf unsere Suchanfrage an. Nehmen wir an, wir verwenden eine einfache Match-Query auf das Feld title unserer Dokumente:
GET /_search
{
"query": {
"match": {
"title": "banana"
}
}
}Um die Recall@10-Werte zu berechnen, können wir die Queries entweder selbst ausführen und die Werte selbst berechnen oder die Ranking Evaluation API verwenden. Dafür fügen wir jeden Eintrag unseres Datenlogs dem requests-Array des Requests an die Ranking Evaluation API hinzu. Der Suchbegriff der Nutzer*innen kommt in die Query requests[].request.query.match, und die ID des angeklickten Dokuments steht als Dokument im Array requests[].ratings:
POST /my-index/_rank_eval
{
"requests": [
{
"id": "test_query_1",
"request": {
"query": { "match": { "title": "banana" } }
},
"ratings": [
{ "_index": "my-index", "_id": "bananabread-recipe-123", "rating": 1 }
]
},
{
"id": "test_query_2",
"request": {
"query": { "match": { "title": "apple" } }
},
"ratings": [
{ "_index": "my-index", "_id": "apple-pie-531", "rating": 1 }
]
}
],
"metric": {
"recall": {
"k": 10,
"relevant_rating_threshold": 1
}
}
}Daraus erhalten wir unseren finalen KPI-Wert:
{
"rank_eval": {
"metric_score": 0.4,
"details": { ... }
}
}Mit der integrierten Ranking Evaluation API kannst du ganz einfach die Metrik auf MRR (mean_reciprocal_rank) umstellen.
Jetzt bist du startklar! Der metric_score ist die erste Evaluation unserer Suchmaschine. Das ist unser KPI, den wir ab jetzt verbessern wollen.
Verbessern und anpassen
Mit der ersten Evaluation haben wir einen Überblick über die aktuelle Qualität unserer Suchmaschine. Vielleicht sehen wir schon einzelne Queries oder Suchkombinationen, die schlecht abgeschnitten haben.
Jetzt ist es Zeit, unsere Resultate zu analysieren. Können wir unsere Suchanfrage verbessern? Müssen wir vielleicht unser Indexschema anpassen? Oder unsere Daten verbessern oder anreichern? Messen wir mit unseren Kennzahlen immer noch das Richtige, nämlich wie gut wir den Informationsbedarf unserer Kund*innen abdecken?
Wir haben also vier Stellschrauben, um unsere Suchmaschine zu verbessern:
- Elasticsearch-Query
- Indexschema
- Indexierte Daten
- KPI-Metriken
Passe die Suchmaschine anhand der Ergebnisse an und führe nach jeder Änderung die Evaluation erneut durch. Wenn du dich an klar definierte Kennzahlen hältst, optimierst du nicht versehentlich am Ziel vorbei und verschlechterst die Suchmaschine nicht ungewollt.
Fazit
Nutze die Suchdaten deiner Nutzer*innen, um den Erfolg deiner Suchmaschine zu messen. Optimiere sie iterativ: verbessern, messen, wiederholen. Ändere die Suchanfrage oder das Indexschema oder reichere die Dokumentdaten an. Berechne nach jeder Änderung die KPIs der Suchmaschine neu, damit du nicht versehentlich am Ziel vorbei optimierst und die Suchmaschine ungewollt verschlechterst.
Was möchtest du sonst noch wissen? Melde dich bei uns!
Klingt gut? Aber wie sieht das in der Praxis aus? Schau dir die Case Study auf unserer Website an.

Geschrieben von
Thilo Haas
Ähnliche Challenge auf dem Tisch? Lass uns drüber reden.





