Zum Inhalt springen

GraphQL und Elasticsearch: Ein Liebesbrief 💌

Ein Trichter mit einem Vorhängeschloss filtert Partikel in einen blauen Würfel darunter, der für eine eingeschränkte oder sichere Datenverarbeitung steht.

Was wir mit Elasticsearch als GraphQL-Backend gelernt haben und wie du das Maximum herausholst.

Es gibt mehrere Libraries, die die komplette Elasticsearch API als GraphQL API bereitstellen. Doch wie bei klassischen REST APIs mit Elasticsearch-Backend wollen wir den End-Usern meistens nicht alle Möglichkeiten der Elasticsearch Query Language zugänglich machen.

Ich zeige dir, wie wir eine GraphQL API auf Elasticsearch gebaut haben, die die Vorteile von beidem nutzt.

GraphQL und Elasticsearch im Praxiseinsatz

Auf unserer GraphQL API mit Elasticsearch läuft eine der grössten Koch-Websites der Schweiz, mit Tausenden von Rezepten. Sie liefert relevante Suchresultate und personalisierte Teaser im Handumdrehen. Dafür nutzt sie das Beste aus beiden Welten: GraphQL als aggregierten API-Endpoint und Elasticsearch als performante Volltextsuche und Recommendation Engine.

Homepage mit einer Suchleiste, einer grossen Schinkenschale mit Früchten und Kräutern und fünf Schaltflächen für Lebensmittelkategorien mit plattierten Gerichten.

Systemarchitektur

Unser Setup sieht so aus: Wir haben mehrere Web-Frontends, die unterschiedliche Daten aus unserem Elasticsearch-Backend und aus einigen Third-Party REST APIs brauchen. Wir schauen uns eine API für Rezepte an, mit der Rezept-Teaser als Suchresultate und die Rezept-Detailseite angezeigt werden.

Diagramm, das ein Frontend und einen weiteren Verbraucher zeigt, der mit einer GraphQL-API verbunden ist, die wiederum mit Elasticsearch und einer REST-API verbunden ist.

Dabei konzentrieren wir uns auf unser Hauptziel: unseren Web-Frontends einen einfach zugänglichen GraphQL-API-Endpoint für die Daten aus Elasticsearch bereitzustellen.

Elasticsearch und GraphQL

Wir hätten eine der bestehenden Libraries für GraphQL auf Elasticsearch nehmen können. Aber das hätte unserem Hauptziel einer einfachen, benutzerfreundlichen API nicht gedient, denn:

  • wir wollen nicht alle möglichen Elasticsearch-Methoden samt komplexer Query Language freigeben
  • wir wollen granular bestimmen, welche Dokumente und Felder über die API verfügbar sind, und irrelevante Felder ausblenden (z. B. Metadaten fürs Scoring)
  • wir wollen nur freigeben, was die End-User wirklich brauchen, und uns möglichst viel Flexibilität für künftige Änderungen und Erweiterungen bewahren, ohne Breaking Changes an der API
  • wir wollen Third-Party-Ressourcen und APIs auf einfache Weise einbinden können
  • wir wollen die GraphQL API für End-User so einfach wie möglich halten und komplexe Elasticsearch Queries (z. B. für Volltextsuche, Boosting und Personalisierung) unter der Haube verstecken

Darum haben wir entschieden, unsere GraphQL API granular aufzubauen, ausgerichtet auf die Bedürfnisse unserer API-Kund*innen. Weil wir die GraphQL API und ihr Schema explizit definieren, bleiben wir flexibel für Erweiterungen und Verbesserungen.

GraphQL-, TypeScript- und Elasticsearch-Schema wiederverwenden

Ein grosser Vorteil von GraphQL ist das klar definierte Schema, das die API einfach nutzbar macht. Nur muss dieses Schema eben explizit definiert werden.

Vom Datenimport in Elasticsearch bis zum GraphQL-Endpoint ist das Datenschema grösstenteils redundant. Um fehleranfälliges Copy-Paste und Code-Duplikate zu vermeiden, haben wir auf den Code-First-Ansatz gesetzt und teilen das Schema. Einmal schreiben, überall nutzen.

Deshalb definieren wir unser Datenschema mit TypeScript-Modellen. Diese deklarativen Modelle werden dann je nach Bedarf in ein Elasticsearch- und ein GraphQL-Schema umgewandelt. Einen Teil dieses Ansatzes haben wir unter dem Namen @smartive/es-model als Open Source veröffentlicht.

Performance-Probleme mit Loadtests aufdecken

Für aussagekräftige Resultate haben wir die häufigsten Queries unserer Frontends gesammelt und sie im grossen Stil gegen die GraphQL API getestet. Mit jMeter haben wir die Loadtests aufgesetzt und mit flood.io die Last parallel auf verschiedene Maschinen verteilt.

Dabei kamen Performance-Probleme und Bottlenecks ans Licht. Deshalb haben wir Caching für teure Third-Party Requests eingebaut. Ausserdem sind wir auf Probleme mit unserem relationalen Datenset und der Funktionsweise von GraphQL gestossen. Indem wir unsere Datenquelle denormalisiert haben, konnten wir das Problem lösen und sogar die Gesamtperformance verbessern.

«Am Ende läuft unsere GraphQL API auf zwei NodeJS-Nodes und zwei Elasticsearch-Nodes und beantwortet bis zu 5000 rpm in ø 50 ms.»

Datenquelle denormalisieren für bessere Performance

Weil aus unserer Datenquelle viel öfter gelesen als in sie geschrieben wird, konnten wir die Performance drastisch steigern, indem wir unsere relationale Datenquelle in Elasticsearch denormalisiert haben.

Stell dir vor, du willst über die GraphQL API die Top 10 Rezepte samt Zutaten abfragen, die zu deinem Suchbegriff «Pie» passen.

query RecipeSearch {
	recipes(search: "pie" limit: 10) {
		recipes {
			title
			image
			ingredients { name image }
		}
	}
}

Sind die Details der Zutaten wie Name und Bild in einem separaten Index bzw. einer separaten Tabelle gespeichert, macht die GraphQL API standardmässig für jede Zutat jedes Rezepts im Resultat eine zusätzliche Elasticsearch Query.

Für einen einzigen GraphQL-API-Call hättest du also:

  • 1 Elasticsearch Query, die 10 Rezepte holt
  • 5 Elasticsearch Queries pro Rezept, um die Details der Zutaten zu holen (bei ø 5 Zutaten pro Rezept)

Das macht total 51 Elasticsearch Queries pro GraphQL Query!

Wir könnten das optimieren, indem wir den AST-Kontext der GraphQL Query parsen, und so auf eine Elasticsearch Query für alle Zutaten der 10 Rezepte kommen. Aber das ist immer noch zu viel. Wenn wir unser Resultat mit einer einzigen Elasticsearch Query pro GraphQL Query holen wollen, müssen wir unsere Datenquelle denormalisieren.

Das Diagramm zeigt normalisierte vs. denormalisierte Datenbankschemata für ein Rezept: Zutaten getrennt vs. kombiniert in jeder Form.

Beim Denormalisieren nehmen wir die Details der Zutaten direkt in jeden Rezept-Datensatz auf. So braucht die GraphQL API nur noch eine einzige Elasticsearch Query, um alle angefragten Daten zu holen.

Dieser Ansatz lohnt sich natürlich nur, wenn du ein hohes Read/Write-Verhältnis hast und sich deine Datenquelle selten ändert. Ist das aber der Fall, kann Denormalisierung die Performance drastisch verbessern.

Teure Requests mit Redis cachen

GraphQL APIs zu cachen ist viel komplexer als REST-Endpoints zu cachen. Um es einfach zu halten, cachen wir deshalb nur Ressourcen, die wir nicht selbst kontrollieren, zum Beispiel Third-Party APIs.

Diagramm des Frontends und eines anderen Verbrauchers, der sich mit der GraphQL-API verbindet, die über die REST-API auf Elasticsearch zugreift und Redis Cache verwendet.

Für teure Calls auf Third-Party REST APIs, die nicht unter unserer Kontrolle sind, cachen wir die Daten in Redis. Der Cache wird invalidiert, sobald Daten aktualisiert werden oder veraltet sind.

Fazit

GraphQL ist ein grossartiges Framework, um deine APIs zu organisieren und zu kombinieren. Bei relationalen Daten bringt es aber auch viel Komplexität mit. Elasticsearch bietet professionelle Volltextsuche und sehr schnellen Datenzugriff. Zusammen sind die beiden ein Weltklasse-Team. Behalte aber deine Use Cases im Blick und schränk die APIs ein, damit du die bestmögliche Performance lieferst.

GraphQL-Applikationen auf Enterprise-Niveau bauen

Du willst GraphQL-Profi werden? Folge uns und lies unsere ganze Serie über GraphQL-Applikationen auf Enterprise-Niveau.

Welche Erfahrungen hast du mit GraphQL gemacht? Wir sind gespannt auf deine Herausforderungen und wie du sie gelöst hast! Melde dich bei uns!

Ein bärtiger Mann in einem hellblauen Jeanshemd und einer schwarzen Hose steht mit verschränkten Armen da und lächelt in die Kamera vor einem blauen Hintergrund.

Geschrieben von
Thilo Haas

Technology|Januar 2021

Ähnliche Challenge auf dem Tisch? Lass uns drüber reden.

Weitere Artikel

© 2026 smartive AG