Wir alle kennen das: Eine wichtige Kennzahl in Ihrem Analysetool ändert ihr Verhalten erheblich. Der durchschnittliche Bestellwert sinkt drastisch, wir haben weniger Add-to-Carts als sonst, die Formularübermittlungsrate liegt unter einem kritischen Wert. Das ist der Punkt, an dem sich unsere Kunden oder Stakeholder - meist leicht panisch - melden und nach Antworten oder besser noch nach Lösungen fragen. 

Das Problem dabei ist, dass es in den meisten Fällen keine eindeutige Ursache dafür gibt, warum sich eine Kennzahl auf eine bestimmte Weise entwickelt. Es kann jedoch eine Vielzahl von Faktoren geben, die die Entwicklung eines bestimmten KPI beeinflussen. Aus diesem Grund halte ich es für sehr wichtig, bei der Fehlersuche in Ihren Daten eine Vielzahl von Faktoren zu berücksichtigen. Zu diesem Zweck habe ich einen klaren und sehr praktischen Ansatz zur Bewertung dieser Probleme entwickelt. In diesem Blogbeitrag möchte ich Ihnen diesen Ansatz vorstellen und erklären, wie und warum er für mich in der Vergangenheit funktioniert hat. 

Schritt 1: Schließen Sie das Offensichtliche aus

Bevor ich in die Welt der Analytik eintauche, stelle ich zunächst sicher, dass es kein kritisches technisches Problem gibt, das sofort behoben werden sollte, um weitere Daten- oder gar Umsatzverluste zu verhindern. Das erste, was zu tun ist, ist also: 

  • Prüfen, ob die Website oder wichtige Funktionen/Anwendungen ausgefallen sind. 
  • Kurze Fehlersuche in der Analytics-Implementierung, um zu prüfen, ob die Datenerfassung noch funktioniert.

Wichtig ist dabei für mich, dass ich mich wirklich nur auf die wichtigsten und damit offensichtlichsten Dinge konzentriere. Zu diesem Zeitpunkt versuche ich, nicht wahllos mit dem Debuggen bestimmter Funktionen auf der Website oder Details in meiner Implementierung zu beginnen. Das kann sehr viel Zeit kosten, wenn man nicht strukturiert vorgeht. 

Schritt 2: Definieren Sie das Problem klar und deutlich

Je nachdem, wie und von wem das Problem in den Zahlen festgestellt wurde, kann die Problemstellung sehr allgemein gehalten sein. „Unser durchschnittlicher Auftragswert (AOV) ist seit letztem Mittwoch unter 50 $ gefallen.“ Dies ist nur ein Beispiel dafür, wie eine Problemstellung aussehen könnte. Als Data Analyst habe ich hier in der Vergangenheit als Erstes das Problem spezifiziert, indem ich Informationen hinzugefügt habe wie: 

  • Seit wann tritt das Problem auf? 
  • Ist der AOV die einzige Metrik, die betroffen ist? (In meinem Beispiel war das nicht der Fall. Genauso wie der AOV abnahm, konnten wir auch einen Rückgang der Einheiten pro Transaktion oder UPT feststellen). 
  • Ist die Entwicklung der Kennzahl im Vergleich zur letzten Woche / zum letzten Monat / zum gleichen Zeitraum des letzten Jahres immer noch ein Problem? (auf diese Weise können Sie sicherstellen, dass saisonale Effekte keine Auswirkungen auf Ihre Kennzahlen haben)
  • Gibt es einen bestimmten Zeitpunkt, an dem der Rückgang zu beobachten ist? Oder geschah dies langsam und schrittweise? 

Durch die Beantwortung dieser Fragen erhalten Sie ein vollständigeres Bild des Problems. Dies ist eine wichtige Grundlage für unseren nächsten Schritt. 

Schritt 3: Generierung von Hypothesen für mögliche Ursachen

Bevor ich nun mit der Erstellung von Dashboards und der Analyse der Zahlen beginne, öffne ich Confluence (oder ein anderes Tool, das Sie zur Dokumentation bevorzugen). Hier schreibe ich alle Gründe auf, die mir in den Sinn kommen, warum der AOV und der UPT einen Abwärtstrend aufweisen könnten. Hier sind einige Beispiele für Bereiche, an die Sie denken sollten, wenn Sie nach einem Grund für Ihr Problem suchen: 

Tracking-Probleme:

  • Prüfen Sie, ob Analytics-Tags, Pixel oder Tracking-Codes kürzlich geändert wurden.
  • Vergleichen Sie Daten aus verschiedenen Tools (z.B. Google Analytics vs CRM).
  • Validieren Sie Echtzeit-Ereignisse und beheben Sie Tracking-Einstellungen.

Änderungen des Nutzerverhaltens:

  • Segmentieren Sie Daten nach Nutzertyp, Region, Gerät und Traffic-Quelle.
  • Prüfen Sie, ob bestimmte Seiten oder Abläufe die Leistung verändert haben.
  • Suchen Sie nach UX/UI-Änderungen, die das Verhalten beeinflusst haben könnten.

Marketing und externe Faktoren:

  • Analysieren Sie die Traffic-Quellen: Wurden bezahlte Kampagnen beendet oder Budgets verschoben?
  • Prüfen Sie, ob Saisonabhängigkeit, Feiertage oder virale Ereignisse die Nachfrage beeinflussen.
  • Untersuchen Sie die Aktivitäten der Wettbewerber.

Natürlich ist diese Liste bei weitem nicht vollständig, und je nach Anwendungsfall gibt es noch viele andere Dinge zu berücksichtigen. 

Wie ich bereits zu Beginn dieses Beitrags erwähnt habe, versuche ich immer, mehrere Dinge zu überprüfen, um die Grundursache(n) für ein Problem zu finden. An dieser Stelle ziehe ich auch gerne ChatGPT zu Rate, um mir einige Hypothesen zur Überprüfung in Adobe Analytics zu liefern. Mein Prompt sieht folgendermaßen aus:

„Ich arbeite für einen großen Einzelhändler in der Lebensmittelbranche. Sie haben einen Rückgang des durchschnittlichen Bestellwerts und der Einheiten pro Transaktion festgestellt. Ich benötige einige Hypothesen darüber, was zu diesem Rückgang geführt hat, um ihn in Adobe Analytics zu überprüfen.“

In meinem Beispiel liefert ChatGPT die folgende Ausgabe:

1. Preiserhöhungen oder Inflationseffekte

  • Die Kunden kaufen aufgrund der höheren Preise möglicherweise weniger Artikel.
  • Preissensible Kunden könnten auf billigere Alternativen ausweichen, wodurch sich der Gesamtbestellwert verringert.

2. Probleme mit dem Produktsortiment und der Verfügbarkeit

  • Lieferengpässe oder Unterbrechungen der Lieferkette verringern den Kauf mehrerer Artikel.
  • Geringere Auswahl oder Auslaufen beliebter Großeinkaufsartikel, was zu kleineren Transaktionen führt.

3. Änderungen der Werbestrategie

  • Eine Reduzierung von Rabatten, Bündelangeboten oder Anreizen für Treueprogramme könnte zu weniger Impulskäufen oder kleineren Warenkörben führen.
  • Ende von Marketing-Kampagnen für teurere Produkte.

4. Fehler im Warenkorb und beim Checkout

  • Technische Probleme mit dem Warenkorbsystem können Kunden daran hindern, mehrere Artikel hinzuzufügen oder zu falschen Warenkorbwerten führen.
  • Verlassen des Warenkorbs aufgrund nicht funktionierender „Für später speichern“-Funktionen oder Problemen mit Artikeln, die nach dem Login oder während des Bezahlvorgangs aus dem Warenkorb verschwinden.

5. Fehlfunktion von Personalisierungsalgorithmen

  • Wenn Empfehlungsalgorithmen (Cross-Sell, Upsell) nicht wie erwartet funktionieren, verpassen Kunden möglicherweise Produktvorschläge, die ihren Bestellumfang erhöhen könnten.
  • Personalisierte Angebote oder dynamische Preise, die auf dem Kundenverhalten basieren, werden möglicherweise nicht korrekt ausgelöst.

Diese Liste von Hypothesen bietet Ihnen eine Vielzahl von Themen, die Sie untersuchen können, um den Ursachen auf die Spur zu kommen. Als Nächstes sollten Sie sich überlegen, wie Sie diese Hypothesen mit den in Ihrem Analysetool verfügbaren Daten verifizieren können. 

Schritt 4: Überprüfen Sie Ihre Hypothesen mit Daten

Bevor ich in meine Analysedaten eintauche, lege ich zunächst einige Strategien fest, um meine Hypothesen mit den mir vorliegenden Daten zu überprüfen. In meinem Beispiel könnte das folgendermaßen aussehen:

1. Preiserhöhungen oder Inflationseffekte

  • Prüfen Sie, ob sich der Durchschnittspreis pro Produkt allgemein verändert hat. 
  • Prüfen Sie, ob sich der Durchschnittspreis pro Produkt innerhalb einer bestimmten Kategorie geändert hat. 
  • Prüfen Sie, ob sich die meistverkauften Produkte im Laufe der Zeit verändert haben. 

2. Fragen zum Produktsortiment und zur Verfügbarkeit

  • Prüfen Sie, ob die früher meistverkauften Produkte weniger gekauft wurden. → Falls ja, prüfen Sie, ob es ein Problem mit der Verfügbarkeit gibt (eventuell müssen Sie dies mit Hilfe von Drittanbietersystemen wie ERP überprüfen).

3. Änderungen der Werbestrategie

  • Prüfen Sie, ob der AOV- und UPT-Rückgang einem bestimmten Marketingkanal zugeschrieben werden kann. → Falls ja, prüfen Sie, ob das Ende bestimmter Kampagnen mit dem Rückgang von AOV und UPT zusammenfiel.

4. Fehler im Warenkorb und beim Checkout

  • Prüfen Sie zunächst auf der Website, ob es ein generelles Problem mit der Warenkorbfunktionalität gibt.
  • Überprüfen Sie auch die Daten, ob die Anzahl der hinzugefügten Produkte für bestimmte Produkte zurückgegangen ist. 
  • Überprüfen Sie die Zahlen und die Abbruchraten beim Checkout-Prozess und vergleichen Sie sie mit den Wochen vor dem Problem.

5. Personalisierungsalgorithmen funktionieren nicht richtig

  • Prüfen Sie die Analysedaten für Ihre Cross-Sell-Maßnahmen → gibt es Hinweise auf einen Fehler bei der Anzeige von Empfehlungsaktivitäten?
  • Falls nicht, überprüfen Sie die Website noch einmal, ob die Empfehlungen korrekt angezeigt werden.

Sobald Sie einen tieferen Blick in Ihre Daten werfen, ergeben sich natürlich neue Ideen und Richtungen, denen Sie nachgehen können. Vielleicht haben Sie Erfolg und können einige Ihrer Hypothesen überprüfen. Einige könnten sich aber auch als falsch herausstellen. So oder so werden Sie sich der Lösung Schritt für Schritt nähern.

Schritt 5: Dokumentieren Sie Ihre Ergebnisse

Eine weitere - wahrscheinlich sehr offensichtliche - Sache, die ich immer empfehlen würde, ist die Dokumentation Ihrer Vorgehensweise und aller Ihrer Ergebnisse. Einige Analysetools wie z.B. Adobe Analytics bieten Ihnen die Möglichkeit, Beschreibungen zu einzelnen Visualisierungen und Tabellen hinzuzufügen. Wenn diese Funktion nicht verfügbar ist, können Sie Confluence oder ein anderes Dokumentationswerkzeug für Ihre Notizen verwenden. Ich finde es immer sehr hilfreich, wenn ich meine Ergebnisse und die Schritte, die mich dorthin geführt haben, schriftlich festhalte, um sie am Ende zusammenfassen und präsentieren zu können. Auch für andere Personen, die Ihre Berichte verfolgen, ist es sehr nützlich, die Zahlen zu verstehen, die sie sehen. 

Am Ende kann diese Dokumentation natürlich eine großartige Quelle für die Erstellung einer abschließenden Zusammenfassung oder Präsentation darüber sein, was man gefunden hat und wie man es wieder beheben könnte. 

Schlussfolgerung

Abschließend kann ich sagen, dass die Fehlersuche bei Datenanomalien in einem Analysetool meiner Meinung nach einen strukturierten, hypothesengesteuerten Ansatz erfordert. Anstatt ziellos in die Rohdaten einzutauchen, führt das Definieren möglicher Ursachen und das systematische Testen dieser Ursachen zu einer schnelleren und genaueren Problemlösung.

Diese Methode spart nicht nur Zeit, sondern verhindert auch Fehlinterpretationen, die zu falschen Entscheidungen führen könnten. Darüber hinaus hilft sie Ihnen und Ihrem Team, eine proaktive Denkweise beizubehalten und sicherzustellen, dass Anomalien effizient angegangen werden, während gleichzeitig Erkenntnisse aufgedeckt werden, die die allgemeine Datenqualität und Strategie verbessern können.

Adobe Analytics
Google Analytics
Web Analytics