Glossar / Begriff
Nennungsquote
Die Nennungsquote ist der Anteil der Antworten von KI-Assistenten auf ein festgelegtes Set relevanter Fragen, in denen ein bestimmtes Unternehmen genannt wird.
Die Nennungsquote ist eine Messgrösse, die wir für KI-Sichtbarkeit verwenden. Es gibt dafür keine anerkannte Norm; andere Anbieter sprechen von «Mention Rate», «Visibility Score» oder «Brand Presence» und meinen damit teils dasselbe, teils etwas anderes. Die Definition oben ist unsere Arbeitsdefinition, die Berechnung legen wir hier offen.
Berechnung
- Fragenset festlegen. Gemeinsam mit dem Unternehmen werden Fragen formuliert, die echte Kaufentscheidungen abbilden, zum Beispiel «Welche Hausverwaltung in Winterthur betreut auch Stockwerkeigentum?». Fragen nach dem eigenen Firmennamen gehören nicht dazu, weil sie fast immer eine Nennung erzeugen.
- Wiederholt abfragen. Jede Frage wird mehrfach an jeden untersuchten Assistenten gestellt, in den relevanten Sprachen und, wo möglich, mit Schweizer Standort.
- Auszählen. Für jede Antwort wird erfasst, ob das Unternehmen genannt wird.
- Quote bilden. Die Nennungsquote ist die Zahl der Antworten mit Nennung geteilt durch die Zahl aller Antworten.
Wird ein Unternehmen in 18 von 60 Antworten genannt, beträgt die Nennungsquote 30 Prozent.
Warum Wiederholung nötig ist
Sprachmodelle erzeugen Antworten mit einem Zufallsanteil. Dieselbe Frage kann bei zwei aufeinanderfolgenden Abfragen unterschiedliche Anbieter hervorbringen. Eine einzelne Abfrage sagt deshalb wenig. Erst wiederholte Abfragen erlauben, eine Quote mit einer Bandbreite anzugeben, und erst Bandbreiten zeigen, ob eine Veränderung von einem Monat zum nächsten echt ist oder im Rauschen liegt.
Aufschlüsselung
Eine Gesamtquote verdeckt oft das Wichtigste. Sinnvoll ist eine Aufschlüsselung nach Assistent, nach Sprache, nach Thema der Frage und danach, ob der Assistent mit oder ohne Websuche geantwortet hat. So wird sichtbar, ob ein Unternehmen etwa in Antworten mit Websuche genannt wird, im reinen Modellwissen aber fehlt.
Was die Quote nicht misst
Die Nennungsquote sagt nichts darüber, ob die Nennung zutreffend ist. Eine Antwort, die ein Unternehmen mit falschem Angebot oder veraltetem Standort nennt, zählt als Nennung. Deshalb wird jede Nennung zusätzlich auf Richtigkeit geprüft. Ob die eigene Website verlinkt wird, misst der Zitationsanteil.
Was das für ein Schweizer Unternehmen bedeutet
Für ein Schweizer Unternehmen ist die Nennungsquote die einfachste Antwort auf die Frage, ob KI-Assistenten es überhaupt kennen, wenn Kundinnen nach seiner Leistung fragen. Aussagekräftig wird sie im Verlauf: Substanzielle Veränderungen zeigen sich nach unserer Erfahrung erst über mehrere Monate.