Wie der Compliance-Score berechnet wird

Ein Website-Scan endet mit zwei Ergebnissen: einem technischen Score in Prozent und einem Urteil. Der Score sagt, wie viele Punkte die Website aus den Kriterien erreicht hat, die für sie gelten. Das Urteil sagt, ob das Audit ein Problem gefunden hat, das sich nicht übersehen lässt. Diese Anleitung erklärt, wie beides zustande kommt. Sie gilt für Website-Scans.

Was der Scanner misst

Der Scanner öffnet die Seite in einem Browser und hält fest, was passiert, bevor jemand den Consent-Banner anklickt. Dann stimmt er in einem Durchlauf zu, lehnt in einem anderen ab und lädt die Seite jedes Mal neu, um zu prüfen, ob die Entscheidung erhalten bleibt. Aus dem, was er dabei sieht, bewertet er die Kriterien dieser Tabelle:

Die Kriterienübersicht im Dashboard nennt die Kriterien auf Englisch; hier stehen sie auf Deutsch wie in der Tabelle. Die Gewichtung ist die Zahl der Punkte, die ein Kriterium beitragen kann. Eine Website braucht einen Consent-Banner, wenn sie einen anzeigt und dabei Tracking-Tools laufen, oder wenn ein Tracking-Tool schon vor der Einwilligung seine Server kontaktiert, auch wenn es nur sein Skript lädt. Die beiden Kriterien zu Google Consent Mode zählen nur, wenn der Scanner eines der Google-Tools findet.

Die meisten Kriterien sind entweder erfüllt oder nicht. Einige können einen Teil ihrer Punkte erreichen: etwa wenn sich die Einwilligung ablehnen lässt, aber erst in den Einstellungen des Banners, oder wenn der Banner nach der Zustimmung verschwindet, nach der Ablehnung aber stehen bleibt.

Das Kriterium „Kein Tracking vor der Einwilligung“ (im Dashboard „No Tracking Before Consent“) setzt sich aus dem zusammen, was die einzelnen Tools vor der Einwilligung getan haben. Die volle Punktzahl erreicht es nur, wenn kein Tool vor der Einwilligung etwas getan hat, das gegen es zählt. Ein Tool, das nur sein Skript geladen oder ohne Cookies gemessen hat, senkt es weniger als eines, das Besucher verfolgt hat. Was die Tools nach einer Ablehnung getan haben, zählt im Kriterium „Kein Tracking nach der Ablehnung“.

Warum die Basis nicht immer 100 Punkte ist

Ein Kriterium, das für die Website nicht gilt, zählt weder als erfüllt noch als nicht erfüllt. Es fällt weg. Der Score ist das Verhältnis der erreichten Punkte zu den Punkten, die aus den verbleibenden Kriterien möglich waren.

Beispiel (ausgedacht, keine echte Website): Ein Onlineshop hat einen Consent-Banner und Tracking-Tools, aber kein Google-Tool. Beide Consent-Mode-Kriterien fallen weg, es bleiben 75 Punkte. Die Website erfüllt alles außer „Keine Tracking-Cookies vor der Einwilligung“ (im Dashboard „No Tracking Cookies Before Consent“) und erreicht 65 Punkte. Der Score ist 65 / 75, im Dashboard 87 %.

Aus 100 Punkten gerechnet ergäbe das 65 %, und die Website verlöre Punkte für ein Tool, das sie gar nicht nutzt. Zählten die weggefallenen Kriterien als erfüllt, ergäbe es 90 %, und die Website bekäme Punkte für etwas, das niemand gemessen hat.

Daraus folgt eine praktische Sache: Der Score kann sich bewegen, obwohl am Banner niemand etwas geändert hat. Kommt etwa Google Analytics auf die Website, kommen auch die beiden Consent-Mode-Kriterien dazu, und die Basis wird größer.

Wie das Dashboard den Score zeigt

Der Score wird immer als ganze Zahl in Prozent angezeigt. Farbig sind nur seine Ziffern: ab 90 % grün, ab 50 % bernsteinfarben, unter 50 % rot. Bernstein heißt nicht „fast in Ordnung“. Auch ein solcher Score sagt, dass es etwas zu beheben gibt. Farbe und Stufe richten sich nach dem ungerundeten Score: 89,6 erscheint als 90 %, ist aber bernsteinfarben und hat Stufe B.

Neben der Zahl trägt das Urteil noch eine Zeile „Stufe“ mit einem Buchstaben, der nach dieser Tabelle aus derselben Zahl abgeleitet wird und nichts weiter aussagt:

Score und Urteil sind nicht dasselbe

Das Urteil in der Zeile „Werbebewertung“ kennt drei Zustände: „Konform“, „Warnung“ und „Nicht konform“. Es wird nicht aus dem Score abgeleitet, sondern aus dem, was das Audit gefunden hat:

• „Nicht konform“, wenn ein Tool nicht konform ist, ein Kriterium gar keine Punkte erreicht oder das Audit einen schwerwiegenden Befund findet;
• „Warnung“, wenn ein Tool eine Warnung hat, ein Kriterium nur einen Teil seiner Punkte erreicht oder das Audit einen weniger schwerwiegenden Befund findet;
• „Konform“ nur dann, wenn nichts davon zutrifft.

Eine Website kann also einen hohen Score haben und trotzdem nicht konform sein. Ein einziges gering gewichtetes Kriterium ohne Punkte genügt.

Die Tools im Tab „Tools“ bekommen dieselben drei Zustände. Entscheidend ist, was das Tool vor der Einwilligung und nach einer Ablehnung getan hat; es zählt das schlechtere von beiden. Bei einer Warnung oder Nichtkonformität sagt das Dashboard, warum, zum Beispiel:

• „Lädt sein Skript ohne Einwilligung; sendet keine Messdaten“ oder „Misst ohne Einwilligung im cookielosen Modus (überträgt die IP-Adresse)“ bei einer Warnung;
• „Verfolgt Besucher ohne Einwilligung (Cookie oder Besucher-ID)“ oder „Misst ohne Einwilligung; das Tool hat keinen cookielosen Modus“ bei Nichtkonformität.

Befunde und ihre Codes

Jeder Befund im Abschnitt „Verstöße“ trägt neben dem Titel einen Code. An ihm erkennen Sie denselben Befund auch in späteren Audits:

Wann es keinen Score gibt

Ein Audit, das nicht zu Ende läuft, hat keinen Score. In der Liste steht es dann mit dem Status „Keine Daten“, „Fehlgeschlagen“ oder „Abgebrochen“. „Abgebrochen“ heißt, dass das Audit vor seinem Ende gestoppt wurde, etwa weil sein Zeitplan abgeschaltet wurde. „Fehlgeschlagen“ heißt, dass es unterwegs gescheitert ist. Ein Audit mit „Keine Daten“ ist gelaufen, hat aber nichts Verlässliches gemessen; im Detail steht es mit der Überschrift „Dieses Audit hat kein Ergebnis“ und einem Satz dazu, was passiert ist:

• wir konnten die Seite bei unserem Besuch nicht laden;
• wir haben den Consent-Banner gefunden, konnten aber nicht zustimmen;
• wir konnten das Audit auf unserer Seite nicht abschließen.

Keinen Score gibt es auch, wenn das Audit nichts zu bewerten hat: Es hat weder ein Tool noch einen Banner gesehen, oder es konnte nicht feststellen, ob die Seite überhaupt einen Banner hat. Die übrigen Kriterien ergäben eine Zahl ohne Aussage, und die zeigen wir lieber nicht. Außer bei einem abgebrochenen Audit liegt die Arbeit in all diesen Fällen bei uns; von Ihrer Seite ist nichts zu tun.

Was der Score nicht ist

Der Score ist kein Rechtsgutachten und keine DSGVO-Zertifizierung. Er beschreibt, was den Browser verlassen hat, als der Scanner die Seite besucht hat: welche Tools sich gemeldet haben, welche Cookies gesetzt wurden und wie sich der Banner verhalten hat. Er bewertet nicht die Texte im Banner, die Datenschutzerklärung, die Rechtsgrundlage der Verarbeitung und auch nicht, was mit den Daten auf Servern geschieht. Er ist eine Messung, mit der sich ein Gespräch mit Ihrer Rechtsberatung oder Ihrem Datenschutzbeauftragten gut beginnen lässt. Ersetzen kann er dieses Gespräch nicht.