Testkriterien

KritischKritisch – die Anwendung ist nicht benutzbar oder der Zugang funktioniert nicht.

SchwerSchwer – die Anwendung läuft, hat aber einen deutlichen Mangel.

LeichtLeicht – ein Hinweis oder eine Kleinigkeit, die den Betrieb nicht stört.

In OrdnungIn Ordnung – das Kriterium ist erfüllt.

Rot – mindestens ein kritischer Befund. Löst sofort eine Alarm-Nachricht aus.

Gelb – mindestens ein schwerer Befund, kein kritischer.

Grün – keine kritischen oder schweren Befunde, auch wenn leichte Hinweise dabei sind.

Antwortet die Startseite, und mit welchem Status?

KritischKeine Antwort, Zeitüberschreitung oder Server-Fehler (5xx).

SchwerSeite antwortet mit einer Fehlermeldung (4xx).

In OrdnungSeite ist erreichbar.

Wie lange dauert es, bis die Startseite vollständig angekommen ist?

SchwerÜber 4000 ms.

LeichtZwischen 2000 und 4000 ms.

In OrdnungUnter 2000 ms.

Der Anfang der Seite wird nach typischen Fehlermeldungen durchsucht („Application error", „502 Bad Gateway", „503 Service", „Page not found").

KritischEine solche Meldung steht dort – Besucher sehen keine Anwendung.

Das Hauptskript der Seite wird zusätzlich gesondert geladen. Bleibt es aus, sehen Besucher eine leere Seite – auch wenn die Adresse selbst erreichbar war.

KritischSkript lädt nicht oder ist nicht erreichbar.

Ist die Seite für Mobilgeräte aufgebaut? Gefehlt wird das viewport-Merkmal geprüft.

Schwerviewport fehlt – auf Mobilgeräten nicht brauchbar.

LeichtDie Registerkarte zeigt keinen Text, weil ein Seitentitel fehlt.

LeichtDie Sprache der Seite ist nicht angegeben – Vorleseprogramme für Sehbehinderte können das nicht berücksichtigen.

LeichtDie Kurzbeschreibung der Seite fehlt; Suchmaschinen zeigen dann einen willkürlichen Textausschnitt.

SchwerDie Anwendung ist über eine unverschlüsselte Adresse erreichbar – Eingaben wie Passwörter sind auf dem Weg mitlesbar.

LeichtDie Anwendung sagt Browsern nicht, dass sie künftig nur verschlüsselt aufgerufen werden soll.

Der Gesundheits-Endpunkt des Backends wird aufgerufen und gemessen.

KritischBackend meldet einen Fehler oder ist nicht erreichbar.

SchwerBackend antwortet sehr langsam.

In OrdnungBackend antwortet schnell.

LeichtEs sind keine Backend-Adresse und kein Schlüssel hinterlegt – der Hinweis ist keine Bewertung eines Fehlers.

Die hinterlegte Login-Adresse wird aufgerufen.

SchwerDie Login-Seite antwortet mit einem Fehler oder ist nicht erreichbar.

In OrdnungLogin-Seite ist erreichbar.

Mit den hinterlegten Zugangsdaten wird ein echter Anmeldeversuch am Backend ausgeführt. Nötig sind Backend-Adresse, öffentlicher Schlüssel und Zugangsdaten.

KritischAnmeldung wird abgelehnt oder ist nicht durchführbar.

In OrdnungAnmeldung erfolgreich.

LeichtEs sind keine Zugangsdaten hinterlegt, sodass diese Prüfung ausfällt.

Der Browser meldet sich mit den hinterlegten Zugangsdaten an und prüft anschließend, ob der geschützte Bereich erreicht ist.

KritischAnmeldung fehlgeschlagen. Der Bericht nennt die Zielseite und – falls vorhanden – die Meldung der Anwendung selbst.

In OrdnungAnmeldung erfolgreich.

Rutscht der Test auf eine fremde Anmeldeseite (etwa Google oder Apple) statt auf den E-Mail/Passwort-Login, ist das kein Passwortfehler, sondern ein Problem der Test-Einstellung.

SchwerTest landet bei einer externen Anmeldung – Login-Adresse oder Anmeldeart prüfen.

Alle Fehlermeldungen, die der Browser während des Tests anzeigt, einschließlich „Datei nicht gefunden (404)".

SchwerMindestens ein Konsolen-Fehler – der Bericht zeigt den ersten mit der genauen Adresse.

Aufrufe, die der Browser nicht zu Ende führen konnte oder die vom Server mit einem Server-Fehler beantwortet wurden.

LeichtMindestens ein fehlgeschlagener Aufruf.

LeichtUI-Test ist eingeschaltet, aber Zugangsdaten oder Login-Adresse fehlen – die Prüfung kann dann nicht laufen.

Automatisch einmal pro Woche, montags um 07:00 Uhr (deutsche Zeit). Zusätzlich jederzeit von Hand über „Jetzt prüfen", „Prüfen & Bericht senden" oder „Einzeln prüfen".

Die Ampel erscheint auf der Übersichtsseite. Der vollständige Bericht mit allen Kriterien ist unter „Berichte" zu jedem Testlauf geöffnet und ausgedruckt werden. Der Wochenbericht geht per E-Mail an die eingetragene Adresse. Ein sofortiger Alarm bei einer roten Ampel per SMS ist vorgesehen, aber derzeit deaktiviert – dieses Feature wird zu einem späteren Zeitpunkt wieder aktiviert.

Eine Anwendung ist rot, sobald auch nur ein Kriterium kritisch ist. Ohne kritischen Befund ist sie gelb, sobald ein Kriterium schwer ist. Alles andere bleibt grün.