Wie messen wir die Performance?

Überblick über die Art und Weise, wie wir die Performance unserer Modelle messen.

Wir berechnen die Genauigkeit, indem wir die von unserer Verkehrszählungslösung ermittelten Zählungen mit einer manuell ermittelten Ground Truth (GT) vergleichen. Die Bereitstellung korrekter und realistischer Genauigkeitsmaße ist äußerst wichtig, weshalb wir uns größte Mühe geben, unsere GT-Daten zu erhalten.

Zudem stellen wir sicher, dass Szenen aus Leistungsmessungen niemals in unseren Schulungsdatensatz gelangen, um Übertraining und unrealistische Leistungsmessungen zu vermeiden, die in realen Anwendungsfällen nicht erreicht werden können.

Beispiel: Crossing Line und Virtual Door

Das folgende Beispiel beschreibt die Genauigkeit für Crossing Lines.

Matrix zur Genauigkeitsmessung für CL und VD.

Beispiel

Nehmen wir die folgenden Ergebnisse an:

• Szene 1 mit zwei Fehlern (1x verpasst, 1x zu viel gezählt)

• Szene 2 mit einem Fehler (1x verpasst)

Insgesamt liegen also drei Fehler vor sowie 16 Ground-Truth-Zählungen (5+3+3+5). Dies ergibt eine Genauigkeit von 16-3/16 = 81.25%.

Origin-Destination-Beispiel

Nachfolgend eine Berechnung für die Zählgenauigkeit für eine Origin-Destination-Analyse.

Matrix zur Genauigkeitsmessung für Origin-Destination.

• Szene 1 hat zwei Fehler (1x verpasst, 1x zu viel gezählt)

• Szene 2 hat einen Fehler (1x verpasst)

Insgesamt liegen also drei Fehler vor und 11 GT-Zählungen (5+3+3). Dies ergibt eine Genauigkeit von 11-3/11 = 72.72%.

ANPR-Beispiel

Für die automatische Nummernschilderkennung (ANPR) ist die Logik für die Genauigkeit dieselbe wie für das Überqueren von Counting Lines, allerdings mit zwei zusätzlichen Einschränkungen:

• Die Fahrzeugklasse wird nicht berücksichtigt

• Das im Event gesendete Kennzeichen wird verglichen und muss vollständig mit der GT übereinstimmen

Kennzeichen	GT	Modell	Ergebnis
	85BZHP	85BZHP	YES
	BNW525	BNW555	NO
	DY741WJ	DY741WJ	YES
	GU278MB	GU278MB	YES
	FW749XA	FW749XA	YES
	ERZM551	ERZM55	NO

Für dieses Beispiel erhalten wir eine Genauigkeit von 4/6*100% = 66%.

Für die Messung verwendete Geräte

Für unsere Performance-Messungen verwenden wir verschiedene Arten von Hardware, um eine stabile Version unserer Software zu gewährleisten. Erhalten wir unterschiedliche Ergebnisse in unserem Performance Lab, kommunizieren wir immer den geringsten Wert.

Zur besseren Erklärung: Untenstehend sehen Sie vier verschiedene Geräte sowie ein Beispiel für erzielte Ergebnisse. In diesem Fall würden wir demnach eine Genauigkeit von 90% veröffentlichen.

Gerät	Genauigkeit
P101	91%
Nvidia Jetson AGX	91%
Nvidia Jetson NX	91%
Nvidia GTX 1080	90%