Wie messen wir die Performance?
Überblick über die Art und Weise, wie wir die Performance unserer Modelle messen.
Wir berechnen die Genauigkeit, indem wir die von unserer Verkehrszählungslösung ermittelten Zählungen mit einer manuell ermittelten Ground Truth (GT) vergleichen. Die Bereitstellung korrekter und realistischer Genauigkeitsmaße ist äußerst wichtig, weshalb wir uns größte Mühe geben, unsere GT-Daten zu erhalten.
Zudem stellen wir sicher, dass Szenen aus Leistungsmessungen niemals in unseren Schulungsdatensatz gelangen, um Übertraining und unrealistische Leistungsmessungen zu vermeiden, die in realen Anwendungsfällen nicht erreicht werden können.
Beispiel: Crossing Line und Virtual Door
Das folgende Beispiel beschreibt die Genauigkeit für Crossing Lines.
Beispiel
Nehmen wir die folgenden Ergebnisse an:
Szene 1 mit zwei Fehlern (1x verpasst, 1x zu viel gezählt)
Szene 2 mit einem Fehler (1x verpasst)
Insgesamt liegen also drei Fehler vor sowie 16 Ground-Truth-Zählungen (5+3+3+5). Dies ergibt eine Genauigkeit von 16-3/16 = 81.25%.
Origin-Destination-Beispiel
Nachfolgend eine Berechnung für die Zählgenauigkeit für eine Origin-Destination-Analyse.
Szene 1 hat zwei Fehler (1x verpasst, 1x zu viel gezählt)
Szene 2 hat einen Fehler (1x verpasst)
Insgesamt liegen also drei Fehler vor und 11 GT-Zählungen (5+3+3). Dies ergibt eine Genauigkeit von 11-3/11 = 72.72%.
ANPR-Beispiel
Für die automatische Nummernschilderkennung (ANPR) ist die Logik für die Genauigkeit dieselbe wie für das Überqueren von Counting Lines, allerdings mit zwei zusätzlichen Einschränkungen:
Die Fahrzeugklasse wird nicht berücksichtigt
Das im Event gesendete Kennzeichen wird verglichen und muss vollständig mit der GT übereinstimmen
| Kennzeichen | GT | Modell | Ergebnis |
|---|---|---|---|
85BZHP | 85BZHP | YES | |
BNW525 | BNW555 | NO | |
DY741WJ | DY741WJ | YES | |
GU278MB | GU278MB | YES | |
FW749XA | FW749XA | YES | |
ERZM551 | ERZM55 | NO |
Für dieses Beispiel erhalten wir eine Genauigkeit von 4/6*100% = 66%.
Für die Messung verwendete Geräte
Für unsere Performance-Messungen verwenden wir verschiedene Arten von Hardware, um eine stabile Version unserer Software zu gewährleisten. Erhalten wir unterschiedliche Ergebnisse in unserem Performance Lab, kommunizieren wir immer den geringsten Wert.
Zur besseren Erklärung: Untenstehend sehen Sie vier verschiedene Geräte sowie ein Beispiel für erzielte Ergebnisse. In diesem Fall würden wir demnach eine Genauigkeit von 90% veröffentlichen.
| Gerät | Genauigkeit |
|---|---|
P101 | 91% |
Nvidia Jetson AGX | 91% |
Nvidia Jetson NX | 91% |
Nvidia GTX 1080 | 90% |
Last updated
