Wie messen wir die Performance?
Überblick über die Art und Weise, wie wir die Performance unserer Modelle messen.
Last updated
Überblick über die Art und Weise, wie wir die Performance unserer Modelle messen.
Last updated
Wir berechnen die Genauigkeit, indem wir die von unserer Verkehrszählungslösung ermittelten Zählungen mit einer manuell ermittelten Ground Truth (GT) vergleichen. Die Bereitstellung korrekter und realistischer Genauigkeitsmaße ist äußerst wichtig, weshalb wir uns größte Mühe geben, unsere GT-Daten zu erhalten.
Zudem stellen wir sicher, dass Szenen aus Leistungsmessungen niemals in unseren Schulungsdatensatz gelangen, um Übertraining und unrealistische Leistungsmessungen zu vermeiden, die in realen Anwendungsfällen nicht erreicht werden können.
Das folgende Beispiel beschreibt die Genauigkeit für Crossing Lines.
Nehmen wir die folgenden Ergebnisse an:
Szene 1 mit zwei Fehlern (1x verpasst, 1x zu viel gezählt)
Szene 2 mit einem Fehler (1x verpasst)
Insgesamt liegen also drei Fehler vor sowie 16 Ground-Truth-Zählungen (5+3+3+5). Dies ergibt eine Genauigkeit von 16-3/16 = 81.25%.
Nachfolgend eine Berechnung für die Zählgenauigkeit für eine Origin-Destination-Analyse.
Szene 1 hat zwei Fehler (1x verpasst, 1x zu viel gezählt)
Szene 2 hat einen Fehler (1x verpasst)
Insgesamt liegen also drei Fehler vor und 11 GT-Zählungen (5+3+3). Dies ergibt eine Genauigkeit von 11-3/11 = 72.72%.
Für die automatische Nummernschilderkennung (ANPR) ist die Logik für die Genauigkeit dieselbe wie für das Überqueren von Counting Lines, allerdings mit zwei zusätzlichen Einschränkungen:
Die Fahrzeugklasse wird nicht berücksichtigt
Das im Event gesendete Kennzeichen wird verglichen und muss vollständig mit der GT übereinstimmen
85BZHP
85BZHP
YES
BNW525
BNW555
NO
DY741WJ
DY741WJ
YES
GU278MB
GU278MB
YES
FW749XA
FW749XA
YES
ERZM551
ERZM55
NO
Für dieses Beispiel erhalten wir eine Genauigkeit von 4/6*100% = 66%.
Für unsere Performance-Messungen verwenden wir verschiedene Arten von Hardware, um eine stabile Version unserer Software zu gewährleisten. Erhalten wir unterschiedliche Ergebnisse in unserem Performance Lab, kommunizieren wir immer den geringsten Wert.
Zur besseren Erklärung: Untenstehend sehen Sie vier verschiedene Geräte sowie ein Beispiel für erzielte Ergebnisse. In diesem Fall würden wir demnach eine Genauigkeit von 90% veröffentlichen.
P101
91%
Nvidia Jetson AGX
91%
Nvidia Jetson NX
91%
Nvidia GTX 1080
90%
