Reference / Literaturverweis [Bre22a]

Altnickel, P., Cansu, F., Sastim, I., Steffen, J., Uhlenbrock, M., Bredereke, J.:
Personenerkennung durch schwache FPGAs in autonomen Fahrzeugen mittels Neuronaler Netze.
Technical Report. City University of Applied Sciences Bremen, Germany (Mar. 2022).

Abstract / Zusammenfassung

Künstliche Neuronale Netze erweisen sich zunehmend als geeigneter um Aufgaben zu bewältigen, die bei einer Lösung durch herkömmliche Software mit großen Aufwand verbunden sind. Um Objekterkennung umzusetzen erweisen sich gefaltete Netze als besonders geeigneter Ansatz. Diese verarbeiten Informationen hoch parallel, was auf schwacher aber auf parallele Ausführung spezialisierter Hardware genutzt werden kann. Um von diese Eigenschaft zu profitieren, können Neuronale Netze mit Hilfe des FINN-Frameworks auf FPGAs einprogrammiert werden. In dieser Projektarbeit soll Personenerkennung mit einem Neuronalen Netz auf einem Digilent PYNQ-Z1 mit Zynq SoC implementiert werden. Die Erkennung wird für ein Verfolgungsszenario mit einem autonomen Fahrzeug verwendet. Dabei wird die Person in einem von einer im Fahrzeug integrierten Kamera aufgenommenen Bild in Echtzeit lokalisiert. Für das Training des Neuronalen Netzes wird ein auf dem COCO-Datensatz basierender Subdatensatz erstellt. Das trainierte Netz kann mittels des FINN-Frameworks auf dem FPGA des autonomen Fahrzeugs installiert werden. Die Fahrzeugsteuerung zum Verfolgen einer Person anhand der Lokalisierung der Person im Bild ist ebenfalls im Rahmen dieses Projektes umgesetzt worden. Die Ergebnisse der Evaluation zeigen, dass sich die Personenerkennung und -verfolgung mit den gewählten Mitteln umsetzen lässt. Allerdings kann auch die Steuerung des Fahrzeugs durch eine Gestenerkennung erweitert werden und die Perfomance des Systems noch weiter verbessert werden.

Full Text / Volltext

PDF (4 MB)

Source Code / Quelltexte

Please just ask me for a ZIP file with the source code, if you need it. / Bei Bedarf fragen Sie mich bitte einfach nach einer ZIP-Datei mit den Quelltexten.