Reference / Literaturverweis [Bre21b]

Altnickel, P., Catalkaya, T., Bredereke, J. und andere:
Gesten- und Objekterkennung durch schwache FPGAs in autonomen Fahrzeugen mittels neuronaler Netze.
Technical Report. City University of Applied Sciences Bremen, Germany (Sep. 2021).

Abstract / Zusammenfassung

Künstliche neuronale Netze versprechen Problemstellungen, die mit manuell programmierter Software nur schwer bewältigbar sind, effizienter und genauer zu lösen. Besonders in einem Teilgebiet der Bildverarbeitung, der Objekterkennung in Bildern, wurden in den letzten Jahren Ergebnisse erreicht, die klassische Bildsegmentierungsmethoden in den Schatten stellen. Zur Objekterkennung werden größtenteils gefaltete Netze verwendet, deren Verarbeitung sehr aufwendig, aber auch sehr parallelisierbar, ist. Diese Parallelität kann besonders mit speziell entwickelter Hardware ausgenutzt werden. Hier bieten sich FPGAs durch ihre Rekonfigurierbarkeit, Effizienz und Verfügbarkeit für spezielle Bereiche, wie dem Weltraum, an. Ein Framework, welches vom Potential neuronaler Netze auf FPGAs Gebrauch macht, ist das FINN. Diese Projektarbeit verwendete das genannte Framework, um auf einem Digilent PYNQ-Z1 mit Zynq SoC einen reellen Anwendungsfall umzusetzen. Hier wurde ein mit einer Kamera ausgestattetes autonomes Modellfahrzeug gewählt, welches zwei Aufgaben bewältigen soll: Personenverfolgung durch Lokalisierung im Bild und Gestenerkennung zum Starten/Stoppen des Fahrzeuges. Zu diesem Zwecke wurde ein eigener Datensatz mit drei unterschiedlichen Gesten entwickelt und mit einem angepassten Netz der FINN-Forschungsgruppe trainiert und folgend in eine Hardwareschaltung für das FPGA umgewandelt. Auf der CPU des SoC wurde eine Anwendung entwickelt, die Bilddaten einer USB-Kamera vorbereitet und das Netz auf dem FPGA entsprechend ansteuert. Die Umsetzung vom Datensatz bis zur Ausführung auf der Hardware wurde erfolgreich bewältigt und hat in der Evaluation erste vielversprechende Ergebnisse gezeigt. Mit der erreichten Genauigkeit des Netzes lassen sich Gesten auch mit reellen Bilddaten einer Kamera grundsätzlich unterscheiden, sodass eine Basis für weitere Verbesserungen in der Fortführung des Projektes geschaffen werden konnte.

Full Text / Volltext

PDF (33 MB)

Source Code / Quelltexte

Please just ask me for a ZIP file with the source code, if you need it. / Bei Bedarf fragen Sie mich bitte einfach nach einer ZIP-Datei mit den Quelltexten.