München – Forschende der Technischen Universität München (TUM) und von der BMW Group haben Sensordaten aus Fahrzeugen, von Ampeln und Schilderbrücken so zusammengeführt, dass sich daraus konkrete Verkehrsempfehlungen ableiten lassen. In weniger als 100 Millisekunden erstellt das KI-System ein digitales Lagebild und leitet daraus Empfehlungen ab.
Wenn das BMW-Testfahrzeug sich der Kreuzung nähert, hat die künstliche Intelligenz bereits alle Informationen von relevanten Sensoren eingesammelt, die sich in der Nähe befinden. Das sind zum einen Infrastruktur-Sensoren, die an den Schilderbrücken einer Kreuzung angebracht sind, sowie Kameras, Radare und ein Lidar auf dem Dach des Testfahrzeugs. Der Bildschirm im Fahrzeug zeigt sämtliche Verkehrsteilnehmer, die sich von rechts und links, sowie von vorne und hinten auf die Kreuzung zubewegen, auf bis zehn Zentimeter genau. Und die KI prognostiziert permanent, wo sich die Autos, Fahrräder und Fußgänger hinbewegen werden.
Der Vorteil eines digitalen Echtzeitabbilds des Verkehrs ist klar: „Der Autofahrer sieht nun auch in sonst verdeckte Bereiche und kann bei möglichen Gefahren schneller reagieren oder gewarnt werden“, erläutert Professor Alois Knoll, Leiter des Lehrstuhls für Robotik, künstliche Intelligenz und Echtzeitsysteme der TUM. Moderne Fahrzeuge können zwar bereits hochkomplexe Situationen gut meistern. Es gibt allerdings Grenzen, wenn etwa Kinder hinter einem Auto auf die Straße laufen oder Radfahrer um die Ecke gefahren kommen. Oder wenn sich ein Unfall auf der Autobahn ereignet. „Unsere Kooperation mit der TUM zeigt sehr gut, wie Forschung und Industrie gegenseitig voneinander profitieren und technologische Potenziale gemeinsam untersucht werden können“, sagt Ralph Raßhofer, Cluster Product Owner im Bereich Automated Driving bei der BMW Group.
KI führt verfügbare Sensordaten zusammen
Dass eine deutlich über die Wahrnehmung der Fahrzeugsensorik hinausgehende „Echtzeitdarstellung“ des Verkehrs möglich ist, liegt an einer extrem leistungsfähigen künstlichen Intelligenz. Sie wertet alle verfügbaren Sensoren aus Fahrzeugen, Schilderbrücken und Ampeln an, und fusioniert diese – unter anderem auf Basis der aktuellen Umweltsituation und von Datenbankinformationen. Anschließend entscheidet sie, ob die jeweiligen Messdaten in den durchgehend auf den neuesten Stand gebrachten „digitalen Zwilling“ der Verkehrssituation eingebracht werden sollen. „Wenn ein Sensor verdeckt, verdreckt, dekalibriert oder anderweitig in seiner Leistung gemindert ist, wird er im Gesamtsystem nicht berücksichtigt“, erläutert Prof. Knoll.
Neben den enormen Datenmengen, die gleichzeitig kommuniziert und verarbeitet werden müssen, besteht die Herausforderung darin, die verschiedenen Perspektiven zu vereinigen. Die Sensoren betrachten den Verkehr aus unterschiedlichen Blickwinkeln, messen mit unterschiedlichen Taktraten und die Fahrzeugsensoren bewegen sich mit unterschiedlicher Geschwindigkeit fort.
„Trotzdem ist es möglich, auch indem wir die Bewegungen ständig vorhersagen, sämtliche Sensorinformationen miteinander zu verbinden und in ein ‚Gesamtmodell‘ zu übertragen, das sich im 100-Millisekundentakt ändert“, erläutert TUM-Forscher Kuo-Yi Chao.
Baustellen als Anwendungsszenario
Ein besonderes Potenzial für künftige Anwendungen bietet die Technologie für Baustellen. Zwar haben Fahrzeuge oft bereits präzise Karten an Bord, allerdings sind sie nicht immer aktuell. An Baustellen ändert sich häufig die Verkehrsführung. Hier kann z.B. eine Kamera unterstützen, die an einer Ampel oder auf einem Mast angebracht ist. Sie bringt eine neue Perspektive auf die Baustelle – und über den digitalen Zwilling ins Auto. Für diese Neukartierung für Baustellen und einen neuen Ansatz zur Datenfusion in verteilten Systemen haben die Forschenden bereits Patente eingereicht.
