Eindruckvolles Video der TUM 30. Apr 2024 Von Martin Ciupek Lesezeit: ca. 3 Minuten

Generative KI erstellt Choreografien für fliegende Roboter

Schwärme von Drohnen zu Musik fliegen zu lassen, soll künftig einfacher werden. Forschende der TUM haben dazu eine Lösung mit ChatGPT entwickelt, die Vorschläge für Choreografien macht und die Geräte sicher steuert.

Angela P. Schoellig entwickelt mit Ihrem Team an der Technischen Universität München Lösungen, die mehrere Drohnen sicher nach von ChatGPT vorgeschlagenen Choreografien fliegen lassen. Sie ist Leiterin des Lehrstuhls für Sicherheit, Performanz und Zuverlaessigkeit für lernende Systeme an der TUM.
Foto: Astrid Eckert / TU Muenchen

Drohnen-Shows zaubern immer öfter anstelle von Feuerwerken bunte Bilder in die Nachthimmel auf aller Welt. Schwärme der fliegenden Roboter folgen dann meist im Takt einer begleitenden Musikshow der vorgegeben Choreografie. Oft sind die Bewegungsmuster der Schwärme dabei sehr aufwendig inszeniert und müssen zeitaufwendig erstellt werden. Das soll sich mithilfe generativer KI jetzt ändern. Forschende an der Technischen Universität München (TUM) sprechen deshalb von SwarmGPT.

Entwickelt wird die Lösung im Labor von Angela Schoellig. Die Professorin ist Leiterin des Lehrstuhls für Sicherheit, Performanz und Zuverlässigkeit für lernende Systeme der TUM und zudem Direktorin im Munich Institute of Robotics and Machine Intelligence (MIRMI). Ihr Team setzt ChatGPT ein, um Choreografien für Drohnenschwärme passend zur jeweiligen Musik zu entwickeln. Ein zusätzlicher Sicherheitsfilter verhindert, dass die Flugroboter in der Luft zusammenstoßen. Damit beweisen die Forschenden, dass Large Language Models (LLMs) wie ChatGPT in der Robotik grundsätzlich zum Einsatz kommen können.

Wie werden die Shows mit fliegenden Robotern erstellt?

Bei der Lösung der TUM erfolgt das über eine grafische Bedienoberfläche: Zunächst wird darüber ein Musiktitel ausgewählt. Anschließend wird das System per Texteingabe dazu aufgefordert, dazu eine Choreografie vorzuschlagen. Prompts heißen solche Anweisungen. Über einen weiteren Prompt im ChatGPT-Tool werden dann zusätzliche Anweisungen an den Drohnenschwarm geben, ehe ein Algorithmus überprüft, ob diese Flugbahnen machbar sind. Auf dem Bildschirm im Labor (Learning Systems and Robotics Lab) ist dann ein simuliertes Flugfeld zu erkennen, auf dem sechs Drohnen im Kreis fliegen, passend zur Musik. Gefällt die Choreografie der Person am Bediengerät, loggt sie sich erneut im System ein und wenig später heben sechs handtellergroße Drohnen vom Boden des Robotik-Labs ab.

Das Labor besitzt eine Grundfläche von 40 m² und ist 3 m hoch. Sechs an der Decke angebrachte Kameras überwachen die fliegenden Roboter.

Zur Orientierung sind auf dem Boden mit Isolierband Kreuze markiert. Sie kennzeichnen die Startpositionen der Drohnen. Hat der Rechner nun die Choreografie verifiziert, kann der Flug beginnen. 200-mal pro Sekunde detektieren die Kameras die Position der mit vier Propellern und Motoren ausgestatteten Quadrocopter. Das System gleicht sie mit der erwünschten Position ab.

So werden die mit ChatGPT generierten Dohnen-Shows sicher

Im Learning Systems and Robotics Lab sind die Flugshows, die mit bis zu neun Drohnen realisiert werden, heute nach Aussagen der Forschungsteams zu 100 % sicher. Ohne den speziellen Sicherheitsfilter gehe dagegen nur jede vierte Flugshow unfallfrei über die Bühne. Für ihren „Tanz der Flugroboter“ hat Lehrstuhlleiterin Schoellig deshalb ChatGPT mit dem Sicherheitsfilter kombiniert. „Das KI-Tool ChatGPT wurde primär dafür geschaffen, um Texte zu generieren, doch es kann auch Choreografien vorschlagen“, sagt die Professorin. „Allerdings weiß es zunächst nichts über die Eigenschaften von Drohnen und über physikalische Grenzen für die Flugbahnen. Klar ist also, dass ChatGPT Fehler macht“, erklärt sie.

Diese Lücke schließt nun der zusätzliche Sicherheitsalgorithmus, indem er die Flugbahnen für die vorgeschlagene Choreografie exakt so umplant, dass die Drohnen in der Luft nicht miteinander kollidieren. Selbst ein diagonaler Flug zweier sich entgegenkommender Drohnen könne damit sicher umgesetzt werden. Das für den Einsatz von mehreren Flugrobotern konzipierte Gesamtkonzept aus ChatGPT und Sicherheitsfilter nennt Schoellig SwarmGPT. Das Tool generiert einerseits die Abläufe in der Luft und dient andererseits als Schnittstelle zwischen Roboter und Mensch, der keinerlei Expertenwissen benötigt. Das zeigt die Forschungsgruppe auch in einem Video:

 

Welchen Quantensprung bewirkt ChatGPT für die Robotik?

Welche Erleichterungen generative KI für solche Flugshows bewirkt, wird in einer kleinen Zeitreise deutlich: Als Angela Schoellig vor knapp 15 Jahren mit ihrer Forschung an Drohnen begann, wurden Choreografien manuell entwickelt. Bis die ersten sechs Choreografien für die sechs Drohnen entwickelt waren und funktionierten, vergingen mehr als drei Jahre. „ChatGPT hat hier einen Quantensprung bewirkt“, zeigt sie sich heute überzeugt. In den letzten drei Monaten experimentierten die Forschenden mit über 30 Choreografien für bis zu neun Drohnen. Um heute eine sichere Choreografie für einzelne etwa 30 s lange Musikclips mit drei Drohnen zu entwickeln, benötigen die Forschenden gerade einmal etwa 5 min. Je mehr Drohnen hinzukommen, umso länger muss ChatGPT rechnen – entsprechend länger dauert der Vorschlag für eine Choreografie. Das ist für Shows mit größeren Schwärmen ein Thema. Doch: „Das Konzept ist skalierbar“, sagt die Professorin.

Stellt sich die Frage, ob mit einer solchen ChatGPT-Schnittstelle künftig auch andere Roboter einfacher bedient werden können. Laut den Forschenden liegt die Erfolgsrate für Roboter, die über Sprachsteuerung Dinge greifen, bisher nur bei 63 %. Beim Verlegen von Kabel seien es 56 % und beim Öffnen von Türen 80 %. Auf den Einsatz in anderen Robotikszenarien sei also bis jetzt eher wenig Verlass. Dennoch sieht Schoellig hier großes Potenzial: „Ich gehe davon aus, dass unser Ansatz auch mit anderen Szenarien immer besser funktionieren wird.“ Saug- und industrielle Roboter könnten sich demnächst womöglich einfach durch Sprachanweisung umprogrammieren lassen, ohne Experten- und Programmierwissen.

Ein Beitrag von:

Stellenangebote

Brandenburgischer Landesbetrieb für Liegenschaften und Bauen

Fachingenieure/innen (w/m/d) für Architektur oder Bauingenieurwesen, Schwerpunkt Hochbau

Potsdam
Brandenburgischer Landesbetrieb für Liegenschaften und Bauen

Fachingenieur/in (w/m/d) für Gebäude-, Energie- und Versorgungstechnik

Cottbus, Potsdam
Brandenburgischer Landesbetrieb für Liegenschaften und Bauen

Fachingenieure/innen (w/m/d) für Elektrotechnik

Cottbus, Potsdam
Brandenburgischer Landesbetrieb für Liegenschaften und Bauen

Sachbearbeiter/in für Gebäude- und Energietechnik (m/w/d) im Geschäftsbereich Baumanagement Bund

Frankfurt (Oder)
Brandenburgischer Landesbetrieb für Liegenschaften und Bauen

Sachbearbeiter/in für Gebäude-, Energie- und Versorgungstechnik (m/w/d) im Geschäftsbereich Baumanagement Bund

Potsdam
Westfälische Hochschule

Professur Wechselstromtechnik und elektrische Energieversorgung (W2)

Gelsenkirchen
Westfälische Hochschule

Professur Leistungselektronik und Elektrische Maschinen (W2)

Gelsenkirchen
Friedrich-Alexander-Universität Erlangen-Nürnberg

W1-Professur für Maschinenelemente im Kontext der Elektromobilität (Tenure Track)

Erlangen
ESTW-Erlanger Stadtwerke AG

Prokurist / Bereichsleiter (m/w/d) Produktion und technische Dienstleistungen für eine klimaneutrale Energieerzeugung der Zukunft

Erlangen
Technische Hochschule Mittelhessen

W2-Professur mit dem Fachgebiet Biomedizinische Elektronik

Gießen
Zur Jobbörse

Das könnte Sie auch interessieren

Empfehlungen des Verlags

Meistgelesen aus der Kategorie Automation