KI in der Robotik 14. Mrz 2024 Von Martin Ciupek Lesezeit: ca. 2 Minuten

Humanoide Roboter: Figure AI zeigt natürliche Interaktion dank ChatGPT

Künstliche Intelligenz sorgt für einen Entwicklungsschub in der Robotik. Das jüngste Beispiel zeigt ein Anwendungsvideo des US-Herstellers, in dem der Roboter KI-Modelle von OpenAI verwendet.

PantherMedia B636947056
Sprachmodelle mit künstlicher Intelligenz (KI) führen in der Robotik zu großen Fortschritten bei der Interpretation menschlicher Bedürfnisse.
Foto: PantherMedia / mdisk2514@gmail.com

Plötzlich scheint es einen enormen Schub bei der Interaktion zwischen Menschen und Robotern zu geben. Neben längst etablierter Sensorik und Mikroelektronik ist das vor allem der Kombination mit generativer KI und Sprachmodellen wie ChatGPT zu verdanken. Jüngstes Beispiel ist ein am 13. März 2024 veröffentlichtes Video, das das Zusammenspiel eines humanoiden Roboters von Figure AI mit KI-Modellen von OpenAI zeigt. Auch wenn nicht genau erkennbar ist, wie lange dafür trainiert wurde, zeigt es, wohin die Reise geht. Laut Figure AI sind alle im Video gezeigten Verhaltensweisen erlernt und laufen mit der realen Geschwindigkeit ab. Der Roboter werde also nicht teleoperiert.

Hier wird Ihnen ein externer Inhalt von youtube.com angezeigt.
Mit der Nutzung des Inhalts stimmen Sie der Datenschutzerklärung von youtube.com zu.

Roboter unterscheidet Geschirr und Lebensmittel dank KI

Parallel zur Unterhaltung mit dem Menschen in natürlicher Sprache erledigt der Roboter Figure 01 dabei Aufgaben. Er erkennt die Gegenstände auf dem Tisch und reicht dem Mann auf Bitte um Essen den Apfel. Während der Roboter zusammengeknülltes Papier in einem Korb sortiert, erklärt er auf Nachfrage, warum er den Apfel und nicht das Geschirr angereicht hat. Anschließend sortiert er einen leeren Becher zum restlichen Geschirr im Trockenständer. Auch wenn Umgebungen im Alltag meist viel komplexer sind, scheinen solche Anwendungen in der Praxis damit deutlich schneller realisierbar als vor wenigen Jahren noch vermutet.

Lesetipp: IFR sieht 2024 fünf wesentliche Roboter-Trends

Mit dem „großen vortrainierten multimodalen Modell“ ergeben sich laut dem Hersteller neue Möglichkeiten. Der Roboter könne damit beispielsweise seine visuellen Eindrücke beschreiben, zukünftige Aktionen planen und „den gesunden Menschenverstand nutzen“. Er habe ein Gedächtnis, das ihn zum Nachdenken befähige und könne seine Überlegungen verbal erklären.

KI-Modell interpretiert Sprache und Bilder

Das Unternehmen spricht dabei von einem Vision-Sprachmodell (VLM): Die Bordkameras der Figure-Roboter speisten dazu Informationen in ein großes, von OpenAI trainiertes Bild-Sprach-Modell ein, das sowohl Bilder als auch Text verstehe. Dieses Modell verarbeite den gesamten Gesprächsverlauf – einschließlich zuvor erfasster Bilder. Daraus würden dann Antworten formuliert, die dem Menschen zurückgesprochen werden. „Dasselbe Modell ist für die Entscheidung verantwortlich, welches gelernte, geschlossene Verhalten der Roboter ausführen soll, um einen bestimmten Befehl auszuführen“, heißt es in einer Mitteilung von Figure.

Lesen Sie auch: BMW will humanoide Roboter in der Produktion einsetzen

Technisch beschreibt der Hersteller den Vorgang als „gelernte bimanuelle Manipulation auf niedriger Ebene“: Das Verhalten des Roboters wird durch visuelle und motorische (visuomotorische) Transformationsstrategien des neuronalen Netzes gesteuert, die Pixel direkt auf Aktionen abbilden. Demnach nehmen diese Netzwerke On-Board-Bilder des Roboters mit 10 Hz auf und erzeugen mit 200 Hz sogenannte 24-DOF-Aktionen, beispielsweise zur Steuerung von Handgelenkspositionen und Fingergelenkwinkel.

Themen im Artikel

Ein Beitrag von:

Stellenangebote

Staatliches Baumanagement Weser-Leine

Fachbereichsleitung Ingenieurbau (m/w/d)

Nienburg, Wunstorf
HAMM AG

Konstrukteur für mobile Arbeitsmaschinen (m/w/d)

Tirschenreuth
Hochschule für Technik und Wirtschaft des Saarlandes

W2-Professur (m/w/d) für Fahrzeugtechnik - Fahrdynamik und Fahrwerke

Saarbrücken
Bundesamt für Bauwesen und Raumordnung (BBR)

Ingenieurinnen und Ingenieure (w/m/d) der Elektrotechnik bzw. Informationstechnik für Kulturbauten und das RKI

Berlin
Staatliches Baumanagement Lüneburger Heide

Baugruppenleitung (m/w/d)

Celle
MAX-DELBRÜCK-CENTRUM FÜR MOLEKULARE MEDIZIN

Fachkraft für Arbeitssicherheit (m/w/d) bei der Stabsstelle Sicherheit

Berlin
Bundesanstalt für Materialforschung und -prüfung

Technische*r Mitarbeiter*in bzw. Ingenieur*in (m/w/d) in einer ingenieurwissenschaftlichen Fachrichtung mit dem Schwerpunkt Elektronik/Mikroelektronik oder vergleichbar

Berlin-Steglitz
Polizei Berlin

Technische Sachbearbeiterin / Technischer Sachbearbeiter Kommunikationstechnik (w/m/d) (TSB/in Telekommunikationstechnik)

Berlin
Forschungszentrum Jülich GmbH

Direktor (w/m/d) für das Institute of Climate and Energy Systems (ICE-2) Forschungszentrum Jülich / W3-Universitätsprofessur Techno-ökonomische Bewertung von Energiesystemen RWTH Aachen - Fakultät für Maschinenwesen

Jülich
Technische Hochschule Mittelhessen

W2-Professur mit dem Fachgebiet Material- und Fertigungstechnologie Metallischer Werkstoffe

Friedberg
Zur Jobbörse

Das könnte Sie auch interessieren

Empfehlungen des Verlags

Meistgelesen