論文の概要: From Language to Drives: A Multimodal Framework for Aligning Autonomous Robots with Human Purposes

• arxiv url: http://arxiv.org/abs/2610.35629v1
• Date: Mon, 26 Oct 2026 15:40:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:14.057999
• Title: From Language to Drives: A Multimodal Framework for Aligning Autonomous Robots with Human Purposes
• Title（参考訳）: 言語からドライブへ:人間目的の自律ロボットを適応させるマルチモーダルフレームワーク
• Abstract要約: 提案手法では,LLM や VLM に含まれる一般知識と文化知識を活用し,多モード対話型アライメントプロセスを確立する。 システムはセマンティックアライメント、ミッション生成、ドライブモデリングの3つのレイヤで構成されている。 シミュレーションおよび物理ロボットによる実験は、このプロセスが有効なミッションと行動を生成することを示す。
• 参考スコア（独自算出の注目度）: 41.99844472131922
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work explores a multimodal approach to the alignment of the behavior of open-ended learning autonomous robots with human purposes through the use of large language models as cultural enablers. While autonomous robots can generate their own skills and goals through interaction with the environment, they often lack mechanisms to ensure that these remain relevant and aligned to those of human users. The proposed approach makes use of the general and cultural knowledge contained in LLMs and VLMs to establish a multimodal interactive alignment process in which human purposes, expressed in natural language, are transformed into motivational components of a robot architecture in the form of robot missions and drives that guide the behavior of the robot. The system is structured into three layers for semantic alignment, mission generation, and drive modeling. This design enables a bidirectional interaction loop: human inputs define high-level purposes, robots expand them into executable missions making use of multimodal information relayed by LLMs and VLMs, and feedback maintains alignment with human intent. Experiments in simulation and with a physical robot demonstrate that the process produces valid missions and behaviors, supporting effective human-agent alignment in interactive scenarios with autonomous robots.
• Abstract（参考訳）: 本研究は,大規模言語モデルを用いて,オープンエンド学習自律ロボットの行動と人間的目的との整合性を評価するためのマルチモーダルアプローチについて検討する。 自律型ロボットは環境とのインタラクションを通じて独自のスキルと目標を創出することができるが、それらが人間のユーザと関係し、整合していることを保証するメカニズムが欠如していることが多い。 提案手法は,LLM や VLM に含まれる汎用的・文化的知識を活用し,自然言語で表現された人間の目的をロボットミッションの形でロボットアーキテクチャのモチベーションの構成要素に転換し,ロボットの動作を導く多モーダルな対話的アライメントプロセスを確立する。 システムはセマンティックアライメント、ミッション生成、ドライブモデリングの3つのレイヤで構成されている。 人間の入力は高レベルな目的を定義し、ロボットはLLMやVLMによって中継されるマルチモーダル情報を利用してそれらを実行可能なミッションへと拡張し、フィードバックは人間の意図と整合性を維持する。 シミュレーションおよび物理ロボットを用いた実験は、このプロセスが有効なミッションと行動を生み出し、自律ロボットとの対話シナリオにおける効果的な人間とエージェントのアライメントをサポートすることを示した。

関連論文リスト

• $π_0$: A Vision-Language-Action Flow Model for General Robot Control [77.32743739202543]
  本稿では,インターネット規模のセマンティック知識を継承するために,事前学習された視覚言語モデル(VLM)上に構築された新しいフローマッチングアーキテクチャを提案する。 我々は,事前訓練後のタスクをゼロショットで実行し,人からの言語指導に追従し,微調整で新たなスキルを習得する能力の観点から,我々のモデルを評価した。
  論文  参考訳（メタデータ） (2024-10-31T17:22:30Z)
• Enhancing the LLM-Based Robot Manipulation Through Human-Robot Collaboration [4.2460673279562755]
  大規模言語モデル(LLM)はロボット工学の分野で人気を集めている。 本稿では,人間ロボットコラボレーション(HRC)によるLLMに基づく自律操作の性能向上のための新しいアプローチを提案する。 このアプローチでは、高レベルの言語コマンドをロボットによって実行できる一連の動作に分解するために、引き起こされたGPT-4言語モデルを使用する。
  論文  参考訳（メタデータ） (2024-06-20T08:23:49Z)
• RoboCodeX: Multimodal Code Generation for Robotic Behavior Synthesis [102.1876259853457]
  汎用ロボット行動合成のための木構造多モードコード生成フレームワークRoboCodeXを提案する。 RoboCodeXは、高レベルの人間の命令を複数のオブジェクト中心の操作ユニットに分解する。 概念的および知覚的理解を制御コマンドにマッピングする能力をさらに強化するため、事前学習のための特別なマルチモーダル推論データセットを収集し、教師付き微調整のための反復的自己更新手法を導入する。
  論文  参考訳（メタデータ） (2024-02-25T15:31:43Z)
• RoboScript: Code Generation for Free-Form Manipulation Tasks across Real and Simulation [77.41969287400977]
  本稿では,コード生成を利用したデプロイ可能なロボット操作パイプラインのためのプラットフォームである textbfRobotScript を提案する。 自由形自然言語におけるロボット操作タスクのためのコード生成ベンチマークも提案する。 我々は,Franka と UR5 のロボットアームを含む,複数のロボットエボディメントにまたがるコード生成フレームワークの適応性を実証した。
  論文  参考訳（メタデータ） (2024-02-22T15:12:00Z)
• Exploring Large Language Models to Facilitate Variable Autonomy for Human-Robot Teaming [4.779196219827508]
  本稿では,VR(Unity Virtual Reality)設定に基づく,GPTを利用したマルチロボットテストベッド環境のための新しいフレームワークを提案する。 このシステムにより、ユーザーは自然言語でロボットエージェントと対話でき、それぞれが個々のGPTコアで動く。 12人の参加者によるユーザスタディでは、GPT-4の有効性と、さらに重要なのは、マルチロボット環境で自然言語で会話する機会を与えられる際のユーザ戦略について検討している。
  論文  参考訳（メタデータ） (2023-12-12T12:26:48Z)
• WALL-E: Embodied Robotic WAiter Load Lifting with Large Language Model [92.90127398282209]
  本稿では,最新のLarge Language Models(LLM)と既存のビジュアルグラウンドとロボットグルーピングシステムを統合する可能性について検討する。 本稿では,この統合の例としてWALL-E (Embodied Robotic WAiter load lifting with Large Language model)を紹介する。 我々は,このLCMを利用したシステムを物理ロボットに展開し,よりユーザフレンドリなインタフェースで指導誘導型把握タスクを実現する。
  論文  参考訳（メタデータ） (2023-08-30T11:35:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。