論文の概要: ROSA: Harnessing Robot States for Vision-Language and Action Alignment

• arxiv url: http://arxiv.org/abs/2506.13679v1
• Date: Mon, 16 Jun 2025 16:34:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 17:28:48.995199
• Title: ROSA: Harnessing Robot States for Vision-Language and Action Alignment
• Title（参考訳）: ROSA:視覚ランゲージとアクションアライメントのためのハーネスングロボット
• Authors: Yuqing Wen, Kefan Gu, Haoxuan Liu, Yucheng Zhao, Tiancai Wang, Haoqiang Fan, Xiaoyan Sun,
• Abstract要約: VLM(Vision-Language Models)は、エンドツーエンドのロボット制御において大きな進歩を遂げた。 本稿では,ロボットの状態推定を利用して視覚言語と行動空間のアライメントを改善する新しいトレーニングパラダイムROSAを提案する。
• 参考スコア（独自算出の注目度）: 24.426285156386715
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-Language-Action (VLA) models have recently made significant advance in multi-task, end-to-end robotic control, due to the strong generalization capabilities of Vision-Language Models (VLMs). A fundamental challenge in developing such models is effectively aligning the vision-language space with the robotic action space. Existing approaches typically rely on directly fine-tuning VLMs using expert demonstrations. However, this strategy suffers from a spatio-temporal gap, resulting in considerable data inefficiency and heavy reliance on human labor. Spatially, VLMs operate within a high-level semantic space, whereas robotic actions are grounded in low-level 3D physical space; temporally, VLMs primarily interpret the present, while VLA models anticipate future actions. To overcome these challenges, we propose a novel training paradigm, ROSA, which leverages robot state estimation to improve alignment between vision-language and action spaces. By integrating robot state estimation data obtained via an automated process, ROSA enables the VLA model to gain enhanced spatial understanding and self-awareness, thereby boosting performance and generalization. Extensive experiments in both simulated and real-world environments demonstrate the effectiveness of ROSA, particularly in low-data regimes.
• Abstract（参考訳）: VLA(Vision-Language-Action)モデルは最近、VLM(Vision-Language Models)の強力な一般化能力により、マルチタスク、エンドツーエンドのロボット制御において大きな進歩を遂げた。 このようなモデルを開発する上での根本的な課題は、視覚言語空間とロボット行動空間を効果的に整合させることである。 既存のアプローチは通常、専門家によるデモンストレーションを使って直接微調整するVLMに依存している。 しかし、この戦略は時空間的ギャップに悩まされ、膨大なデータ非効率性と人的労働への依存が生じる。 空間的には、VLMは高レベルなセマンティック空間内で動作し、ロボットアクションは低レベルな3次元物理空間で動作している。 これらの課題を克服するために,ロボットの状態推定を利用して視覚言語と行動空間のアライメントを改善する新しいトレーニングパラダイムROSAを提案する。 自動処理により得られたロボット状態推定データを統合することにより、ROSAはVLAモデルにより空間的理解と自己認識が向上し、性能と一般化が促進される。 シミュレーションと実世界の両方の環境における大規模な実験は、ROSAの有効性を実証している。

関連論文リスト

• SpatialVLA: Exploring Spatial Representations for Visual-Language-Action Model [45.03115608632622]
  空間理解はロボット操作のキーポイントです 本研究では,ロボット基盤モデルのための効果的な空間表現を探索する空間VLAを提案する。 提案したAdaptive Action Gridsは,事前学習したSpatialVLAモデルを微調整し,新しいシミュレーションと実世界のセットアップを実現するための,新しい効果的な方法を提供する。
  論文  参考訳（メタデータ） (2025-01-27T07:34:33Z)
• Exploring the Adversarial Vulnerabilities of Vision-Language-Action Models in Robotics [68.36528819227641]
  本稿では,VLAに基づくロボットシステムのロバスト性を体系的に評価する。 本研究では,ロボット行動の不安定化に空間的基盤を活用する2つの未目標攻撃目標と,ロボット軌道を操作する目標攻撃目標を導入する。 我々は、カメラの視野に小さなカラフルなパッチを配置し、デジタルと物理の両方の環境で効果的に攻撃を実行する逆パッチ生成アプローチを設計する。
  論文  参考訳（メタデータ） (2024-11-18T01:52:20Z)
• Robotic Control via Embodied Chain-of-Thought Reasoning [86.6680905262442]
  学習したロボット制御ポリシーの鍵となる制限は、トレーニングデータの外部で一般化できないことである。 視覚言語行動モデル(VLA)に関する最近の研究は、大規模なインターネット事前学習型視覚言語モデルを使用することで、その堅牢性と一般化能力を大幅に向上させることができることを示した。 ロボットの動作を予測する前に、VLAに対して、計画、サブタスク、動作、視覚的接地機能について複数の推論を行うために、VLAに対してEmbodied Chain-of-Thought Reasoning (ECoT)を導入する。
  論文  参考訳（メタデータ） (2024-07-11T17:31:01Z)
• LLaRA: Supercharging Robot Learning Data for Vision-Language Policy [56.505551117094534]
  我々はLLaRA: Large Language and Robotics Assistantを紹介した。 まず、既存の行動クローニングデータセットからロボットのための会話スタイルの指導データを生成する自動パイプラインを提案する。 このようなデータセットを限定的に微調整したVLMは、ロボット制御において有意義な行動決定を導出できることを示す。
  論文  参考訳（メタデータ） (2024-06-28T17:59:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。