論文の概要: VLMs are Native Action Models: Unleashing the Manipulation Capabilities of VLMs with Explicit Action-Space Grounding

• arxiv url: http://arxiv.org/abs/2610.12832v1
• Date: Fri, 09 Oct 2026 00:33:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.32974
• Title: VLMs are Native Action Models: Unleashing the Manipulation Capabilities of VLMs with Explicit Action-Space Grounding
• Title（参考訳）: VLMはネイティブアクションモデル: 明示的なアクション空間グラウンドディングによるVLMの操作能力の解放
• Abstract要約: 事前学習された視覚言語モデルを汎用的な操作ポリシーに変換する上での課題は、これらの機能を適切なアクションインターフェースを通じて公開することである。 この2つのパラダイムをブリッジするExplicit Action-Space GroundingフレームワークであるEASGを紹介します。 EASGは、VLMの知覚コンテキストで直接観察可能な連続ロボットアクション空間のセマンティクスを作成する。
• 参考スコア（独自算出の注目度）: 40.275728666730764
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pretrained vision-language models (VLMs) already exhibit strong visual, spatial and reasoning capabilities relevant to robotic manipulation. The key challenge in turning pretrained VLMs into generalist manipulation policies is to expose these capabilities through an appropriate action interface. Vision-language-action (VLA) models provide a unified trainable policy, but typically introduce learned action tokens, action heads, or action experts whose semantics must be learned from robot data pretraining. In contrast, modular foundation-model-based manipulation methods can exploit pretrained VLM capabilities for zero-shot manipulation, but rely on external planning and control scaffolds that are not end-to-end trainable as a unified continuous-action policy. In this work, we introduce EASG, an Explicit Action-Space Grounding framework that bridges these two paradigms. By projecting a tool center point (TCP)-centered action frame into the wrist camera observation and expressing actions in the form of VLM's native textual generation interface, EASG makes the semantics of a continuous robot action space directly observable in the VLM's perceptual context. This allows pretrained VLMs to directly generate executable robot actions using their existing visual-spatial reasoning capabilities, without robot-action pretraining or additional action modules. Besides, the same action interface supports direct fine-tuning with robot trajectories, allowing the models to continuously improve beyond their manipulation capabilities unleashed by EASG. Overall, EASG enables zero-shot manipulation and generalization across object positions, categories, and robot embodiments, while supporting effective fine-tuning in the same continuous action space. These results demonstrate that, given an appropriate action interface, pretrained VLMs can themselves serve as native action models for robotic manipulation.
• Abstract（参考訳）: 事前訓練された視覚言語モデル(VLM)は、ロボット操作に関連する強力な視覚的、空間的、推論能力を持っている。 事前訓練されたVLMを汎用的な操作ポリシーに変換する上で重要な課題は、これらの機能を適切なアクションインターフェースを通じて公開することである。 視覚言語アクション(VLA)モデルは、統一的なトレーニング可能なポリシを提供するが、一般的には、学習されたアクショントークン、アクションヘッド、あるいは、ロボットデータの事前トレーニングから意味を学ばなければならないアクションエキスパートを導入する。 対照的に、モジュラーファンデーションモデルに基づく操作方法は、ゼロショット操作のために事前訓練されたVLM機能を利用することができるが、統合された継続的アクションポリシーとしてエンドツーエンドのトレーニングができない外部計画と制御の足場に依存している。 本稿では,これら2つのパラダイムをブリッジする明示的アクション空間グラウンドフレームワークであるEASGを紹介する。 ツールセンターポイント(TCP)中心のアクションフレームを手首カメラに投影し、VLMのネイティブテキスト生成インタフェースの形式でアクションを表現することにより、EASGはVLMの知覚コンテキストで直接観察可能な連続ロボットアクション空間のセマンティクスを作成する。 これにより、事前訓練されたVLMは、ロボットの事前訓練や追加のアクションモジュールなしで、既存の視覚空間推論機能を使用して実行可能なロボットアクションを直接生成できる。 さらに、同じアクションインターフェースはロボットの軌道で直接微調整をサポートしており、EASGが引き起こした操作能力を超えてモデルを継続的に改善することができる。 全体として、EASGはオブジェクトの位置、カテゴリ、ロボットの具現化をゼロショット操作と一般化することができ、同時に同じ連続アクション空間における効果的な微調整をサポートする。 これらの結果は、適切なアクションインタフェースを前提として、事前訓練されたVLM自体がロボット操作のネイティブアクションモデルとして機能することを実証している。

関連論文リスト

• MotorMind: Scaffolding General Vision Language Models for Zero-Shot Robot Manipulation [20.61956871197348]
  我々は,VLMが提案する中間レベル動作を決定論的ロボット制御とフィードバックに接続するロボット操作ハーネスであるMotorMindを紹介する。 SAM3のようなタスク固有のポリシートレーニングやコーディングエージェント、その他の基盤ツールがなければ、MotorMindはベースとなるLIBERO-PROスイートで66.7%、摂動下で53.8%の成功を収める。
  論文  参考訳（メタデータ） (2026-09-29T17:36:40Z)
• Show-Harness: Just a VLM Agent Can Play Robots [53.80887083886227]
  身体的視覚言語モデル(VLM)は世界に関する幅広い知性を示すが、この知性をロボット制御に翻訳することは依然として困難である。 本稿では,動作意図をリンクするコンパクトなセマンティックインターフェースを通じて,VLMがロボットを「プレイ」することを可能にする,身体的ハーネスであるShow-Harnessを紹介する。 GUMIはGUIベースのデモコレクションに同じセマンティックアクション空間を拡張し、人間やエージェントが特殊な遠隔操作ハードウェアを使わずにエボディメントをまたいでロボットを「プレイ」することができる。
  論文  参考訳（メタデータ） (2026-09-09T17:53:38Z)
• Two Bridges, One Pathway: From VLMs to Generalizable VLAs with Embodied Trajectory-Coupled Data [93.7685703383343]
  視覚言語モデル(VLM)は強力な汎用推論器であるが、ロボット制御ポリシーに変換することは驚くほど難しい。 このギャップは、適切な中間データで徐々にブリッジできると我々は主張する。 本研究では,タスク関連アウト・オブ・ディストリビューションETCデータと少量のアクションデータとを混合することにより,新しい視覚言語条件に一般化できることを示す。
  論文  参考訳（メタデータ） (2026-06-07T08:57:51Z)
• Latent Action Pretraining from Videos [156.88613023078778]
  一般行動モデル(LAPA)のための潜在行動事前訓練について紹介する。 LAPA(英: LAPA)は、VLA(Vision-Language-Action)モデルに接地型ロボットアクションラベルを含まない教師なしの訓練方法である。 本稿では,ロボットアクションラベルを持たないインターネット規模のビデオから学習する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-15T16:28:09Z)
• LLaRA: Supercharging Robot Learning Data for Vision-Language Policy [56.505551117094534]
  我々はLLaRA: Large Language and Robotics Assistantを紹介した。 まず、既存の行動クローニングデータセットからロボットのための会話スタイルの指導データを生成する自動パイプラインを提案する。 このようなデータセットを限定的に微調整したVLMは、ロボット制御において有意義な行動決定を導出できることを示す。
  論文  参考訳（メタデータ） (2024-06-28T17:59:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。