論文の概要: MotorMind: Scaffolding General Vision Language Models for Zero-Shot Robot Manipulation

• arxiv url: http://arxiv.org/abs/2609.38078v1
• Date: Tue, 29 Sep 2026 17:36:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.791769
• Title: MotorMind: Scaffolding General Vision Language Models for Zero-Shot Robot Manipulation
• Title（参考訳）: MotorMind:ゼロショットロボットマニピュレーションのための汎用ビジョン言語モデル
• Abstract要約: 我々は,VLMが提案する中間レベル動作を決定論的ロボット制御とフィードバックに接続するロボット操作ハーネスであるMotorMindを紹介する。 SAM3のようなタスク固有のポリシートレーニングやコーディングエージェント、その他の基盤ツールがなければ、MotorMindはベースとなるLIBERO-PROスイートで66.7%、摂動下で53.8%の成功を収める。
• 参考スコア（独自算出の注目度）: 20.61956871197348
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language-action (VLA) models have advanced robotic manipulation, but their zero-shot generalization in new tasks and environments remains limited, and their reliance on specialized training keeps them from benefiting directly from rapidly advancing general-purpose vision-language models (VLMs). In parallel, recent agentic robotic systems leverage VLMs for high-level reasoning or coding agents for robot control, but often depend on extensive external models and tools, introducing additional complexity and cost. This motivates us to ask: Can a general-purpose VLM itself operate a robot more like the human teleoperator by reasoning directly from observations, issuing actions, and continuously adapting to execution feedback, without relying on external models such as learned action experts, coding agents or grounding tools like SAM3? In this work, we introduce MotorMind, a robot manipulation harness that connects VLM-proposed mid-level actions to deterministic robot control and feedback, with asynchronous monitoring and background memory updates. Without task-specific policy training, coding agents, or additional grounding tools such as SAM3, MotorMind achieves 66.7% success on the base LIBERO-PRO suites and 53.8% under perturbations, compared with at most 13.3% and 19.2%, respectively, for the prior zero-shot methods we evaluate. The same interface reaches 95% average success on a real xArm6 robot across direct manipulation and human-perturbation settings. Replacing the backbone with a stronger VLM further improves performance, while the remaining failures - primarily due to visual grounding, embodied reasoning, and action knowledge - decrease as VLM capability improves. These results show that a general-purpose VLM, when equipped with an appropriate mid-level action representation and asynchronous execution harness, can perform effective zero-shot robotic manipulation.
• Abstract（参考訳）: 視覚言語アクション(VLA)モデルには高度なロボット操作があるが、新しいタスクや環境におけるゼロショットの一般化は限定的であり、専門訓練への依存により、急速に進歩する汎用視覚言語モデル(VLM)から直接利益を得ることができない。 並行して、最近のエージェントロボットシステムは、ロボット制御のための高レベルの推論やコーディングエージェントにVLMを利用するが、しばしば外部モデルやツールに依存し、さらなる複雑さとコストをもたらす。 一般的なVLMは、観察から直接推論し、アクションを発行し、学習されたアクションエキスパートやコーディングエージェント、SAM3のような接地ツールといった外部モデルに頼ることなく、実行フィードバックに継続的に適応することで、人間のテレオペレータのようにロボットを動作させることができるか? 本稿では,VLMが提案する中間レベル動作と決定論的ロボット制御とフィードバックを接続するロボット操作ハーネスであるMotorMindについて,非同期監視とバックグラウンドメモリ更新で紹介する。 SAM3のようなタスク固有のポリシートレーニング、コーディングエージェント、あるいは追加の基盤ツールがなければ、MotorMindはLIBERO-PROスイートで66.7%、摂動で53.8%の成功を収める。 同じインターフェースは、実際のxArm6ロボット上で、直接操作と人間の摂動設定で平均95%の成功に達する。 バックボーンを強力なVLMで置き換えることにより、パフォーマンスがさらに向上する一方、残りの障害(主に視覚的接地、具体的推論、行動知識)は、VLM能力が向上するにつれて減少する。 これらの結果から,適切な中間レベル動作表現と非同期実行ハーネスを備えた汎用VLMは,ゼロショットロボット操作を効果的に行うことができることがわかった。

関連論文リスト

• Show-Harness: Just a VLM Agent Can Play Robots [53.80887083886227]
  身体的視覚言語モデル(VLM)は世界に関する幅広い知性を示すが、この知性をロボット制御に翻訳することは依然として困難である。 本稿では,動作意図をリンクするコンパクトなセマンティックインターフェースを通じて,VLMがロボットを「プレイ」することを可能にする,身体的ハーネスであるShow-Harnessを紹介する。 GUMIはGUIベースのデモコレクションに同じセマンティックアクション空間を拡張し、人間やエージェントが特殊な遠隔操作ハードウェアを使わずにエボディメントをまたいでロボットを「プレイ」することができる。
  論文  参考訳（メタデータ） (2026-09-09T17:53:38Z)
• Two Bridges, One Pathway: From VLMs to Generalizable VLAs with Embodied Trajectory-Coupled Data [93.7685703383343]
  視覚言語モデル(VLM)は強力な汎用推論器であるが、ロボット制御ポリシーに変換することは驚くほど難しい。 このギャップは、適切な中間データで徐々にブリッジできると我々は主張する。 本研究では,タスク関連アウト・オブ・ディストリビューションETCデータと少量のアクションデータとを混合することにより,新しい視覚言語条件に一般化できることを示す。
  論文  参考訳（メタデータ） (2026-06-07T08:57:51Z)
• Veo-Act: How Far Can Frontier Video Models Advance Generalizable Robot Manipulation? [10.4712787665679]
  本稿では,Veo-3のような先進的なビデオ生成モデルが,汎用的なロボット操作を支援するかを検討する。 本稿では,Veo-3をハイレベルなモーションプランナとして,VLAポリシーを低レベルなエグゼキュータとして使用する階層型フレームワークであるVeo-Actを開発した。
  論文  参考訳（メタデータ） (2026-04-06T07:57:52Z)
• ROSA: Harnessing Robot States for Vision-Language and Action Alignment [24.426285156386715]
  VLM(Vision-Language Models)は、エンドツーエンドのロボット制御において大きな進歩を遂げた。 本稿では,ロボットの状態推定を利用して視覚言語と行動空間のアライメントを改善する新しいトレーニングパラダイムROSAを提案する。
  論文  参考訳（メタデータ） (2025-06-16T16:34:20Z)
• ManipBench: Benchmarking Vision-Language Models for Low-Level Robot Manipulation [16.729702815913907]
  VLM(Vision-Language Models)は、人工知能とロボティクスに革命をもたらした。 ロボット操作では、VLMは主に高レベルプランナーとして使用されるが、最近の研究は、その低レベル推論能力についても研究している。 VLMの低レベルロボット操作推論能力を評価するために,新しいベンチマークManipBenchを提案する。
  論文  参考訳（メタデータ） (2025-05-14T18:01:00Z)
• HAMSTER: Hierarchical Action Models For Open-World Robot Manipulation [54.03004125910057]
  階層型視覚-言語-アクションモデルは、標準的なモノリシックVLAモデルよりも、ドメイン外のデータを利用するのに効果的であることを示す。 階層設計により、高レベルなVLMは、オフドメイン微調整データと実ロボットテストシナリオの間の重要なドメインギャップをまたいで転送可能であることを示す。
  論文  参考訳（メタデータ） (2025-02-08T07:50:22Z)
• LLaRA: Supercharging Robot Learning Data for Vision-Language Policy [56.505551117094534]
  我々はLLaRA: Large Language and Robotics Assistantを紹介した。 まず、既存の行動クローニングデータセットからロボットのための会話スタイルの指導データを生成する自動パイプラインを提案する。 このようなデータセットを限定的に微調整したVLMは、ロボット制御において有意義な行動決定を導出できることを示す。
  論文  参考訳（メタデータ） (2024-06-28T17:59:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。