論文の概要: Transferring the Intelligence of VLMs to Robotic Control

• arxiv url: http://arxiv.org/abs/2609.22966v1
• Date: Sat, 19 Sep 2026 11:34:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-24 17:20:03.839244
• Title: Transferring the Intelligence of VLMs to Robotic Control
• Title（参考訳）: ロボット制御へのVLMのインテリジェンス導入
• Abstract要約: 人間は物理的世界とデジタル世界の両方にシームレスに適応でき、人間の知性自体がこのギャップを越えて移動する可能性があることを示唆している。 本稿では,ロボット制御をエージェントVLMに公開するヒューマン直感インタフェースであるRoboDawnを用いて,この問題を考察する。 RoboTwin 2.0 C2RとRoboDojoの実験では、RoboDawnはタスク固有のロボットトレーニングなしで高いパフォーマンスを実現している。
• 参考スコア（独自算出の注目度）: 49.39888205530348
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Humans can seamlessly adapt to both physical and digital worlds, suggesting that while a digital-to-real gap exists in embodiment, environment and task, human intelligence itself may transfer across this gap. This naturally raises a fundamental question: can the intelligence of vision-language models (VLMs) similarly generalize from the digital world to the physical world for robotic control? We investigate this question through RoboDawn, a human-intuitive interface that exposes robotic control to an agentic VLM through a compact set of discrete translation, rotation, and gripper commands. Using this interface, the VLM controls a robot in a closed loop: it observes the current visual state, reasons about the next action, executes it, and adapts subsequent decisions to the resulting state. Furthermore, we introduce an in-context learning (ICL) scheme that uses a few demonstrations to ground the VLM in both interface usage and task-solving strategies. Experiments on RoboTwin 2.0 C2R and RoboDojo demonstrate that RoboDawn achieves strong performance without task-specific robot training. In the zero-shot setting, RoboDawn outperforms several strong policies trained on benchmarkspecific robot data, while a single in-context demonstration further yields substantial performance gains and establishes state-of-the-art (SOTA) results. On RoboTwin 2.0 C2R, the success rate increases from 53.2% zero-shot to 73.6% one-shot, exceeding the solid baseline π0.5 (46.0%). Similar gains are observed on RoboDojo, where success rate improves from 35.67% zero-shot to 47.17% one-shot. The same framework also transfers to real-world robots, performing block-in-basket and block stacking on Franka.
• Abstract（参考訳）: 人間は物理的世界とデジタル世界の両方にシームレスに適応できるため、デジタルと現実のギャップが具体化、環境、タスクに存在する一方で、人間の知性自体がこのギャップを横切る可能性があることを示唆している。 視覚言語モデル(VLM)の知性は、デジタル世界からロボット制御のための物理世界へと同じように一般化できるのだろうか? 本稿では,ロボット制御をエージェントVLMに公開するロボット直感インタフェースであるRoboDawnを用いて,この課題を考察する。 このインタフェースを用いて、VLMはロボットをクローズドループで制御し、現在の視覚状態を観察し、次の動作の理由を判断し、実行し、その後の決定を結果の状態に適応させる。 さらに,テキスト内学習(ICL)方式を導入し,VLMをインタフェース使用法とタスク解決法の両方で基礎づける。 RoboTwin 2.0 C2RとRoboDojoの実験では、RoboDawnはタスク固有のロボットトレーニングなしで高いパフォーマンスを実現している。 ゼロショット設定では、RoboDawnは、ベンチマーク固有のロボットデータに基づいてトレーニングされたいくつかの強力なポリシーよりも優れており、一方、単一のコンテキスト内デモでは、パフォーマンスが大幅に向上し、SOTA(State-of-the-art)結果が確立されている。 RoboTwin 2.0 C2Rでは、成功率は53.2%から73.6%に増加し、固体のπ0.5(46.0%)を超える。 同様の利得はRoboDojoで見られ、成功率は35.67%から47.17%に改善されている。 同じフレームワークは現実世界のロボットに移行し、Franka上でブロック・イン・バスケットを実行し、ブロックを積み重ねる。

関連論文リスト

• WSA$_1$: a 3D-Centric World-Spatial-Action Model for Generalizable Robot Control [85.21175469425172]
  近年,ロボット基盤モデル(RFM)が汎用ロボットシステムの主要なアプローチとして確立されている。 提案する3D-Centric World-Spatial-Action モデリングパラダイムに基づく新しい RFM である WSA$_1$ を提案する。 将来のロボット行動に対する3D世界認識の視覚的思考を学習するだけでなく、行動一般化を促進するために3D世界遷移とロボット行動の相互制約をモデル化する。
  論文  参考訳（メタデータ） (2026-07-04T16:26:39Z)
• MiVLA: Towards Generalizable Vision-Language-Action Model with Human-Robot Mutual Imitation Pre-training [102.850162490626]
  人間のロボットによる相互模倣事前学習による視覚-言語-行動モデルであるMiVLAを提案する。 MiVLAは、最先端のVLAよりも優れた、強力な改良された一般化能力を実現する。
  論文  参考訳（メタデータ） (2025-12-17T12:59:41Z)
• RobotSeg: A Model and Dataset for Segmenting Robots in Image and Video [56.9581053843815]
  画像とビデオにおけるロボットセグメンテーションの基礎モデルであるRobotSegを紹介する。 ロボットへの適応の欠如、手動のプロンプトへの依存、フレーム単位のトレーニングマスクアノテーションの必要性に対処する。 それは、画像とビデオの両方で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-11-28T07:51:02Z)
• Robot-R1: Reinforcement Learning for Enhanced Embodied Reasoning in Robotics [55.05920313034645]
  本稿では,ロボット制御に特化して具体的推論を強化するため,強化学習を活用した新しいフレームワークであるRobot-R1を紹介する。 DeepSeek-R1学習アプローチにインスパイアされたRobot-R1は、推論に基づく応答をサンプリングし、より正確な予測につながるものを強化する。 実験の結果,ロボットR1で訓練したモデルは,具体的推論タスクにおいて,SFT法よりも優れていた。
  論文  参考訳（メタデータ） (2025-05-29T16:41:12Z)
• Robo2VLM: Visual Question Answering from Large-Scale In-the-Wild Robot Manipulation Datasets [15.349107660229356]
  VLM(Vision-Language Models)は,インターネット規模の画像テキストコーパスを通じて,実世界の知識と一般的な推論能力を取得する。 本稿では,VLMのためのVQA(Visual Question Answering)データセット生成フレームワークであるRobo2VLMを紹介する。 実物176kのロボット軌道から463の異なるシーンと3,396のロボット操作タスクをカバーし、684,710の質問を回答した。
  論文  参考訳（メタデータ） (2025-05-21T13:42:52Z)
• Robotic Programmer: Video Instructed Policy Code Generation for Robotic Manipulation [29.67033327646875]
  RoboProは、ゼロショット方式でポリシーコードでロボット操作を行うロボット基礎モデルである。 RoboProは、シミュレータと現実世界の両方の環境でのロボット操作において、最先端のゼロショットのパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-01-08T04:30:45Z)
• RoboPoint: A Vision-Language Model for Spatial Affordance Prediction for Robotics [46.63773228934993]
  本稿では,ロボットドメインやニーズに対して,視覚言語モデル(VLM)を命令チューニングする,自動合成データ生成パイプラインを提案する。 パイプラインを使用して、与えられた言語命令に対する画像キーポイントの価格を予測するVLMであるRoboPointを訓練する。 実験の結果,RoboPointは空間空き量の予測精度が21.8%,下流タスクの成功率が30.5%,最先端VLMが21.8%向上していることがわかった。
  論文  参考訳（メタデータ） (2024-06-15T19:22:51Z)
• Vid2Robot: End-to-end Video-conditioned Policy Learning with Cross-Attention Transformers [36.497624484863785]
  Vid2Robotは、人間のビデオで操作タスクを入力として表現し、ロボットアクションを生成する、エンドツーエンドのビデオ条件付きポリシーである。 我々のモデルは、ビデオから人間とロボットのアクションの統一表現を学習するために、プロンプトロボット軌道対の大規模なデータセットを用いて訓練されている。 実世界のロボット上でのVid2Robotの評価を行い、人間のプロンプトビデオを用いた場合、BC-Zよりも20%以上の改善が見られた。
  論文  参考訳（メタデータ） (2024-03-19T17:47:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。