論文の概要: TC-IDM: Grounding Video Generation for Executable Zero-shot Robot Motion
- arxiv url: http://arxiv.org/abs/2601.18323v1
- Date: Mon, 26 Jan 2026 10:06:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-23 08:17:40.947272
- Title: TC-IDM: Grounding Video Generation for Executable Zero-shot Robot Motion
- Title（参考訳）: TC-IDM:実行可能ゼロショットロボット運動のためのグラウンド映像生成
- Abstract要約: ジェネレーティブワールドモデルは、汎用的なエンボディAIに代わる有望な選択肢を提供する。
視覚計画と身体制御のギャップを埋めるツール中心逆ダイナミクスモデル(TC-IDM)を提案する。
実世界の評価では、TC-IDMを用いた世界モデルの平均成功率は61.11パーセント、単純タスクは77.7%、ゼロショット変形可能なオブジェクトタスクは38.66%である。
- 参考スコア（独自算出の注目度）: 38.88993836311246
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The vision-language-action (VLA) paradigm has enabled powerful robotic control by leveraging vision-language models, but its reliance on large-scale, high-quality robot data limits its generalization. Generative world models offer a promising alternative for general-purpose embodied AI, yet a critical gap remains between their pixel-level plans and physically executable actions. To this end, we propose the Tool-Centric Inverse Dynamics Model (TC-IDM). By focusing on the tool's imagined trajectory as synthesized by the world model, TC-IDM establishes a robust intermediate representation that bridges the gap between visual planning and physical control. TC-IDM extracts the tool's point cloud trajectories via segmentation and 3D motion estimation from generated videos. Considering diverse tool attributes, our architecture employs decoupled action heads to project these planned trajectories into 6-DoF end-effector motions and corresponding control signals. This plan-and-translate paradigm not only supports a wide range of end-effectors but also significantly improves viewpoint invariance. Furthermore, it exhibits strong generalization capabilities across long-horizon and out-of-distribution tasks, including interacting with deformable objects. In real-world evaluations, the world model with TC-IDM achieves an average success rate of 61.11 percent, with 77.7 percent on simple tasks and 38.46 percent on zero-shot deformable object tasks. It substantially outperforms end-to-end VLA-style baselines and other inverse dynamics models.
- Abstract（参考訳）: 視覚言語アクション(VLA)パラダイムは、視覚言語モデルを活用することで強力なロボット制御を可能にしたが、大規模で高品質なロボットデータに依存しているため、その一般化は制限されている。
ジェネレーティブワールドモデルは汎用的なエンボディAIに代わる有望な代替手段を提供するが、ピクセルレベルの計画と物理的に実行可能なアクションの間には重要なギャップが残っている。
この目的のために,ツール中心逆ダイナミクスモデル(TC-IDM)を提案する。
TC-IDMは、世界モデルによって合成されたツールの想像軌道に焦点を合わせ、ビジュアルプランニングと物理制御のギャップを埋める堅牢な中間表現を確立する。
TC-IDMは、生成されたビデオからセグメンテーションと3Dモーション推定によって、ツールのポイントクラウドトラジェクトリを抽出する。
多様なツール特性を考慮すると、このアーキテクチャでは、これらの計画された軌道を6-DoFのエンドエフェクタ運動とそれに対応する制御信号に投影するために、分離された動作ヘッドを用いる。
このプラン・アンド・トランスレーションのパラダイムは、幅広いエンドエフェクタをサポートするだけでなく、視点不変性を大幅に改善する。
さらに、変形可能なオブジェクトとの相互作用を含む、長距離およびアウト・オブ・ディストリビューションタスクにまたがる強力な一般化能力を示す。
実世界の評価では、TC-IDMを用いた世界モデルの平均成功率は61.11パーセント、単純タスクは77.7%、ゼロショット変形可能なオブジェクトタスクは38.66%である。
エンド・ツー・エンドのVLAスタイルのベースラインや他の逆ダイナミクスモデルよりも大幅に優れています。
関連論文リスト
- GIFT: Guided Intermediate Feature Training via Action-Oriented Structural Supervision for Robotic Manipulation [60.95802802905149]
GIFT(Guided Intermediate Feature Training)は,中間機能学習のためのアーキテクチャフレキシブルなフレームワークである。
我々は、各モデルのアクション定式化を維持しつつ、ビジョンランゲージ・アクション(VLA)ポリシー、ダイレクトアクション・ワールド・アクション・モデル(WAM)、逆ダイナミクスWAMでGIFTをインスタンス化する。
RoboCasaでは3つのGIFTバージョンが61.4%、83.6%、82.3%に達し、それぞれ12.6、9.0、8.4ポイントを上回っている。
論文 参考訳（メタデータ） (2026-09-03T17:59:03Z) - AFUN: Towards an Affordance Foundation Model for Functionality Understanding [12.890216832485647]
我々は,機能理解のための手頃な基礎モデルに向けたステップとして,我々のモデルを提示する。
我々は、異種ロボット、人間、シミュレーション、現実世界のスキャンデータを共有価格スキーマに変換する大規模な標準化データパイプラインを構築します。
私たちのモデルは、4つのベンチマークから8つのテストセットにまたがる大きなマージンで、すべてのベースラインを上回ります。
論文 参考訳（メタデータ） (2026-06-01T17:50:16Z) - Qwen-VLA: Unifying Vision-Language-Action Modeling across Tasks, Environments, and Robot Embodiments [96.23886784364997]
身体的な知性は、操作やナビゲーションといった個々のタスクのための特別なモデルを通してしばしば研究される。
本稿では,Qwenの視覚言語モデリングスタックを連続的な動作と軌道生成に拡張した統一的な基礎モデルであるQwen-VLAを提案する。
論文 参考訳（メタデータ） (2026-05-28T17:36:31Z) - AIM: Intent-Aware Unified world action Modeling with Spatial Value Maps [7.710034405765985]
AIMは、明示的な空間的インターフェースを通じてこのギャップを橋渡しする意図認識の統一世界行動モデルである。
事前訓練されたビデオ生成モデルに基づいて構築されたAIMは、共有変換器アーキテクチャ内の将来の観測と値マップを共同でモデル化する。
RoboTwin 2.0ベンチマークの実験では、AIMは平均94.0%の成功率に達し、以前の統合された世界行動ベースラインを著しく上回っている。
論文 参考訳（メタデータ） (2026-04-13T07:48:58Z) - ABot-M0: VLA Foundation Model for Robotic Manipulation with Action Manifold Learning [31.000965640377128]
ABot-M0は、システマティックデータキュレーションパイプラインを構築するフレームワークである。
これは不均一な生データを統一的で効率的な表現にエンドツーエンドに変換することを可能にする。
ABot-M0はデュアルストリーム機構を通じてモジュール認識をサポートする。
論文 参考訳（メタデータ） (2026-02-11T16:47:01Z) - MobileManiBench: Simplifying Model Verification for Mobile Manipulation [70.30578259859512]
MobileManiBenchは、モバイルベースのロボット操作のための大規模なベンチマークである。
MobileManiBenchには、2つのモバイルプラットフォーム(パラレルグリッパーとデキソラスハンドロボット)、2つの同期カメラ(頭と右手首)、630のオブジェクト(オープン、クローズ、プル、プッシュ、ピック)、5つのスキル(オープン、クローズ、プッシュ、ピック)、100以上のタスクが現実的なシーンで実行される。
論文 参考訳（メタデータ） (2026-02-05T02:49:52Z) - mimic-video: Video-Action Models for Generalizable Robot Control Beyond VLAs [5.109732854501585]
そこで我々は,事前学習したインターネットスケールのビデオモデルと,その潜在表現に条件付けされたフローマッチングに基づくアクションデコーダを組み合わせた,新しいビデオ・アクション・モデル(VAM)を提案する。
提案手法は,シミュレーションおよび実世界のロボット操作タスクにおける最先端性能を実現し,サンプル効率を10倍,収束速度を2倍向上させる。
論文 参考訳（メタデータ） (2025-12-17T18:47:31Z) - Towards High-Consistency Embodied World Model with Multi-View Trajectory Videos [24.111891848073288]
身体的世界モデルは、視覚的な観察と行動を通じて物理的世界と予測し、相互作用することを目的としている。
MTV-Worldは正確なビジュモータ予測のためのマルチビュートラジェクトリ・ビデオ制御を導入した。
MTV-Worldは、複雑なデュアルアームシナリオにおける正確な制御実行と正確な物理的相互作用モデリングを実現する。
論文 参考訳（メタデータ） (2025-11-17T02:17:04Z) - URDF-Anything: Constructing Articulated Objects with 3D Multimodal Language Model [76.08429266631823]
3次元マルチモーダル大言語モデル(MLLM)に基づくエンドツーエンドの自動再構築フレームワークを提案する。
URDF-Anythingは、ポイントクラウドとテキストマルチモーダル入力に基づく自己回帰予測フレームワークを使用して、幾何学的セグメンテーションと運動論的パラメータ予測を協調的に最適化する。
シミュレーションと実世界の両方のデータセットの実験は、我々の手法が既存の手法よりも大幅に優れていることを示した。
論文 参考訳（メタデータ） (2025-11-02T13:45:51Z) - A Data-Centric Revisit of Pre-Trained Vision Models for Robot Learning [67.72413262980272]
事前訓練された視覚モデル(PVM)は現代のロボティクスの基本であるが、その最適構成は定かではない。
セマンティック・ボトルネックを導入してオブジェクト中心の表現を誘導する手法であるSlotMIMを開発した。
提案手法は,画像認識,シーン理解,ロボット学習評価において,従来の作業よりも大幅に改善されている。
論文 参考訳（メタデータ） (2025-03-10T06:18:31Z) - HAMSTER: Hierarchical Action Models For Open-World Robot Manipulation [54.03004125910057]
階層型視覚-言語-アクションモデルは、標準的なモノリシックVLAモデルよりも、ドメイン外のデータを利用するのに効果的であることを示す。
階層設計により、高レベルなVLMは、オフドメイン微調整データと実ロボットテストシナリオの間の重要なドメインギャップをまたいで転送可能であることを示す。
論文 参考訳（メタデータ） (2025-02-08T07:50:22Z) - IRASim: A Fine-Grained World Model for Robot Manipulation [24.591694756757278]
本稿では,ロボットとオブジェクトのインタラクションの詳細を詳細に表現したビデオを生成する新しい世界モデルIRASimを提案する。
拡散変圧器を訓練し、各変圧器ブロック内に新しいフレームレベル動作条件モジュールを導入し、アクションフレームアライメントを明示的にモデル化し強化する。
論文 参考訳（メタデータ） (2024-06-20T17:50:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。