論文の概要: WorldBridge: Bridging Video and Action for Task Generalization in World Action Models

• arxiv url: http://arxiv.org/abs/2610.40748v1
• Date: Thu, 29 Oct 2026 16:00:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.455542
• Title: WorldBridge: Bridging Video and Action for Task Generalization in World Action Models
• Title（参考訳）: WorldBridge:ワールドアクションモデルにおけるタスク一般化のためのブリッジングビデオとアクション
• Abstract要約: ビデオ予測とアクショングラウンドは、タスクをまたいで一般化するロボットの開発に役立つ。 WorldBridgeは、ビデオとアクションの専門家が構造化された注意を通して接続され、ジョイントフローマッチングでトレーニングされたWAMである。 本研究は,タスクをまたいだ汎用ロボットの開発において,映像予測とアクショングラウンドの相補的役割を強調した。
• 参考スコア（独自算出の注目度）: 41.547831392435384
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Achieving the broad task generalization of embodied models in physical environments remains a central challenge in robot learning. We study this challenge in World Action Models (WAMs) through two complementary capabilities: video generalization, which predicts the visual evolution of new tasks, and action generalization, which translates these predictions into executable behavior through a video-to-action bridge. By varying video and action supervision for tasks outside an initial training set, we examine their respective contributions to task transfer. On RoboTwin 2.0, using only in-distribution video-action supervision yields a 25.07% success rate on out-of-distribution tasks. Introducing videos of these tasks without their action labels raises success to 55.90%, while adding just one action-labeled demonstration per task further improves it to 70.70%. These findings suggest that broader video coverage enables task transfer by leveraging existing inverse-dynamics capabilities, while even sparse action supervision further strengthens those capabilities. Guided by this perspective, we introduce WorldBridge, a WAM with separate video and action experts connected through structured attention and trained with joint flow matching. WorldBridge incorporates visual memory at two temporal scales and action forcing, alongside a unified data processing pipeline that standardizes and filters heterogeneous robot trajectories and egocentric hand-derived supervision. Across multiple manipulation benchmarks, WorldBridge achieves state-of-the-art performance among the compared methods, including 96.23% on RoboTwin 2.0 full data setting and 80.9% on clean to random setting, 82.8% on RoboCasa GR1 TableTop, and 57.6% on DOMINO Level-1. Our study highlights the complementary roles of video prediction and action grounding in developing robots that generalize across tasks.
• Abstract（参考訳）: 物理環境における具体化モデルの広範なタスク一般化を実現することは、ロボット学習における中心的な課題である。 本稿では,この課題をWAM(World Action Models)において,新たなタスクの視覚的進化を予測するビデオ一般化と,これらの予測をビデオからアクションへのブリッジを通じて実行可能な動作に変換するアクション一般化という2つの相補的な機能を通じて検討する。 初期訓練セット外におけるタスクの映像・行動監督の変化により,タスク伝達に対するそれぞれの貢献について検討する。 RoboTwin 2.0では、配信中のビデオアクションの監督のみを使用すると、配信外タスクで25.07%の成功率が得られる。 アクションラベルなしでこれらのタスクのビデオを導入すると、成功率は55.90%に上昇し、タスクごとに1つのアクションラベルによるデモを追加するだけで、さらに70.70%に向上する。 これらの結果から,映像の広範化は,既存の逆力学機能を活用することでタスクの伝達を可能にすることが示唆された。 この視点で導かれたWorldBridgeは、構造化された注意を通して接続され、関節フローマッチングで訓練された、ビデオとアクションの専門家を分離したWAMである。 WorldBridgeは2つの時間スケールでの視覚記憶とアクションフォースと、異種ロボットの軌跡を標準化しフィルタする統一データ処理パイプラインと、エゴセントリックな手中心の監視機能を備えている。 複数の操作ベンチマークを通じて、WorldBridgeは比較手法の最先端性能を達成しており、RoboTwin 2.0の96.23%、クリーンでランダムな設定で80.9%、RoboCasa GR1 TableTopで82.8%、DOMINO Level-1で57.6%である。 本研究は,タスクをまたいだ汎用ロボットの開発において,映像予測とアクショングラウンドの相補的役割を強調した。

関連論文リスト

• RynnWorld-Latent: A Cross-Embodiment World Model Conditioned on Universal Latent Actions [52.064217872870806]
  本稿では、RynnLAMによって導入された3Dグラウンドの潜伏動作を共用条件インタフェースとして利用する、クロス・エンボディメント・ビデオワールドモデルであるRynnWorld-Latentを紹介する。 RynnWorld-Latentは、グローバルアクショントークンと、アクションを将来のビデオラテントと整合させるID-dローカルパスを組み合わせる。
  論文  参考訳（メタデータ） (2026-10-27T07:54:16Z)
• OpenWAM: An Open Framework for Composable World-Action Models [30.981740473743418]
  OPENWAMは,共通の因果的ロボット・ビデオ基盤を基盤として構築されたオープンワールドアクションモデリングフレームワークである。 我々は、1万時間以上のビデオで因果的ロボットビデオの事前トレーニングを行い、その後、共有Mixture-of-Transformersアーキテクチャを通じてアクションエキスパートを統合する。 OPENWAMは4つのLIBEROスイートと実世界のバイマニュアルタスクで高い成功率を達成する。
  論文  参考訳（メタデータ） (2026-10-06T08:02:12Z)
• EVO-WAM: Evolving World Action Models through Video-Action Verification [51.68210232964847]
  EVO-WAMは、自身の生成したビデオアクション軌跡から学習することで、WAMを見えないタスクに適応するフレームワークである。 コスモス3の平均成功率は20.0%から76.7%に改善され、56.7%となった。
  論文  参考訳（メタデータ） (2026-09-29T17:25:35Z)
• FutureDuet: Decoupling Observation Access from Future Supervision in World Action Models [17.521920330076366]
  我々はFutureDuetを導入し、両ビューを制御し、各ビジュアルストリームが異なる未来目標を受信できるようにする。 メインビューでは、将来のRGBモデルはタスクの進化をモデル化し、インタラクションマスクとロボットスケルトンはタスクオブジェクトとロボットの動きを監督する。 手首ストリームでは、将来の潜伏予測は画素レベルの再構成を必要とせず、短水平相互作用の変化をモデル化する。
  論文  参考訳（メタデータ） (2026-09-28T05:39:09Z)
• Zero-WAM: In-Context World-Action Modeling from Human Videos for Open-Ended Task Generalization [66.06331553787281]
  テキスト内ビデオガイダンスに従うことで、見知らぬタスクを実行する因果的ビデオアクションモデルであるZero-WAMを提案する。 我々はまた、8.6Kタスクにまたがる74.2Kの人間ロボットICLペアのデータセットであるHumanGenを提示する。 RoboTwin 2.0シミュレーションの7つの目に見えないタスクにおいて、Zero-WAMは47.0%の平均的な成功率を達成する。
  論文  参考訳（メタデータ） (2026-08-26T17:59:34Z)
• WALA Learning Executable Latent Actions from Action-Labeled Demonstrations and Action-Free Videos [38.959415159248046]
  WALAは、アクションラベル付きデモとアクションフリービデオの両方から実行可能な潜在アクションを学ぶためのフレームワークである。 WALAはRoboTwin上で高いパフォーマンスを実現し,RoboCasa上での最先端の成果を平均75.2%で実現している。
  論文  参考訳（メタデータ） (2026-07-13T11:02:04Z)
• GigaWorld-Policy: An Efficient Action-Centered World--Action Model [50.107640832046464]
  GigaWorld-Policyはアクション中心のWAMで、2Dピクセルアクションのダイナミクスを学習し、オプションのビデオ生成で効率的なアクションデコーディングを可能にする。 実世界のロボットプラットフォームでの実験結果によると、GigaWorld-Policyは主要なWAMベースラインであるMotusの9倍高速で動作する。
  論文  参考訳（メタデータ） (2026-03-18T00:52:02Z)
• V-JEPA 2: Self-Supervised Video Models Enable Understanding, Prediction and Planning [43.18609951839598]
  現代のAIにとっての大きな課題は、世界を理解し、主に観察によって行動することを学ぶことである。 本稿では,インターネット規模のビデオデータと少量のインタラクションデータを組み合わせた自己教師型アプローチについて検討する。 我々は物理世界で理解し、予測し、計画できるモデルを開発する。
  論文  参考訳（メタデータ） (2025-06-11T17:57:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。