論文の概要: OpenWAM: An Open Framework for Composable World-Action Models
- arxiv url: http://arxiv.org/abs/2610.07922v1
- Date: Tue, 06 Oct 2026 08:02:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:29.88056
- Title: OpenWAM: An Open Framework for Composable World-Action Models
- Title(参考訳): OpenWAM: 構成可能なワールドアクションモデルのためのオープンフレームワーク
- Abstract要約: OPENWAMは,共通の因果的ロボット・ビデオ基盤を基盤として構築されたオープンワールドアクションモデリングフレームワークである。
我々は、1万時間以上のビデオで因果的ロボットビデオの事前トレーニングを行い、その後、共有Mixture-of-Transformersアーキテクチャを通じてアクションエキスパートを統合する。
OPENWAMは4つのLIBEROスイートと実世界のバイマニュアルタスクで高い成功率を達成する。
- 参考スコア(独自算出の注目度): 30.981740473743418
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: World-action models (WAMs) couple future prediction with robot control, yet existing systems often vary the video backbone, interaction structure, supervision, and inference procedure simultaneously, making their design choices difficult to compare. We introduce OPENWAM, an open world-action modeling framework built around a common causal robot-video foundation and configurable video-action interaction. Starting from Wan2.2-5B, we perform causal robot-video pretraining on over 10,000 hours of video, then integrate an action expert through a shared Mixture-of-Transformers architecture that supports joint, video-then-action, action-then-video, and decoupled generation. OPENWAM achieves high success rates on four LIBERO suites and real-world bimanual tasks; robot-video training with causal adaptation improves VTA success on LIBERO-Long from 68.4% to 97.8%. The same configurable architecture naturally extends to inverse and forward dynamics, allowing us to study how counterfactual transitions improve independently trained dynamics models beyond demonstrations alone. When only the video predictor is adapted to a new task, a frozen local-context inverse dynamics model trained on counterfactual data and demonstrations achieves 84.0% mean success across four held-out LIBERO-90 tasks, compared with 47.0% for a full-context inverse model and 21.5% for a local-context model trained only on demonstrations. For forward dynamics, counterfactual supervision reduces RGB prediction error by 34.5% and raises outcome identification from 21.1% to 71.3% among 16 same-state outcomes. OPENWAM provides a common testbed for comparing WAM interaction designs and for studying dynamics learning from video data beyond successful demonstrations.
- Abstract(参考訳): 世界行動モデル(WAM)は将来の予測をロボット制御と組み合わせるが、既存のシステムはビデオのバックボーン、相互作用構造、監督、推論手順を同時に変更し、それらの設計選択を比較するのが難しくなる。
OPENWAMは,共通の因果的ロボット・ビデオ基盤と構成可能なビデオ・アクションインタラクションを基盤として構築されたオープンワールド・アクション・モデリング・フレームワークである。
Wan2.2-5Bから、我々は1万時間以上のビデオで因果ロボット・ビデオの事前訓練を行い、その後、共同、ビデオ・アクション、アクション・テーマ・ビデオ、デカップリング生成をサポートする共有Mixture-of-Transformersアーキテクチャを通じてアクションエキスパートを統合する。
OPENWAMは4つのLIBEROスイートと現実世界のバイマニュアルタスクで高い成功率を達成しており、因果適応によるロボットビデオトレーニングはLIBERO-LongでのVTAの成功を68.4%から97.8%に改善している。
同じ構成可能なアーキテクチャは自然に逆ダイナミクスやフォワードダイナミクスにまで拡張され、カウンターファクトのトランジッションがデモ以外の独立したトレーニングされたダイナミックスモデルをどのように改善するかを研究できます。
ビデオ予測器のみを新しいタスクに適合させると、反ファクトデータとデモで訓練されたローカルコンテキスト逆ダイナミクスモデルが4つの保持されたLIBERO-90タスクで平均84.0%、フルコンテキスト逆モデルで47.0%、デモで訓練されたローカルコンテキストモデルで21.5%となる。
フォワードダイナミクスでは、対実的監督によりRGB予測誤差が34.5%減少し、16の同状態の結果のうち21.1%から71.3%に増加する。
OPENWAMは、WAMインタラクション設計の比較や、成功したデモ以上のビデオデータからの動的学習のための共通のテストベッドを提供する。
関連論文リスト
- World Action Modeling with Progressive Visual Planning [42.47105321176084]
本稿では,協調して行動を予測するプログレッシブ・ワールド・アクション・モデルであるProWAMについて述べる。
この設計は、大規模アクションフリービデオからサブゴール予測を学ぶことができるため、自然にスケールする。
効率的なアクション生成のために、ProWAMは単一のビデオバックボーンフォワードパスを実行し、スパースサブゴール機能をキャッシュする。
論文 参考訳(メタデータ) (2026-10-01T21:32:29Z) - EVO-WAM: Evolving World Action Models through Video-Action Verification [51.68210232964847]
EVO-WAMは、自身の生成したビデオアクション軌跡から学習することで、WAMを見えないタスクに適応するフレームワークである。
コスモス3の平均成功率は20.0%から76.7%に改善され、56.7%となった。
論文 参考訳(メタデータ) (2026-09-29T17:25:35Z) - GE-Act 2.0: Pretraining and Scaling a World-Action Model for Robotic Manipulation [63.853929983870955]
本稿では,ジェニー・エンスペクタ法 2.0 (GE-Act 2.0) について紹介する。
制御指向オートエンコーダ(CoAE)、ワンステップビジュアルプランナー(SVP)、逆ダイナミクスモデル(IDM)を組み合わせている。
それらのコンポーネントは、知識に整合した選択最適化(KASO)で共同で訓練され、記録された行動に適合していると判断された予測された未来のみを選択することで、ミスマッチした監視を減らす。
論文 参考訳(メタデータ) (2026-09-04T17:16:48Z) - ZimaBlue: Evolving Generalizable World Action Models through Scalable Video Pre-training [93.39352617578857]
大規模ビデオから一般化可能なワールドアクションモデルを学ぶためのフレームワークであるZimaBlueを紹介した。
ZimaBlueは3段階のトレーニングカリキュラムに従っており、まず大規模な人間とロボットの自我中心のビデオで因果的エンボディドビデオの事前トレーニングを行う。
ZimaBlueはさらに複数のベンチマークで高いパフォーマンスを実現している。
論文 参考訳(メタデータ) (2026-08-31T18:09:52Z) - DECOWAM: Decoupled Whole-Body World-Action Model for Legged Mobile Manipulation [9.154987050049268]
DeCOWAMは、カメラのエゴモーションをベースアクションとアームアクションとを分離する全身世界アクションモデルである。
固定されたリプレイプロトコルでは、DECWAMはFastWAM上での将来のビデオとアクションの予測を改善し、25.95Mのトレーニング可能な適応パラメータでアクションMSEを21.7%削減した。
これらの結果から,運動視点下でのパラメータ効率のよい共同視覚予測と全身制御を支援することが示唆された。
論文 参考訳(メタデータ) (2026-08-20T14:44:11Z) - Vid2WAM: Distilling Video Diffusion Priors into World Action Models [59.28345153395937]
世界行動モデル(WAM)は、将来の視覚力学とアクションを共同でモデル化することで、ロボットポリシー学習を改善する。
大規模なビデオ基礎モデルからコンパクトなWAM学生へ視覚拡散を先取りするオフライン蒸留フレームワークであるVid2WAMを提案する。
Vid2WAMは、限られた専門家によるデモンストレーションにおいて、新しいタスクの一般化とデータ効率を向上させる。
論文 参考訳(メタデータ) (2026-08-09T08:02:49Z) - Disentangled Robot Learning via Separate Forward and Inverse Dynamics Pretraining [28.30092786035367]
DeFIはビジュアルフォワードと逆ダイナミクスを分離し、各データソースを利用するための新しいフレームワークである。
今後の予測のために,多種多様な人・ロボットビデオで事前訓練された一般フォワード・ダイナミクス・モデル(GFDM)と,ラベルなしビデオ遷移から潜伏行動を予測するための自己教師付き学習によって訓練された一般逆ダイナミクス・モデル(GIDM)を紹介する。
CALVIN ABC-D と SimplerEnv の実験では、DeFI は CALVIN の平均タスク長 4.51 に達し、SimplerEnv-Frac は 51.2% 成功した。
論文 参考訳(メタデータ) (2026-03-27T17:20:10Z) - DiT4DiT: Jointly Modeling Video Dynamics and Actions for Generalizable Robot Control [16.562259973551786]
本稿では,ビデオ拡散変換器とアクション拡散変換器を結合したエンドツーエンドのビデオ・アクション・モデルであるDiT4DiTを紹介する。
DiT4DiTは、再構成後のフレームに頼る代わりに、ビデオ生成プロセスから中間的なデノイング機能を抽出する。
これは最先端の結果を達成し、LIBEROでは98.6%、RoboCasa GR1では50.8%という平均的な成功率に達した。
論文 参考訳(メタデータ) (2026-03-11T06:03:53Z) - World Action Models are Zero-shot Policies [111.91938055103633]
本稿では,予めトレーニングされたビデオ拡散バックボーン上に構築されたワールドアクションモデル(WAM)であるDreamZeroを紹介する。
ビデオとアクションを共同でモデリングすることで、DreamZeroは異種ロボットデータから多様なスキルを効果的に学習する。
ビデオのみによる他のロボットや人間によるデモは、目に見えないタスクのパフォーマンスに対して42%以上の相対的な改善をもたらす。
論文 参考訳(メタデータ) (2026-02-17T15:04:02Z) - Physical Autoregressive Model for Robotic Manipulation without Action Pretraining [65.8971623698511]
我々は、自己回帰ビデオ生成モデルを構築し、物理自己回帰モデル(PAR)を提案する。
PARは、アクション事前トレーニングを必要とせず、物理力学を理解するために、ビデオ事前トレーニングに埋め込まれた世界の知識を活用する。
ManiSkillベンチマークの実験は、PARがPushCubeタスクで100%の成功率を達成したことを示している。
論文 参考訳(メタデータ) (2025-08-13T13:54:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。