論文の概要: Cycle WAM: Coupling Action and Video through Cycle Consistency
- arxiv url: http://arxiv.org/abs/2611.04711v1
- Date: Tue, 03 Nov 2026 11:33:51 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-04 17:21:56.239363
- Title: Cycle WAM: Coupling Action and Video through Cycle Consistency
- Title（参考訳）: Cycle WAM: Cycle Consistencyによるアクションとビデオの結合
- Abstract要約: 我々は、ビデオとアクションを因果関係によってリンクされたペア化されたモダリティとして扱い、統一的なトレーニングフレームワークを通じてそれらの対応を学習する。
サイクルWAMは、双方向変換によるビデオアクション協調トレーニングを強化し、クロスモーダル対応を強化し、前方および逆ダイナミクスを回復する。
得られたモデルはフォワードと逆ダイナミクスの両方をサポートし、事前訓練されたビデオの事前使用によりパフォーマンスを向上させる可能性がある。
- 参考スコア（独自算出の注目度）: 59.888015665907794
- License:
- Abstract: Recent advances in video modeling have driven substantial progress in world action models (WAMs). Existing approaches exploit pretrained video priors by decoding actions from latent representations or inferring them from generated videos. The underlying link is causal: robot actions produce changes in the scene, and video observations of these changes provide evidence for inferring the actions that produced them. However, existing training formulations do not by themselves ensure that actions and their predicted visual consequences are consistent, potentially limiting the use of pretrained capabilities. We treat video and action as paired modalities linked by this causal relationship and learn their correspondence through a unified training framework designed to better exploit pretrained video priors. Cycle WAM first augments video-action co-training with bidirectional conversion to reinforce cross-modal correspondence and recover forward and inverse dynamics. It then introduces a differentiable cycle-reconstruction objective to further couple the two mappings. The resulting model supports both forward and inverse dynamics, with the potential to improve performance through more effective use of pretrained video priors. Cycle WAM achieves state-of-the-art performance among comparable methods on LIBERO-Pro and substantially improves DreamZero on DROID. Comparisons with UWM characterize its inverse-dynamics performance and show sharper visual detail in the displayed forward-dynamics predictions.
- Abstract（参考訳）: 近年のビデオモデリングが進歩し、世界アクションモデル(WAM)が大幅に進歩している。
既存のアプローチは、遅延表現からのアクションをデコードしたり、生成されたビデオからそれらを推測することで、事前訓練されたビデオの先行を悪用する。
ロボットのアクションはシーンに変化をもたらし、これらの変化のビデオ観察は、それらを生み出したアクションを推測する証拠となる。
しかし、既存のトレーニングの定式化は、アクションとその予測された視覚効果が一貫していることを保証するものではなく、事前訓練された能力の使用を制限する可能性がある。
我々は、この因果関係に結びついている対のモダリティとしてビデオとアクションを扱い、事前訓練されたビデオの先行をうまく活用するための統一的なトレーニングフレームワークを通してそれらの対応を学習する。
サイクルWAMは、双方向変換によるビデオアクション協調トレーニングを強化し、クロスモーダル対応を強化し、前方および逆ダイナミクスを回復する。
次に、2つのマッピングをさらに結合するために、微分可能なサイクル再構成の目的を導入する。
得られたモデルはフォワードと逆ダイナミクスの両方をサポートし、事前訓練されたビデオの事前使用によりパフォーマンスを向上させる可能性がある。
Cycle WAMは、LIBERO-Proで同等のメソッドで最先端のパフォーマンスを実現し、DROIDでDreamZeroを大幅に改善した。
UWMとの比較では、その逆動力学的性能を特徴付け、表示された前方動力学的予測においてよりシャープな視覚的詳細を示す。
関連論文リスト
- Native Action-Prior Learning from Videos for World Action Models [41.270302394229404]
本稿では、観察のみのビデオからアクションポリシーを直接事前学習することで、ネイティブアクションプライアラーニングを導入するNAVA-WAMを提案する。
トレーニングは2つの段階から構成される。まずは観察のみの動画を事前訓練し、視覚的遷移に対する将来のビデオフローマッチングの監督は、トランジッション構造化された共同注意によって促進される。
第2に、動作ラベル付きデモンストレーションを用いて、共同ビデオ-アクションフローマッチングによるロボット制御のためのアクション-DiTの訓練後、非対称な注意が反復的動作の分解から視覚枝を分離し、効率的なアクションのみ推論を可能にする。
論文 参考訳（メタデータ） (2026-10-02T14:41:05Z) - Vid2WAM: Distilling Video Diffusion Priors into World Action Models [59.28345153395937]
世界行動モデル(WAM)は、将来の視覚力学とアクションを共同でモデル化することで、ロボットポリシー学習を改善する。
大規模なビデオ基礎モデルからコンパクトなWAM学生へ視覚拡散を先取りするオフライン蒸留フレームワークであるVid2WAMを提案する。
Vid2WAMは、限られた専門家によるデモンストレーションにおいて、新しいタスクの一般化とデータ効率を向上させる。
論文 参考訳（メタデータ） (2026-08-09T08:02:49Z) - DeVA: Decoupled Video-Action Model with physical guidance for robot policy learning [28.673173377342593]
一般的なロボット操作は、言語命令を実行しながら視覚シーンがどのように進化するかを予測するポリシーを必要とする。
DeVAはDecoupled Video-Actionモデルであり、特殊ビデオとアクションの専門家、多レベル機能転送、物理的ガイダンスを備えている。
シミュレーションベンチマークと実世界のデプロイの両方の実験では、限られたデータによる強力なパフォーマンス、統一アーキテクチャよりも高速な収束、物理的ガイダンスによるパフォーマンス向上が示されている。
論文 参考訳（メタデータ） (2026-07-27T08:37:35Z) - GigaWorld-Policy: An Efficient Action-Centered World--Action Model [50.107640832046464]
GigaWorld-Policyはアクション中心のWAMで、2Dピクセルアクションのダイナミクスを学習し、オプションのビデオ生成で効率的なアクションデコーディングを可能にする。
実世界のロボットプラットフォームでの実験結果によると、GigaWorld-Policyは主要なWAMベースラインであるMotusの9倍高速で動作する。
論文 参考訳（メタデータ） (2026-03-18T00:52:02Z) - Physical Autoregressive Model for Robotic Manipulation without Action Pretraining [65.8971623698511]
我々は、自己回帰ビデオ生成モデルを構築し、物理自己回帰モデル(PAR)を提案する。
PARは、アクション事前トレーニングを必要とせず、物理力学を理解するために、ビデオ事前トレーニングに埋め込まれた世界の知識を活用する。
ManiSkillベンチマークの実験は、PARがPushCubeタスクで100%の成功率を達成したことを示している。
論文 参考訳（メタデータ） (2025-08-13T13:54:51Z) - Unified Video Action Model [47.88377984526902]
統合されたビデオとアクションモデルは、アクション予測のためのリッチなシーン情報を提供するロボット工学にとって重要な約束である。
我々は,映像とアクションの予測を協調的に最適化し,高精度かつ効率的なアクション推論を実現するUnified Video Action Model (UVA)を提案する。
広範な実験により、UVAは幅広いロボティクスタスクの汎用的なソリューションとして機能できることが実証された。
論文 参考訳（メタデータ） (2025-02-28T21:38:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。