論文の概要: ForgeWM: Progressive Causal Training for Few-Step Action-Conditioned Video World Models
- arxiv url: http://arxiv.org/abs/2608.14022v1
- Date: Fri, 14 Aug 2026 07:13:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-17 20:14:29.30233
- Title: ForgeWM: Progressive Causal Training for Few-Step Action-Conditioned Video World Models
- Title(参考訳): ForgeWM:Few-Step Action-Conditioned Video World Modelの進歩的因果訓練
- Abstract要約: 本稿では、双方向のアクション条件付きビデオジェネレータを効率的な数ステップのワールドモデルに変換するフレームワークであるForgeWMを紹介する。
2組のMinecraft軌道上で、ForgeWMは、画像品質、参照整列運動対応合意、アクションサイン精度、マウス制御精度の評価システムを率いている。
- 参考スコア(独自算出の注目度): 45.42265012012433
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Action-conditioned video world models require low-latency causal generation and reliable responses to game-native controls. Although causal distillation enables one- or few-step video synthesis, extending it to interactive world models remains challenging, as discrete keyboard states and continuous mouse motion must remain aligned with temporally compressed latent chunks during causal training and autoregressive rollout. We introduce ForgeWM, a progressive framework that transforms a bidirectional action-conditioned video generator into efficient few-step world models through domain adaptation, teacher-forced causal training, causal consistency distillation, and on-policy distribution matching with a bidirectional teacher. The resulting budget-specialized students operate at steady-state denoising budgets of 1, 2, and 4 steps. ForgeWM further supports a dual-path deployment protocol combining latency-critical interaction with optional replay-time refinement, where the one-step student re-noises and refines its saved draft. On paired Minecraft trajectories, ForgeWM leads the evaluated systems in Imaging Quality, reference-aligned motion-profile agreement, action-sign accuracy, and mouse-control accuracy, while achieving the lowest reference LPIPS; the same four-stage recipe transfers to gamepad-controlled FPS gameplay. Replay-time refinement matches four-step reference quality while remaining roughly three times closer to the experienced trajectory than regeneration from noise. These results demonstrate ForgeWM's effectiveness for controllable few-step video generation.
- Abstract(参考訳): アクション条件付きビデオワールドモデルは、低レイテンシ因果生成とゲームネイティブコントロールに対する信頼性の高い応答を必要とする。
因果的蒸留は1段階または数段階のビデオ合成を可能にするが、個別のキーボード状態と連続的なマウスの動きは因果的トレーニングと自己回帰的ロールアウトの間、時間的に圧縮された潜在チャンクと一致し続けなければならないため、対話的な世界モデルに拡張することは依然として困難である。
本稿では、双方向のアクション条件付きビデオ生成装置をドメイン適応、教師力による因果訓練、因果一貫性蒸留、および双方向の教師とのオンライン配信マッチングを通じて、効率的な数ステップの世界モデルに変換するプログレッシブフレームワークであるForgeWMを紹介する。
予算に特化された学生は、1, 2, 4ステップの定常的な教育予算で活動する。
ForgeWMはさらに、レイテンシクリティカルなインタラクションとオプションのリプレイタイムリファインメントを組み合わせたデュアルパスデプロイメントプロトコルをサポートする。
2つのMinecraftトラジェクトリにおいて、ForgeWMは、画像品質、参照アラインメント、アクションサインの精度、マウスコントロールの精度の評価システムをリードし、最低基準LPIPSを達成し、同じ4段階のレシピをゲームパッド制御のFPSゲームプレイに転送する。
リプレイタイムリファインメントは4段階の基準品質と一致し、ノイズからの再生よりも経験した軌道の約3倍近くにとどまる。
これらの結果は、制御可能な数ステップのビデオ生成におけるForgeWMの有効性を示す。
関連論文リスト
- BiWM: Advancing Open-Source Interactive Video World Models with Bidirectional Autoregression [13.648620674803079]
双方向自己回帰パラダイムに基づくインタラクティブなビデオワールドモデルのための,最初のフルスタックフレームワークであるBiWMを紹介する。
トレーニング済みのビデオバックボーンから、BiWMは微調整でカメラコントロールを注入し、数ステップのDistributed Matching Distillationステージを走らせる。
1つのレシピは、Wan2.1-1.3B、Wan2.2-5B、HunyuanVideo-1.5-8B、LTX-2.3-22Bにまたがる。
論文 参考訳(メタデータ) (2026-06-08T20:08:41Z) - minWM: A Full-Stack Open-Source Framework for Real-Time Interactive Video World Models [51.45338589543413]
minWMはリアルタイムインタラクティブなビデオワールドモデルを構築するためのフルスタックのオープンソースフレームワークである。
minWMは既存の双方向T2V/TI2Vビデオ基盤モデルをカメラ制御可能な数ステップの自己回帰世界モデルに変換する。
論文 参考訳(メタデータ) (2026-05-28T17:27:03Z) - VAG: Dual-Stream Video-Action Generation for Embodied Data Synthesis [35.55805069125473]
視覚・言語条件下でビデオとアクションを協調的に生成する,フローマッチングに基づく統合型デュアルストリームフレームワークを提案する。
シミュレーションと実世界の両方の設定で、VAGは競合予測品質を備えた協調したビデオアクションペアを生成し、実行可能な軌道再生をサポートし、有用な合成事前学習データを提供する。
論文 参考訳(メタデータ) (2026-04-10T13:59:54Z) - Towards One-step Causal Video Generation via Adversarial Self-Distillation [71.30373662465648]
最近のハイブリッドビデオ生成モデルは、自己回帰時間力学と拡散に基づく空間認知を組み合わせている。
我々のフレームワークは、複数の推論ステップ設定を柔軟にサポートする単一の蒸留モデルを生成する。
論文 参考訳(メタデータ) (2025-11-03T10:12:47Z) - Real-Time Motion-Controllable Autoregressive Video Diffusion [79.32730467857535]
本稿では,AR-Dragを提案する。このAR-Dragは,多様なモーション制御を備えたリアルタイム画像・ビデオ生成のための,RLで拡張された最初の数ステップのARビデオ拡散モデルである。
まず,基本動作制御をサポートするためのベースI2Vモデルを微調整し,さらに軌道ベース報酬モデルによる強化により改良する。
本設計では、自己学習機構を通じてマルコフ特性を保存し、ステップを選択的に分解することで訓練を加速する。
論文 参考訳(メタデータ) (2025-10-09T12:17:11Z) - ReCoM: Realistic Co-Speech Motion Generation with Recurrent Embedded Transformer [58.49950218437718]
音声に同期した高忠実で一般化可能な人体動作を生成するための効率的なフレームワークであるReCoMを提案する。
Recurrent Embedded Transformer (RET)は、動的埋め込み正規化(DER)をViT(Vit)コアアーキテクチャに統合する。
モデルロバスト性を高めるため,ノイズ抵抗とクロスドメイン一般化の二重性を持つモデルに,提案したDER戦略を取り入れた。
論文 参考訳(メタデータ) (2025-03-27T16:39:40Z) - From Slow Bidirectional to Fast Autoregressive Video Diffusion Models [48.35054927704544]
現在のビデオ拡散モデルは、印象的な生成品質を実現するが、双方向の注意依存のため、インタラクティブなアプリケーションに苦戦する。
この制限には、事前訓練された双方向拡散変換器を自己回帰変換器に適応させ、フレームをオンザフライで生成することで対処する。
我々のモデルは、VBench-Longベンチマークで84.27点のスコアを達成し、以前のすべてのビデオ生成モデルを上回った。
論文 参考訳(メタデータ) (2024-12-10T18:59:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。