論文の概要: WorldAlign: Decoupled 4D Reward for World-Consistent Video Generation
- arxiv url: http://arxiv.org/abs/2610.12382v1
- Date: Thu, 08 Oct 2026 17:35:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:54.229039
- Title: WorldAlign: Decoupled 4D Reward for World-Consistent Video Generation
- Title(参考訳): WorldAlign:世界一貫したビデオ生成のために4Dリワードを分離
- Abstract要約: 静的領域と動的主題を意味的に分離する,分離された4D報酬フレームワークであるWorldAlignを紹介する。
静的な領域では、WorldAlignは、セマンティックガイド付きマスクによる再投影を通じて、静的な幾何学と幾何学的世界とを一致させる。
動的主題に対しては、WorldAlignは強い視覚言語モデル(VLM)を前もって動的世界として使用し、VLM-as-a-judge報酬を構築する。
- 参考スコア(独自算出の注目度): 37.72458892552525
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Faithful visual world simulation requires generated videos to maintain 4D world consistency, encompassing both static and dynamic consistency. Static consistency requires coherent 3D structure in static environments across viewpoints, while dynamic consistency requires plausible subject motion and consistent appearance over time. Geometry-aware post-training offers a promising way to improve world consistency. However, existing methods often rely on a static-scene assumption. Even those that accommodate dynamic scenes struggle to provide reliable static-consistency feedback, while dynamic consistency is often overlooked or inadequately assessed. To address these limitations, we introduce WorldAlign, a decoupled 4D reward framework that semantically separates static regions and dynamic subjects and provides feedback by aligning each with a world prior suited to its assumptions. For static regions, WorldAlign aligns static geometry with a geometric world prior through semantically guided masked reprojection, enabling more reliable static-consistency evaluation; an auxiliary camera-motion reward discourages nearly static solutions. For dynamic subjects, WorldAlign uses a strong vision-language model (VLM) as a dynamic world prior and constructs a VLM-as-a-judge reward based on sample-specific checklists that assess dynamicity, physical plausibility, shape, and texture consistency. This decoupled design enables more effective online post-training without requiring human preference annotations. Across two pretrained image-to-video generators, Wan2.1 and Wan2.2, WorldAlign jointly improves static and dynamic consistency over existing methods without suppressing overall or subject motion. These results support decoupled world-prior alignment for more faithful visual world simulation. Project page: https://worldalign.github.io/.
- Abstract(参考訳): 忠実なビジュアルワールドシミュレーションは、4Dワールドの一貫性を維持するために生成されたビデオを必要とし、静的な一貫性と動的一貫性の両方を含んでいる。
静的な一貫性は、視点を越えて静的な環境においてコヒーレントな3D構造を必要とするが、動的一貫性は、プラウシブルな主観運動と時間とともに一貫した外観を必要とする。
ジオメトリ対応のポストトレーニングは、世界整合性を改善するための有望な方法だ。
しかし、既存のメソッドはしばしば静的な仮定に依存します。
動的シーンに対応するものでさえ、信頼できる静的一貫性のフィードバックを提供するのに苦労する一方で、動的一貫性はしばしば見過ごされ、不適切に評価される。
これらの制約に対処するため,我々は,静的領域と動的主題を意味的に分離した4D報酬フレームワークであるWorldAlignを紹介した。
静的領域では、WorldAlignは、セマンティックガイドされたマスクによる再射を通じて、静的幾何学と幾何学的世界との整合性を保ち、より信頼性の高い静的一貫性の評価を可能にし、補助的なカメラモーション報酬は、ほぼ静的なソリューションを妨げる。
動的対象に対して、WorldAlignは、強い視覚言語モデル(VLM)を前もって動的世界として使用し、動的性、物理的妥当性、形状、テクスチャの整合性を評価するサンプル固有のチェックリストに基づいて、VLM-as-a-judge報酬を構築する。
この分離された設計は、人間の好みのアノテーションを必要とせずに、より効果的なオンラインポストトレーニングを可能にする。
Wan2.1 と Wan2.2 の2つの事前訓練されたイメージ・ツー・ビデオ・ジェネレータを通して、WorldAlign は、全体的な動作や被写体の動きを抑えることなく、既存のメソッドに対する静的および動的一貫性を共同で改善する。
これらの結果は、より忠実なビジュアルワールドシミュレーションのための非結合なワールドプライアライメントをサポートする。
プロジェクトページ: https://worldalign.github.io/.com
関連論文リスト
- FlexComposer: Unified Video Compositing from Images to Dynamic Footage with Flexible Trajectory Control [26.208912960696622]
トラジェクティブ誘導条件生成タスクとしてビデオ合成を標準化する統合フレームワークを提案する。
提案手法では,(1)大域的変位から物体の内在的な動きを分離し,不均一な入力を安定,中心となる潜在空間に標準化する統一的フォアグラウンド表現,(2)VAE潜在空間の変換等価性を利用したパラメータフリー機構による目標軌道への変換を行う空間認識潜在射出法,(3)手続き的シミュレーション,実世界の映像映像の相乗化を行うハイブリッドデータセットと合成-Real Curriculum,の3つの重要な設計を紹介する。
論文 参考訳(メタデータ) (2026-07-31T16:59:46Z) - WorldDirector: Building Controllable World Simulators with Persistent Dynamic Memory [106.28234880163723]
WorldDirectorは、高度に制御可能なビデオワールドモデルフレームワークである。
我々のフレームワークは、視覚生成から意味的な動きのオーケストレーションを明示的に分離する。
長時間の視界外から再突入しても,動的実体の正確な視覚的アイデンティティを保たせることができた。
論文 参考訳(メタデータ) (2026-07-02T17:59:59Z) - MetaWorld: Scaling Multi-Agent Video World Model from Single-view Video Data [125.43597497646444]
MetaWorldは、マルチエージェントビデオワールドモデルをシングルビュービデオから直接オープンドメイン環境にスケールする新しいフレームワークである。
クロスビューの一貫性とアイデンティティの整合性を向上し、マルチエージェントビデオワールドモデリングのための高度にスケーラブルで物理駆動のパラダイムを確立する。
論文 参考訳(メタデータ) (2026-06-01T18:20:20Z) - LivingWorld: Interactive 4D World Generation with Environmental Dynamics [8.868060488503847]
リビングワールド(LivingWorld)は、1つの画像から環境動態を持つ4次元世界を生成するインタラクティブなフレームワークである。
LivingWorldはこの課題に対処し、シーンが拡大するにつれて、グローバルなコヒーレントなモーションフィールドを徐々に構築する。
我々はさらに、コンパクトなハッシュベースの運動場を用いて動きを表現し、シーン全体にわたって効率的なクエリと安定した動的伝播を可能にする。
論文 参考訳(メタデータ) (2026-04-02T05:38:48Z) - Dexterous World Models [24.21588354488453]
Dexterous World Model (DWM) はシーンアクション条件付きビデオ拡散フレームワークである。
本稿では,DWMが時間的コヒーレントな映像を生成する方法を示す。
実験により、DWMは、つかむ、開く、動く物体など、現実的で物理的に妥当な相互作用を可能にすることが示されている。
論文 参考訳(メタデータ) (2025-12-19T18:59:51Z) - UrbanGS: Semantic-Guided Gaussian Splatting for Urban Scene Reconstruction [86.4386398262018]
UrbanGSは2Dセマンティックマップと既存の動的ガウスアプローチを使って静的オブジェクトとシーンを区別する。
動的オブジェクトに対して、学習可能な時間埋め込みを用いて時間情報を集約する。
提案手法は, 修復の質と効率性において, 最先端の手法より優れている。
論文 参考訳(メタデータ) (2024-12-04T16:59:49Z) - DynaVol: Unsupervised Learning for Dynamic Scenes through Object-Centric
Voxelization [67.85434518679382]
幾何学構造と物体中心学習を統一した3次元シーン生成モデルDynaVolを提案する。
鍵となるアイデアは、シーンの3D特性を捉えるために、オブジェクト中心のボキセル化を実行することである。
ボクセルの機能は標準空間の変形関数を通じて時間とともに進化し、グローバルな表現学習の基礎を形成する。
論文 参考訳(メタデータ) (2023-04-30T05:29:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。