論文の概要: CausalAlign: Causal Alignment of Video Generation Models for Consistent Ego-Motion

• arxiv url: http://arxiv.org/abs/2610.29915v1
• Date: Wed, 21 Oct 2026 15:54:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 09:50:43.260819
• Title: CausalAlign: Causal Alignment of Video Generation Models for Consistent Ego-Motion
• Title（参考訳）: CausalAlign: 一貫性エゴ運動のためのビデオ生成モデルの因果アライメント
• Abstract要約: 2つのコンポーネントからなる因果アライメントフレームワークCausalAlignを提案する。 まず、線形プローブと因果介入を用いて、VGM内での正確なエゴ運動の表現、使用、保持の精度を診断する。 第2に、同定された層における表現をデルタトケン空間を通して3次元基礎モデルに整列させることにより、VGMのエゴモーション状態を強化する。
• 参考スコア（独自算出の注目度）: 28.06818088700827
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion-based video generation models (VGMs) can produce visually plausible videos, yet their camera ego-motion often drifts over long horizons. Camera ego-motion determines how the viewpoint changes between frames and is essential for maintaining consistent geometry and trajectories. To address this problem, we propose CausalAlign, a causal alignment framework with two components. First, we diagnose how precise ego motion is represented, used, and retained within VGMs using linear probes and causal interventions, revealing a rise-and-fall pattern during denoising. Second, we strengthen ego-motion state in VGM by aligning the representations at the identified layers to a 3D foundation model through delta-token space. This space encodes the changes between consecutive frames, allowing the alignment to focus on ego-motion dynamics rather than static scene content. With Wan2.2 fine-tuned on DL3DV and RealEstate10K, CausalAlign can largely improve motion accuracy, geometric consistency, and temporal smoothness, while preserving visual quality. For example, it improves geometric consistency by more than 20% relative to the base model. Moreover, with the fine-tuned VGM, CausalAlign improves the success rate of world action models (WAMs) by 10 points on mobile manipulation tasks of RoboCasa365 benchmark. Overall, CausalAlign improves ego-motion consistency in diffusion-based VGMs and yields noticeable gains in embodied models.
• Abstract（参考訳）: 拡散に基づくビデオ生成モデル(VGM)は、視覚的に可視なビデオを生成することができるが、カメラのエゴモーションはしばしば長い地平線の上を漂う。 カメラのエゴモーションは、視点がフレーム間でどのように変化するかを決定し、一貫した幾何学と軌跡を維持するのに不可欠である。 この問題に対処するために,2つのコンポーネントからなる因果アライメントフレームワークCausalAlignを提案する。 まず、線形プローブと因果介入を用いて、VGM内での正確なエゴ運動の表現、使用、保持の正確さを診断し、復調中の立ち上がりパターンを明らかにした。 第2に、同定された層における表現をデルタトケン空間を通して3次元基礎モデルに整列させることにより、VGMのエゴモーション状態を強化する。 この空間は連続するフレーム間の変化を符号化し、アライメントは静的なシーンコンテンツではなく、エゴモーションのダイナミクスに集中することができる。 Wan2.2はDL3DVとRealEstate10Kで微調整されているため、CausalAlignは視覚的品質を維持しながら、運動精度、幾何的一貫性、時間的滑らかさを大幅に改善することができる。 例えば、基底モデルに対する幾何整合性は20%以上向上する。 さらに、微調整されたVGMにより、CausalAlignは、RoboCasa365ベンチマークのモバイル操作タスクにおいて、ワールドアクションモデル(WAM)の成功率を10ポイント改善する。 全体として、CausalAlignは拡散ベースのVGMのエゴモーション一貫性を改善し、エンボディモデルで顕著な利得を得る。

関連論文リスト

• Decoupling Action from Egocentric Observation for World Simulation [90.38609292843644]
  エゴセントリックな行動伝達は、エゴセントリックな観察からセマンティックな行動を切り離し、新しい視覚的文脈でそれらを再現することを目的としている。 本稿では,エゴセントリックな行動伝達のためのテストタイムフレームワークであるEgoACTについて紹介する。 EgoActionBenchは、多様なエゴセントリックな操作シナリオにおいて、アクションの保存、視覚的品質、手動の可視性を評価するためのベンチマークである。
  論文  参考訳（メタデータ） (2026-10-20T09:52:46Z)
• EgoFlow: Gradient-Guided Flow Matching for Egocentric 6DoF Object Motion Generation [47.32597153743819]
  マルチモーダルなエゴセントリックな観測を前提とした,現実的かつ物理的に可視な軌道を合成するフローマッチングフレームワークであるEgoFlowを提案する。 この結果は,スケーラブルで物理的に基盤付けられた自我中心の動作理解のためのフローベース生成モデリングの可能性を浮き彫りにした。
  論文  参考訳（メタデータ） (2026-04-01T21:43:57Z)
• EgoReAct: Egocentric Video-Driven 3D Human Reaction Generation [84.37917777533963]
  EgoReActは,エゴセントリックな映像ストリームからリアルタイムに3Dアライメントされた人間の反応運動を生成する最初のフレームワークである。 EgoReAct は,従来の手法に比べて極めて高いリアリズム,空間整合性,生成効率を実現している。
  論文  参考訳（メタデータ） (2025-12-28T06:44:05Z)
• M2DAO-Talker: Harmonizing Multi-granular Motion Decoupling and Alternating Optimization for Talking-head Generation [65.48046909056468]
  我々は,音声音声生成をビデオ前処理,モーション表現,レンダリング再構成を含む統一的なフレームワークに再構成する。 M2DAO-Talkerは2.43dBのPSNRの改善とユーザ評価ビデオの画質0.64アップで最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-07-11T04:48:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。