論文の概要: VideoWeave: Unlocking Geometric Consistency in Video Generation via Joint Geometry-Video Modeling
- arxiv url: http://arxiv.org/abs/2606.14162v1
- Date: Fri, 12 Jun 2026 06:41:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-15 16:00:42.77929
- Title: VideoWeave: Unlocking Geometric Consistency in Video Generation via Joint Geometry-Video Modeling
- Title（参考訳）: VideoWeave:ジョイントジオメトリ-ビデオモデリングによるビデオ生成における幾何学的一貫性の解錠
- Authors: Xunzhi Xiang, Zixuan Duan, Yabo Chen, Zhengxuan Wei, Guiyu Zhang, Zixiao Gu, Zhe Gao, Haibin Huang, Chi Zhang, Qi Fan, Xuelong Li,
- Abstract要約: ビデオ拡散モデルは、時間とともに3D構造を保存できないことが多い。
既存の手法は通常、明示的な幾何再構成を用いて幾何整合を強制する。
我々は,暗黙的幾何モデルを用いて生成分布を制約する潜在空間後学習フレームワークであるVideoWeaveを提案する。
- 参考スコア（独自算出の注目度）: 49.98112719317813
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large-scale video diffusion models often fail to preserve 3D structure over time, causing geometric drift and implausible motion under viewpoint changes. Existing methods usually enforce geometric consistency by using explicit geometry reconstructions, such as depth maps, point clouds, or reconstructed 3D structures, to define conditions, supervision, or reward signals, making the generator sensitive to errors from upstream geometry pipelines. We propose VideoWeave, a latent-space post-training framework that uses implicit geometry-model features to constrain the generative distribution, providing a more flexible and non-rigid form of guidance that mitigates the impact of reconstruction errors from geometry models. Specifically, VideoWeave adapts these features into geometry latents and jointly models them with video latents in a shared denoising space, allowing geometry to shape the generative distribution during training. To support this process, we build GeoVid-80K, an 80K-video dataset with paired appearance and geometry representations. Experiments on text-to-video and image-to-video generation show that VideoWeave improves geometric coherence while preserving strong visual quality. VideoWeave project page at https://videoweave.github.io/
- Abstract（参考訳）: 大規模なビデオ拡散モデルでは、時間とともに3次元構造を保存できず、幾何学的ドリフトや視線変化による不明瞭な動きを引き起こすことが多い。
既存の手法は通常、深度マップ、点雲、再構成された3次元構造などの明示的な幾何学的再構成を使用して、条件、監督、報酬信号を定義し、上流の幾何学的パイプラインからの誤差に敏感なジェネレータを作る。
我々は、暗黙的な幾何モデル特徴を用いて生成分布を制限し、幾何モデルからの再構成エラーの影響を緩和する、より柔軟で厳密でないガイダンスを提供する、潜時空間のポストトレーニングフレームワークであるVideoWeaveを提案する。
具体的には、VideoWeaveはこれらの特徴をジオメトリラテントに適応させ、ビデオラテントと共同で共有されたデノナイジング空間でビデオラテントをモデル化することで、トレーニング中の生成分布を形作ることができる。
このプロセスをサポートするために、GeoVid-80Kという80Kビデオデータセットを構築した。
テキスト・ツー・ビデオと画像・ビデオ生成の実験により、VideoWeaveは、強力な視覚的品質を維持しながら、幾何学的コヒーレンスを改善していることが示された。
VideoWeave project page at https://videoweave.github.io/
関連論文リスト
- GeoFlow: Enforcing Implicit Geometric Consistency in Video Generation [46.507099021313074]
生成した映像中の動きがコヒーレントなシーンと互換性があるかどうかを測定する。
我々はこれを光学的流れ、奥行き予測、および剛性領域と動的領域の分離に対応する特徴ベースの対応を用いて運用する。
実験は、知覚品質を保ちながら、強いベースライン上での時間的幾何学的アーティファクトの大幅な減少を示す。
論文 参考訳（メタデータ） (2026-05-18T13:17:08Z) - Quantitative Video World Model Evaluation for Geometric-Consistency [18.53748808467407]
生成ビデオモデルは暗黙の世界モデルとしてますます研究されている。
物理的に妥当な3D構造と動きを創出するかどうかを評価することは依然として困難である。
生成ビデオにおける幾何コヒーレンスを監査するフレームワークであるPDI-Benchを紹介する。
論文 参考訳（メタデータ） (2026-05-14T17:59:04Z) - GeoNVS: Geometry Grounded Video Diffusion for Novel View Synthesis [73.97869945427645]
GeoNVSは、幾何学的忠実度とカメラ制御性の両方を明示的な3D幾何学的ガイダンスによって強化する新規なビューシンセサイザーである。
GS-Adapterは3次元ガウス表現に入力ビュー拡散特徴を持ち上げ、幾何学的に矛盾しない表現を補正するために拡散特徴を適応的に融合させる。
9シーンと18設定の実験では最先端のパフォーマンスを示し、SEVAやCameraCtrlよりも11.3%、14.9%改善されている。
論文 参考訳（メタデータ） (2026-03-16T08:23:00Z) - Scalable Adaptation of 3D Geometric Foundation Models via Weak Supervision from Internet Video [76.32954467706581]
本稿では,生のビデオストリームからGEometric foundationモデルのスケーラブル適応を行うフレームワークであるSAGEを提案する。
階層的なマイニングパイプラインを使用して、ビデオをトレーニングトラジェクトリやハイブリッド監視に変換します。
実験の結果、SAGEはゼロショットの一般化を著しく向上し、チェムファー距離を20-42%削減した。
論文 参考訳（メタデータ） (2026-02-08T09:53:21Z) - GeoVideo: Introducing Geometric Regularization into Video Generation Model [46.38507581500745]
フレームごとの深度予測による潜時拡散モデルの拡大により,ビデオ生成に幾何正則化損失を導入する。
本手法は, 外観生成と3次元構造モデリングのギャップを埋めることにより, 構造的コヒーレンス・時間的形状, 整合性, 物理的妥当性が向上する。
論文 参考訳（メタデータ） (2025-12-03T05:11:57Z) - GeoWorld: Unlocking the Potential of Geometry Models to Facilitate High-Fidelity 3D Scene Generation [68.02988074681427]
画像から3Dのシーン生成にビデオモデルを利用する以前の研究は、幾何学的歪みやぼやけた内容に悩まされる傾向にある。
本稿では,幾何学モデルの可能性を解き放つことにより,画像から3次元のシーン生成のパイプラインを再構築する。
我々のGeoWorldは、1つの画像と所定のカメラ軌道から高忠実度3Dシーンを生成することができ、定性的かつ定量的に先行手法より優れている。
論文 参考訳（メタデータ） (2025-11-28T13:55:45Z) - Epipolar Geometry Improves Video Generation Models [73.44978239787501]
3D一貫性のあるビデオ生成は、生成および再構成タスクにおける多くの下流アプリケーションに大きな影響を与える可能性がある。
エピポーラ幾何学的制約が現代のビデオ拡散モデルをどのように改善するかを考察する。
データ駆動型ディープラーニングを古典的幾何学的コンピュータビジョンでブリッジすることで、空間的に一貫したビデオを生成する実用的な方法を提案する。
論文 参考訳（メタデータ） (2025-10-24T16:21:37Z) - Geometry Forcing: Marrying Video Diffusion and 3D Representation for Consistent World Modeling [29.723534231743038]
本稿では,映像拡散モデルと物理世界の3次元的性質のギャップを埋めるために,幾何学的強制法を提案する。
我々の重要な洞察は、事前訓練された幾何学基礎モデルの特徴と整列することで、モデル中間表現を幾何学的構造へ導くことである。
我々は、カメラビューコンディショニングとアクションコンディショニングの両方のビデオ生成タスクにおいて、Geometry Forcingを評価する。
論文 参考訳（メタデータ） (2025-07-10T17:55:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。