論文の概要: Geometry Forcing: Marrying Video Diffusion and 3D Representation for Consistent World Modeling

• arxiv url: http://arxiv.org/abs/2507.07982v1
• Date: Thu, 10 Jul 2025 17:55:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-11 16:40:15.52879
• Title: Geometry Forcing: Marrying Video Diffusion and 3D Representation for Consistent World Modeling
• Title（参考訳）: 幾何強制:連続世界モデリングのためのビデオ拡散と3次元表現の結婚
• Authors: Haoyu Wu, Diankun Wu, Tianyu He, Junliang Guo, Yang Ye, Yueqi Duan, Jiang Bian,
• Abstract要約: 本稿では,映像拡散モデルと物理世界の3次元的性質のギャップを埋めるために,幾何学的強制法を提案する。 我々の重要な洞察は、事前訓練された幾何学基礎モデルの特徴と整列することで、モデル中間表現を幾何学的構造へ導くことである。 我々は、カメラビューコンディショニングとアクションコンディショニングの両方のビデオ生成タスクにおいて、Geometry Forcingを評価する。
• 参考スコア（独自算出の注目度）: 29.723534231743038
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Videos inherently represent 2D projections of a dynamic 3D world. However, our analysis suggests that video diffusion models trained solely on raw video data often fail to capture meaningful geometric-aware structure in their learned representations. To bridge this gap between video diffusion models and the underlying 3D nature of the physical world, we propose Geometry Forcing, a simple yet effective method that encourages video diffusion models to internalize latent 3D representations. Our key insight is to guide the model's intermediate representations toward geometry-aware structure by aligning them with features from a pretrained geometric foundation model. To this end, we introduce two complementary alignment objectives: Angular Alignment, which enforces directional consistency via cosine similarity, and Scale Alignment, which preserves scale-related information by regressing unnormalized geometric features from normalized diffusion representation. We evaluate Geometry Forcing on both camera view-conditioned and action-conditioned video generation tasks. Experimental results demonstrate that our method substantially improves visual quality and 3D consistency over the baseline methods. Project page: https://GeometryForcing.github.io.
• Abstract（参考訳）: ビデオは本質的にダイナミックな3D世界の2Dプロジェクションを表す。 しかし,本研究では,生のビデオデータのみを訓練した映像拡散モデルでは,意味のある幾何学的構造を認識できない場合が多いことを示唆する。 映像拡散モデルと物理世界の基盤となる3次元特性のギャップを埋めるために,映像拡散モデルに潜伏した3次元表現を内在化させる簡易かつ効果的な手法であるGeometry Forcingを提案する。 我々の重要な洞察は、事前訓練された幾何学基礎モデルの特徴と整列することで、モデル中間表現を幾何学的構造へ導くことである。 この目的のために、コサイン類似性による方向整合性を実現するAngular Alignmentと、正規化拡散表現から非正規化幾何学的特徴を回帰することでスケール関連情報を保存するScale Alignmentの2つの相補的アライメントを提案する。 我々は、カメラビューコンディショニングとアクションコンディショニングの両方のビデオ生成タスクにおいて、Geometry Forcingを評価する。 実験により,本手法はベースライン法よりも視覚的品質と3次元の整合性を大幅に向上することが示された。 プロジェクトページ: https://GeometryForcing.github.io

関連論文リスト

• Scalable Adaptation of 3D Geometric Foundation Models via Weak Supervision from Internet Video [76.32954467706581]
  本稿では,生のビデオストリームからGEometric foundationモデルのスケーラブル適応を行うフレームワークであるSAGEを提案する。 階層的なマイニングパイプラインを使用して、ビデオをトレーニングトラジェクトリやハイブリッド監視に変換します。 実験の結果、SAGEはゼロショットの一般化を著しく向上し、チェムファー距離を20-42%削減した。
  論文  参考訳（メタデータ） (2026-02-08T09:53:21Z)
• GeoVideo: Introducing Geometric Regularization into Video Generation Model [46.38507581500745]
  フレームごとの深度予測による潜時拡散モデルの拡大により,ビデオ生成に幾何正則化損失を導入する。 本手法は, 外観生成と3次元構造モデリングのギャップを埋めることにより, 構造的コヒーレンス・時間的形状, 整合性, 物理的妥当性が向上する。
  論文  参考訳（メタデータ） (2025-12-03T05:11:57Z)
• GeoWorld: Unlocking the Potential of Geometry Models to Facilitate High-Fidelity 3D Scene Generation [68.02988074681427]
  画像から3Dのシーン生成にビデオモデルを利用する以前の研究は、幾何学的歪みやぼやけた内容に悩まされる傾向にある。 本稿では,幾何学モデルの可能性を解き放つことにより,画像から3次元のシーン生成のパイプラインを再構築する。 我々のGeoWorldは、1つの画像と所定のカメラ軌道から高忠実度3Dシーンを生成することができ、定性的かつ定量的に先行手法より優れている。
  論文  参考訳（メタデータ） (2025-11-28T13:55:45Z)
• Epipolar Geometry Improves Video Generation Models [73.44978239787501]
  3D一貫性のあるビデオ生成は、生成および再構成タスクにおける多くの下流アプリケーションに大きな影響を与える可能性がある。 エピポーラ幾何学的制約が現代のビデオ拡散モデルをどのように改善するかを考察する。 データ駆動型ディープラーニングを古典的幾何学的コンピュータビジョンでブリッジすることで、空間的に一貫したビデオを生成する実用的な方法を提案する。
  論文  参考訳（メタデータ） (2025-10-24T16:21:37Z)
• Perspective from a Higher Dimension: Can 3D Geometric Priors Help Visual Floorplan Localization? [8.82283453148819]
  建物のフロアプランの自己ローカライズは研究者の興味を引き付けている。 フロアプランは建物の構造を最小限に表現するので、視覚的知覚とフロアプランの様相や幾何学的差異がこの課題に挑戦する。 既存の手法では、2次元幾何学的特徴とポーズフィルタを巧みに利用して有望な性能を実現する。 本稿では,2次元フロアプランの局所化問題を視覚的FLOCアルゴリズムに3次元幾何学的先行点を注入することにより高次元から考察する。
  論文  参考訳（メタデータ） (2025-07-25T01:34:26Z)
• Geometry and Perception Guided Gaussians for Multiview-consistent 3D Generation from a Single Image [10.36303976374455]
  既存のアプローチはしばしば、微調整された事前訓練された2D拡散モデルや、高速ネットワーク推論を通じて直接3D情報を生成することに依存している。 本稿では,新たなモデルトレーニングを必要とせず,幾何や知覚をシームレスに統合する新しい手法を提案する。 提案手法の高忠実度化を実証し, 新規なビュー合成法と3次元再構成法とを比較検討した。
  論文  参考訳（メタデータ） (2025-06-26T11:22:06Z)
• UniGeo: Taming Video Diffusion for Unified Consistent Geometry Estimation [63.90470530428842]
  本研究では、適切な設計と微調整により、ビデオ生成モデルの本質的な一貫性を一貫した幾何推定に有効に活用できることを実証する。 その結果,ビデオのグローバルな幾何学的属性の予測性能が向上し,再構成作業に直接適用できることがわかった。
  論文  参考訳（メタデータ） (2025-05-30T12:31:59Z)
• MagicPortrait: Temporally Consistent Face Reenactment with 3D Geometric Guidance [21.0593460047148]
  本稿では,3次元顔パラメトリックモデルを潜在拡散フレームワークに統合した映像顔再現手法を提案する。 本手法では, 3次元顔パラメトリック表現として, FLAME(Articulated Model and Expressions)モデルを用いる。 提案手法は,高精度な表情表現と頭部ポーズ変動モデルを用いて,高品質な顔アニメーションを生成するのに優れていることを示す。
  論文  参考訳（メタデータ） (2025-04-30T10:30:46Z)
• Can Video Diffusion Model Reconstruct 4D Geometry? [66.5454886982702]
  Sora3Rは、カジュアルなビデオから4Dのポイントマップを推測するために、大きなダイナミックビデオ拡散モデルのリッチ・テンポラリなテンポラリなテンポラリな時間を利用する新しいフレームワークである。 実験により、Sora3Rはカメラのポーズと詳細なシーン形状の両方を確実に復元し、動的4D再構成のための最先端の手法と同等の性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-03-27T01:44:46Z)
• Towards Physical Understanding in Video Generation: A 3D Point Regularization Approach [54.559847511280545]
  三次元幾何学と動的認識を統合した新しい映像生成フレームワークを提案する。 これを実現するために、3Dポイントトラジェクトリで2Dビデオを拡大し、ピクセル空間に配置する。 結果の3D対応ビデオデータセットであるPointVidは、遅延拡散モデルを微調整するために使用される。
  論文  参考訳（メタデータ） (2025-02-05T21:49:06Z)
• Shape from Semantics: 3D Shape Generation from Multi-View Semantics [30.969299308083723]
  既存の3D再構成手法では, 3次元画像, 3次元点雲, 形状輪郭, 単一意味論などのガイダンスを用いて3次元表面を復元する。 図形や外観が、異なる視点から見ると、与えられたテキストの意味と一致した3Dモデルを作成することを目的として、新しい3Dモデリングタスク「Shape from Semantics'」を提案する。
  論文  参考訳（メタデータ） (2025-02-01T07:51:59Z)
• Enhancing Single Image to 3D Generation using Gaussian Splatting and Hybrid Diffusion Priors [17.544733016978928]
  単一の画像から3Dオブジェクトを生成するには、野生で撮影された未ポーズのRGB画像から、目に見えない景色の完全な3D形状とテクスチャを推定する必要がある。 3次元オブジェクト生成の最近の進歩は、物体の形状とテクスチャを再構築する技術を導入している。 本稿では, この限界に対応するために, 2次元拡散モデルと3次元拡散モデルとのギャップを埋めることを提案する。
  論文  参考訳（メタデータ） (2024-10-12T10:14:11Z)
• Deep Geometric Moments Promote Shape Consistency in Text-to-3D Generation [27.43973967994717]
  MT3Dは高忠実度3Dオブジェクトを利用して視点バイアスを克服するテキスト・ツー・3D生成モデルである。 3Dアセットから幾何学的詳細を取り入れることで、MT3Dは多様で幾何学的に一貫したオブジェクトを作成することができる。
  論文  参考訳（メタデータ） (2024-08-12T06:25:44Z)
• A3D: Does Diffusion Dream about 3D Alignment? [73.97853402817405]
  幾何学的アライメントの観点からテキスト駆動型3D生成の問題に取り組む。 テキストプロンプトのセットが与えられたら、意味的に対応する部分同士が整列したオブジェクトの集合を生成することを目指している。 我々は、これらのオブジェクトを共通の潜在空間に埋め込み、これらのオブジェクト間の連続的な遷移を最適化することを提案する。
  論文  参考訳（メタデータ） (2024-06-21T09:49:34Z)
• GeoGS3D: Single-view 3D Reconstruction via Geometric-aware Diffusion Model and Gaussian Splatting [81.03553265684184]
  単視点画像から詳細な3Dオブジェクトを再構成するフレームワークであるGeoGS3Dを紹介する。 本稿では,GDS(Gaussian Divergence Significance)という新しい指標を提案する。 実験により、GeoGS3Dはビュー間で高い一貫性を持つ画像を生成し、高品質な3Dオブジェクトを再構成することを示した。
  論文  参考訳（メタデータ） (2024-03-15T12:24:36Z)
• Wonder3D: Single Image to 3D using Cross-Domain Diffusion [105.16622018766236]
  Wonder3Dは、単一視点画像から高忠実なテクスチャメッシュを効率的に生成する新しい手法である。 画像から3Dまでのタスクの品質,一貫性,効率性を総括的に改善するため,領域間拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-10-23T15:02:23Z)
• AutoDecoding Latent 3D Diffusion Models [95.7279510847827]
  本稿では,3次元オートデコーダをコアとした静的・明瞭な3次元アセットの生成に対して,新しいアプローチを提案する。 3D Autodecoderフレームワークは、ターゲットデータセットから学んだプロパティを潜時空間に埋め込む。 次に、適切な中間体積潜在空間を特定し、ロバストな正規化と非正規化演算を導入する。
  論文  参考訳（メタデータ） (2023-07-07T17:59:14Z)
• Joint Deep Multi-Graph Matching and 3D Geometry Learning from Inhomogeneous 2D Image Collections [57.60094385551773]
  非均質な画像コレクションから変形可能な3Dジオメトリモデルを学ぶためのトレーニング可能なフレームワークを提案する。 さらに,2次元画像で表現された物体の3次元形状も取得する。
  論文  参考訳（メタデータ） (2021-03-31T17:25:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。