論文の概要: UniVerse: Unleashing the Scene Prior of Video Diffusion Models for Robust Radiance Field Reconstruction

• arxiv url: http://arxiv.org/abs/2510.01669v2
• Date: Fri, 03 Oct 2025 04:06:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-06 12:05:48.07451
• Title: UniVerse: Unleashing the Scene Prior of Video Diffusion Models for Robust Radiance Field Reconstruction
• Title（参考訳）: UniVerse:ロバスト放射場再構成のためのビデオ拡散モデルより先にシーンを開放する
• Authors: Jin Cao, Hongrui Wu, Ziyong Feng, Hujun Bao, Xiaowei Zhou, Sida Peng,
• Abstract要約: ビデオ拡散モデルに基づくロバストな再構築のための統一フレームワークUniVerseを紹介する。 具体的には、UniVerseはまず、一貫性のない画像を最初のビデオに変換し、その後、特別に設計されたビデオ拡散モデルを使って、それらを一貫したイメージに復元する。 合成と実世界の両方のデータセットを用いた実験は,頑健な再構築において,我々の手法の強い一般化能力と優れた性能を示す。
• 参考スコア（独自算出の注目度）: 73.29048162438797
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper tackles the challenge of robust reconstruction, i.e., the task of reconstructing a 3D scene from a set of inconsistent multi-view images. Some recent works have attempted to simultaneously remove image inconsistencies and perform reconstruction by integrating image degradation modeling into neural 3D scene representations. However, these methods rely heavily on dense observations for robustly optimizing model parameters. To address this issue, we propose to decouple robust reconstruction into two subtasks: restoration and reconstruction, which naturally simplifies the optimization process. To this end, we introduce UniVerse, a unified framework for robust reconstruction based on a video diffusion model. Specifically, UniVerse first converts inconsistent images into initial videos, then uses a specially designed video diffusion model to restore them into consistent images, and finally reconstructs the 3D scenes from these restored images. Compared with case-by-case per-view degradation modeling, the diffusion model learns a general scene prior from large-scale data, making it applicable to diverse image inconsistencies. Extensive experiments on both synthetic and real-world datasets demonstrate the strong generalization capability and superior performance of our method in robust reconstruction. Moreover, UniVerse can control the style of the reconstructed 3D scene. Project page: https://jin-cao-tma.github.io/UniVerse.github.io/
• Abstract（参考訳）: 本稿では,不整合な多視点画像から3Dシーンを再構成する作業という,頑健な再構築の課題に対処する。 いくつかの最近の研究は、画像劣化モデリングをニューラルネットワークによる3Dシーン表現に統合することにより、画像の不整合を同時に除去し、再構成を試みている。 しかし、これらの手法はモデルパラメータを頑健に最適化するために密度の高い観測に大きく依存している。 この問題に対処するために、我々は頑健な再構築を2つのサブタスクに分離することを提案する。 この目的のために,ビデオ拡散モデルに基づく堅牢な再構築のための統合フレームワークUniVerseを紹介する。 具体的には、UniVerseはまず、一貫性のない画像を最初のビデオに変換し、その後、特別に設計されたビデオ拡散モデルを使って、それらを一貫した画像に復元し、最終的に復元された画像から3Dシーンを再構築する。 ケース・バイ・ケース・バイ・ビューの劣化モデルと比較すると,拡散モデルは大規模データから一般的な場面を学習し,多様な画像の不整合に適応する。 合成データセットと実世界のデータセットの両方に対する大規模な実験は、頑健な再構築において、我々の手法の強力な一般化能力と優れた性能を示す。 さらに、UniVerseは再構成された3Dシーンのスタイルを制御することができる。 プロジェクトページ:https://jin-cao-tma.github.io/UniVerse.github.io/

関連論文リスト

• STream3R: Scalable Sequential 3D Reconstruction with Causal Transformer [72.88105562624838]
  本稿では,ポイントマップ予測をデコーダのみの変換器問題として再構成する新しい3次元再構成手法STream3Rを提案する。 大規模な3Dデータセットから幾何学的先行性を学ぶことで、STream3Rは多様で困難なシナリオにうまく一般化する。 この結果から,オンライン3次元知覚のための因果変換モデルの可能性を浮き彫りにし,ストリーミング環境におけるリアルタイム3次元理解の道を開いた。
  論文  参考訳（メタデータ） (2025-08-14T17:58:05Z)
• DeOcc-1-to-3: 3D De-Occlusion from a Single Image via Self-Supervised Multi-View Diffusion [50.90541069907167]
  閉塞型マルチビュー生成のためのエンドツーエンドフレームワークであるDeOcc-1-to-3を提案する。 私たちの自己教師型トレーニングパイプラインは、隠蔽されたイメージペアと擬似地上構造ビューを活用して、モデル構造を意識した補完とビュー整合性を教える。
  論文  参考訳（メタデータ） (2025-06-26T17:58:26Z)
• GenFusion: Closing the Loop between Reconstruction and Generation via Videos [24.195304481751602]
  本稿では,再現性のあるRGB-Dレンダリングにおける映像フレームの条件付けを学習する再構成駆動型ビデオ拡散モデルを提案する。 また、生成モデルからトレーニングセットへの復元フレームを反復的に追加する循環核融合パイプラインを提案する。
  論文  参考訳（メタデータ） (2025-03-27T07:16:24Z)
• Pragmatist: Multiview Conditional Diffusion Models for High-Fidelity 3D Reconstruction from Unposed Sparse Views [23.94629999419033]
  スパースから3D構造を推定すると、制約のない性質のため、予期せぬ観測は困難である。 近年,データ駆動型入力から暗黙の表現を直接予測し,有望な結果を得る方法が提案されている。 本研究では,限られた入力ビューから完全な観測結果を生成し,再構成を容易にする条件付き新規なビュー合成を提案する。
  論文  参考訳（メタデータ） (2024-12-11T14:30:24Z)
• SCube: Instant Large-Scale Scene Reconstruction using VoxSplats [55.383993296042526]
  SCubeは画像の粗い集合から大規模3次元シーン(幾何学、外観、意味論)を再構成する新しい手法である。 提案手法は,高解像度のスパース・ボクセル・足場上に支持された3次元ガウスの組である,新しい表現VoxSplatを用いて再構成シーンを符号化する。
  論文  参考訳（メタデータ） (2024-10-26T00:52:46Z)
• ReconX: Reconstruct Any Scene from Sparse Views with Video Diffusion Model [16.14713604672497]
  ReconXは、時間生成タスクとして曖昧な再構築課題を再編成する、新しい3Dシーン再構築パラダイムである。 提案したReconXはまずグローバルポイントクラウドを構築し、3D構造条件としてコンテキスト空間にエンコードする。 この条件に導かれ、ビデオ拡散モデルは、ディテール保存され、高い3D一貫性を示すビデオフレームを合成する。
  論文  参考訳（メタデータ） (2024-08-29T17:59:40Z)
• GSD: View-Guided Gaussian Splatting Diffusion for 3D Reconstruction [52.04103235260539]
  単一視点からの3次元オブジェクト再構成のためのガウススプティング表現に基づく拡散モデル手法を提案する。 モデルはGS楕円体の集合で表される3Dオブジェクトを生成することを学習する。 最終的な再構成されたオブジェクトは、高品質な3D構造とテクスチャを持ち、任意のビューで効率的にレンダリングできる。
  論文  参考訳（メタデータ） (2024-07-05T03:43:08Z)
• MVGamba: Unify 3D Content Generation as State Space Sequence Modeling [150.80564081817786]
  本稿では,多視点ガウス再構成器を備えた一般軽量ガウス再構成モデルMVGambaを紹介する。 オフザディテールのマルチビュー拡散モデルを統合することで、MVGambaは単一の画像、スパース画像、テキストプロンプトから3D生成タスクを統一する。 実験により、MVGambaは、すべての3Dコンテンツ生成シナリオで最先端のベースラインを約0.1タイムのモデルサイズで上回ります。
  論文  参考訳（メタデータ） (2024-06-10T15:26:48Z)
• 2L3: Lifting Imperfect Generated 2D Images into Accurate 3D [16.66666619143761]
  マルチビュー(MV)3次元再構成は,生成したMV画像を一貫した3次元オブジェクトに融合させる,有望なソリューションである。 しかし、生成された画像は、通常、一貫性のない照明、不整合幾何学、スパースビューに悩まされ、復元の質が低下する。 本稿では, 内在的分解誘導, 過渡的モノ先行誘導, および3つの問題に対処するための視認性向上を活用する新しい3次元再構成フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-29T02:30:31Z)
• DMV3D: Denoising Multi-View Diffusion using 3D Large Reconstruction Model [86.37536249046943]
  textbfDMV3Dはトランスフォーマーに基づく3次元大規模再構成モデルを用いた新しい3D生成手法である。 再構成モデルでは, 3面のNeRF表現を組み込んで, ノイズの多い多視点画像をNeRF再構成とレンダリングで識別することができる。
  論文  参考訳（メタデータ） (2023-11-15T18:58:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。