論文の概要: Rein3D: Reinforced 3D Indoor Scene Generation with Panoramic Video Diffusion Models

• arxiv url: http://arxiv.org/abs/2604.10578v2
• Date: Tue, 14 Apr 2026 11:24:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-15 14:01:13.335762
• Title: Rein3D: Reinforced 3D Indoor Scene Generation with Panoramic Video Diffusion Models
• Title（参考訳）: Rein3D:パノラマビデオ拡散モデルによる3次元室内シーンの強化
• Authors: Dehui Wang, Congsheng Xu, Rong Wei, Yue Shi, Shoufa Chen, Dingxiang Luo, Tianshuo Yang, Xiaokang Yang, Wei Sui, Yusen Qin, Rui Tang, Yao Mu,
• Abstract要約: Rein3Dは、完全な360度屋内環境を再構築するフレームワークである。 我々は不完全なパノラマ動画のレンダリングに放射状探査戦略を採用している。 これらの配列はパノラマビデオ・ビデオ拡散モデルにより復元され、高忠実度幾何やテクスチャを合成するためにビデオ超解像によりさらに拡張される。
• 参考スコア（独自算出の注目度）: 38.45163624089566
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The growing demand for Embodied AI and VR applications has highlighted the need for synthesizing high-quality 3D indoor scenes from sparse inputs. However, existing approaches struggle to infer massive amounts of missing geometry in large unseen areas while maintaining global consistency, often producing locally plausible but globally inconsistent reconstructions. We present Rein3D, a framework that reconstructs full 360-degree indoor environments by coupling explicit 3D Gaussian Splatting (3DGS) with temporally coherent priors from video diffusion models. Our approach follows a "restore-and-refine" paradigm: we employ a radial exploration strategy to render imperfect panoramic videos along trajectories starting from the origin, effectively uncovering occluded regions from a coarse 3DGS initialization. These sequences are restored by a panoramic video-to-video diffusion model and further enhanced via video super-resolution to synthesize high-fidelity geometry and textures. Finally, these refined videos serve as pseudo-ground truths to update the global 3D Gaussian field. To support this task, we construct PanoV2V-15K, a dataset of over 15K paired clean and degraded panoramic videos for diffusion-based scene restoration. Experiments demonstrate that Rein3D produces photorealistic and globally consistent 3D scenes and significantly improves long-range camera exploration compared with existing baselines.
• Abstract（参考訳）: Embodied AIとVRアプリケーションへの需要が高まり、スパース入力から高品質な3D屋内シーンを合成する必要性が浮き彫りになっている。 しかし、既存のアプローチは、大きめの目に見えない領域で大量の欠落した幾何を推測するのに苦労し、大域的な一貫性を維持し、しばしば局所的に可塑性であるが、大域的に一貫性のない再構築を生み出す。 ビデオ拡散モデルから時間的コヒーレントな先行情報と明示的な3Dガウススプラッティング(3DGS)を結合することにより,全360度屋内環境を再構築するフレームワークRein3Dを提案する。 我々は、原点から始まる不完全なパノラマ動画を軌道に沿ってレンダリングするために放射状探索戦略を採用し、粗い3DGS初期化から隠蔽領域を効果的に発見する。 これらの配列はパノラマビデオ・ビデオ拡散モデルにより復元され、高忠実度幾何やテクスチャを合成するためにビデオ超解像によりさらに拡張される。 最後に、これらの改良されたビデオは、グローバルな3Dガウスの分野を更新するための偽の地上真実として機能する。 この課題を支援するために,拡散型シーン復元のための15K以上のペア・ペア・クリーン・デグレード・パノラマ映像のデータセットであるPanoV2V-15Kを構築した。 実験により、Rein3Dはフォトリアリスティックでグローバルに一貫した3Dシーンを生成し、既存のベースラインと比較して長距離カメラの探索を大幅に改善することが示された。

関連論文リスト

• World Reconstruction From Inconsistent Views [54.12773637505746]
  ビデオ拡散モデルは多様な世界を生成するが、個々のフレームは出力シーケンス全体の3D一貫性を欠いていることが多い。 ビデオフレームをグローバルに一貫性のある座標フレームに厳密に整列させることにより、これらの不整合を処理する新しい手法を提案する。 我々は,我々の3Dシーンがベースラインよりも高品質であることを示し,映像モデルを効果的に3D一貫性のあるワールドジェネレータにする。
  論文  参考訳（メタデータ） (2026-03-17T16:18:08Z)
• Matrix-3D: Omnidirectional Explorable 3D World Generation [20.568791715708134]
  広視野全方位3次元世界生成のためのパノラマ表現を利用するフレームワークMatrix-3Dを提案する。 まず,シーンメッシュレンダリングを条件として,軌跡誘導パノラマ動画拡散モデルを訓練する。 本研究では, パノラマシーン映像を3次元世界へ持ち上げるために, (1) 高速3次元シーン再構成のためのフィードフォワード大パノラマ再構成モデル, (2) 正確かつ詳細な3次元シーン再構成のための最適化ベースパイプラインの2つの方法を提案する。
  論文  参考訳（メタデータ） (2025-08-11T15:29:57Z)
• Voyager: Long-Range and World-Consistent Video Diffusion for Explorable 3D Scene Generation [66.95956271144982]
  本稿では,単一画像から一貫した3Dポイントクラウドシーケンスを生成する新しいビデオ拡散フレームワークであるVoyagerを紹介する。 既存のアプローチとは異なり、Voyagerはフレーム間で固有の一貫性を持って、エンドツーエンドのシーン生成と再構築を実現している。
  論文  参考訳（メタデータ） (2025-06-04T17:59:04Z)
• WorldExplorer: Towards Generating Fully Navigable 3D Scenes [48.16064304951891]
  WorldExplorerは、幅広い視点で一貫した視覚的品質で、完全にナビゲート可能な3Dシーンを構築する。 私たちは、シーンを深く探求する、短く定義された軌道に沿って、複数のビデオを生成します。 我々の新しいシーン記憶は、各ビデオが最も関連性の高い先行ビューで条件付けされている一方、衝突検出機構は劣化を防止している。
  論文  参考訳（メタデータ） (2025-06-02T15:41:31Z)
• ReconX: Reconstruct Any Scene from Sparse Views with Video Diffusion Model [16.14713604672497]
  ReconXは、時間生成タスクとして曖昧な再構築課題を再編成する、新しい3Dシーン再構築パラダイムである。 提案したReconXはまずグローバルポイントクラウドを構築し、3D構造条件としてコンテキスト空間にエンコードする。 この条件に導かれ、ビデオ拡散モデルは、ディテール保存され、高い3D一貫性を示すビデオフレームを合成する。
  論文  参考訳（メタデータ） (2024-08-29T17:59:40Z)
• DreamScene360: Unconstrained Text-to-3D Scene Generation with Panoramic Gaussian Splatting [56.101576795566324]
  テキストから3D 360$circ$のシーン生成パイプラインを提示する。 提案手法は, 2次元拡散モデルの生成力を利用して, 自己複製を促進する。 当社の手法は,360ドル(約3万2000円)の視野内で,グローバルに一貫した3Dシーンを提供する。
  論文  参考訳（メタデータ） (2024-04-10T10:46:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。