論文の概要: WonderFree: Enhancing Novel View Quality and Cross-View Consistency for 3D Scene Exploration

• arxiv url: http://arxiv.org/abs/2506.20590v1
• Date: Wed, 25 Jun 2025 16:28:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-26 21:00:42.85074
• Title: WonderFree: Enhancing Novel View Quality and Cross-View Consistency for 3D Scene Exploration
• Title（参考訳）: WonderFree:3D Scene Explorationのための新しいビュー品質とクロスビュー整合性の実現
• Authors: Chaojun Ni, Jie Li, Haoyun Li, Hengyu Liu, Xiaofeng Wang, Zheng Zhu, Guosheng Zhao, Boyuan Wang, Chenxin Li, Guan Huang, Wenjun Mei,
• Abstract要約: 現在の3D生成手法の主な課題は、探索可能性の制限である。 我々は,任意の角度や方向から自由に3D世界を対話的に生成できるWonderFreeを提案する。
• 参考スコア（独自算出の注目度）: 28.97217489759405
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Interactive 3D scene generation from a single image has gained significant attention due to its potential to create immersive virtual worlds. However, a key challenge in current 3D generation methods is the limited explorability, which cannot render high-quality images during larger maneuvers beyond the original viewpoint, particularly when attempting to move forward into unseen areas. To address this challenge, we propose WonderFree, the first model that enables users to interactively generate 3D worlds with the freedom to explore from arbitrary angles and directions. Specifically, we decouple this challenge into two key subproblems: novel view quality, which addresses visual artifacts and floating issues in novel views, and cross-view consistency, which ensures spatial consistency across different viewpoints. To enhance rendering quality in novel views, we introduce WorldRestorer, a data-driven video restoration model designed to eliminate floaters and artifacts. In addition, a data collection pipeline is presented to automatically gather training data for WorldRestorer, ensuring it can handle scenes with varying styles needed for 3D scene generation. Furthermore, to improve cross-view consistency, we propose ConsistView, a multi-view joint restoration mechanism that simultaneously restores multiple perspectives while maintaining spatiotemporal coherence. Experimental results demonstrate that WonderFree not only enhances rendering quality across diverse viewpoints but also significantly improves global coherence and consistency. These improvements are confirmed by CLIP-based metrics and a user study showing a 77.20% preference for WonderFree over WonderWorld enabling a seamless and immersive 3D exploration experience. The code, model, and data will be publicly available.
• Abstract（参考訳）: 1枚の画像からインタラクティブな3Dシーンを生成することは、没入型仮想世界を作る可能性から大きな注目を集めている。 しかし、現在の3D生成手法における重要な課題は、探索可能性の制限であり、特に目に見えない領域に進出しようとする場合、元の視点を超えて大きな操作で高品質な画像をレンダリングできないことである。 この課題に対処するため,ユーザが任意の角度や方向から自由に3D世界を対話的に生成できるWonderFreeを提案する。 具体的には、この課題を2つの重要なサブプロブレムに分解する:新しいビュー品質、新しいビューにおける視覚的アーティファクトと浮動問題に対処する新しいビュー品質、異なる視点における空間的一貫性を保証するクロスビュー一貫性。 新規なビューにおけるレンダリング品質を向上させるために,フローターやアーティファクトを除去するデータ駆動型ビデオ復元モデルであるWorldRestorerを導入する。 さらに、データ収集パイプラインが提示され、WorldRestorerのトレーニングデータを自動的に収集し、3Dシーン生成に必要なさまざまなスタイルのシーンを処理できるようにする。 さらに,複数の視点を同時に復元し,時空間のコヒーレンスを維持した多視点共同修復機構であるConsistViewを提案する。 実験の結果,WonderFreeは様々な視点でレンダリング品質を向上させるだけでなく,グローバルな一貫性と一貫性を著しく向上させることがわかった。 これらの改善は、CLIPベースのメトリクスと、WonderWorldよりもWonderFreeを77.20%好んで、シームレスで没入的な3D探索体験を可能にするユーザスタディによって確認されている。 コード、モデル、データは公開されます。

関連論文リスト

• Voyager: Long-Range and World-Consistent Video Diffusion for Explorable 3D Scene Generation [66.95956271144982]
  本稿では,単一画像から一貫した3Dポイントクラウドシーケンスを生成する新しいビデオ拡散フレームワークであるVoyagerを紹介する。 既存のアプローチとは異なり、Voyagerはフレーム間で固有の一貫性を持って、エンドツーエンドのシーン生成と再構築を実現している。
  論文  参考訳（メタデータ） (2025-06-04T17:59:04Z)
• WorldExplorer: Towards Generating Fully Navigable 3D Scenes [49.21733308718443]
  WorldExplorerは、幅広い視点で一貫した視覚的品質で、完全にナビゲート可能な3Dシーンを構築する。 私たちは、シーンを深く探求する、短く定義された軌道に沿って、複数のビデオを生成します。 我々の新しいシーン記憶は、各ビデオが最も関連性の高い先行ビューで条件付けされている一方、衝突検出機構は劣化を防止している。
  論文  参考訳（メタデータ） (2025-06-02T15:41:31Z)
• FlexWorld: Progressively Expanding 3D Scenes for Flexiable-View Synthesis [61.78754615822363]
  単一イメージからフレキシブルな3Dシーンを生成するためのフレームワークであるFlexWorldを紹介します。 我々のV2Vモデルは、大きなカメラポーズのバリエーションの下で、新しいビューを生成することができる。 その上でFlexWorldは新しい3Dコンテンツを徐々に生成し、グローバルなシーンに統合します。
  論文  参考訳（メタデータ） (2025-03-17T15:18:38Z)
• WonderVerse: Extendable 3D Scene Generation with Video Generative Models [28.002645364066005]
  拡張可能な3Dシーンを生成するフレームワークであるWonderVerseを紹介する。 WonderVerseは、ビデオ生成基盤モデルに埋め込まれた強力な世界レベルの事前情報を活用する。 様々な3D再構成手法と互換性があり、効率的かつ高品質な生成を可能にする。
  論文  参考訳（メタデータ） (2025-03-12T08:44:51Z)
• From an Image to a Scene: Learning to Imagine the World from a Million 360 Videos [71.22810401256234]
  オブジェクトやシーンの3次元理解は、人間が世界と対話する能力において重要な役割を果たす。 大規模合成およびオブジェクト中心の3Dデータセットは、オブジェクトの3D理解を持つモデルのトレーニングに有効であることが示されている。 我々は360-1M、360度ビデオデータセット、およびスケールの多様な視点から対応するフレームを効率的に見つけるプロセスを紹介した。
  論文  参考訳（メタデータ） (2024-12-10T18:59:44Z)
• ViewCrafter: Taming Video Diffusion Models for High-fidelity Novel View Synthesis [63.169364481672915]
  単一またはスパース画像からジェネリックシーンの高忠実な新規ビューを合成する新しい方法である textbfViewCrafter を提案する。 提案手法は,映像拡散モデルの強力な生成能力と,ポイントベース表現によって提供される粗い3D手がかりを利用して高品質な映像フレームを生成する。
  論文  参考訳（メタデータ） (2024-09-03T16:53:19Z)
• Guess The Unseen: Dynamic 3D Scene Reconstruction from Partial 2D Glimpses [9.529416246409355]
  本研究では,モノクロ映像から世界と複数の動的人間を3次元に再構成する手法を提案する。 キーとなるアイデアとして、最近出現した3Dガウススプラッティング(3D-GS)表現を通じて、世界と複数の人間の両方を表現します。
  論文  参考訳（メタデータ） (2024-04-22T17:59:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。