論文の概要: Improving Novel view synthesis of 360$^\circ$ Scenes in Extremely Sparse Views by Jointly Training Hemisphere Sampled Synthetic Images

• arxiv url: http://arxiv.org/abs/2505.19264v1
• Date: Sun, 25 May 2025 18:42:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:43.018767
• Title: Improving Novel view synthesis of 360$^\circ$ Scenes in Extremely Sparse Views by Jointly Training Hemisphere Sampled Synthetic Images
• Title（参考訳）: 共同学習半球サンプリング画像による360$^\circ$Scenesの超スパースビューにおける新しいビュー合成の改良
• Authors: Guangan Chen, Anh Minh Truong, Hanhe Lin, Michiel Vlaminck, Wilfried Philips, Hiep Luong,
• Abstract要約: バーチャルリアリティや拡張現実といったアプリケーションには、非常にスパースなインプットビューから360ドル(約3万2000円)の新たなビュー合成が不可欠です。 本稿では,非常にスパースな視点における新しい視点合成の枠組みを提案する。
• 参考スコア（独自算出の注目度）: 6.273625958279926
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Novel view synthesis in 360$^\circ$ scenes from extremely sparse input views is essential for applications like virtual reality and augmented reality. This paper presents a novel framework for novel view synthesis in extremely sparse-view cases. As typical structure-from-motion methods are unable to estimate camera poses in extremely sparse-view cases, we apply DUSt3R to estimate camera poses and generate a dense point cloud. Using the poses of estimated cameras, we densely sample additional views from the upper hemisphere space of the scenes, from which we render synthetic images together with the point cloud. Training 3D Gaussian Splatting model on a combination of reference images from sparse views and densely sampled synthetic images allows a larger scene coverage in 3D space, addressing the overfitting challenge due to the limited input in sparse-view cases. Retraining a diffusion-based image enhancement model on our created dataset, we further improve the quality of the point-cloud-rendered images by removing artifacts. We compare our framework with benchmark methods in cases of only four input views, demonstrating significant improvement in novel view synthesis under extremely sparse-view conditions for 360$^\circ$ scenes.
• Abstract（参考訳）: バーチャルリアリティや拡張現実のようなアプリケーションには、非常にスパースな入力ビューから360$^\circ$のシーンで新しいビュー合成が不可欠である。 本稿では,非常にスパースな視点における新しい視点合成の枠組みを提案する。 DUSt3Rを用いて、カメラのポーズを推定し、高密度の点雲を生成する。 推定したカメラのポーズを用いて、シーンの上半球空間から追加のビューを密にサンプリングし、そこから合成画像と点雲を合わせて描画する。 スパースビューからの参照画像と濃密にサンプリングされた合成画像の組み合わせによる3次元ガウス散乱モデルの訓練は、3次元空間におけるシーンカバレッジを大きくし、スパースビューの場合の限られた入力によるオーバーフィットの課題に対処する。 作成したデータセット上で拡散に基づく画像強調モデルをトレーニングすることにより、アーティファクトを除去することで、ポイントクラウドレンダリング画像の品質をさらに向上する。 入力ビューが4つしかない場合のベンチマーク手法と比較し、360$^\circ$シーンの極めてスパースなビュー条件下での新規ビュー合成の大幅な改善を示す。

関連論文リスト

• Stable Virtual Camera: Generative View Synthesis with Diffusion Models [51.71244310522393]
  本稿では,シーンの新たなビューを生成する汎用拡散モデルであるスタブルバーチャルカメラ(Seva)を紹介する。 このアプローチは、シンプルなモデル設計、最適化されたトレーニングレシピ、柔軟なサンプリング戦略によってこれらの制限を克服する。 提案手法では,シームレスなループ閉鎖により,最大半分間の高品質なビデオを生成することができる。
  論文  参考訳（メタデータ） (2025-03-18T17:57:22Z)
• Sparse Input View Synthesis: 3D Representations and Reliable Priors [0.8158530638728501]
  新しいビュー合成はコンピュータビジョンとグラフィックスの基本的な問題である。 最近の3D表現は、新しい視点からレンダリングされた画像の品質を著しく向上させる。 静的シーンと動的シーンの両方に対するスパース入力新規ビュー合成問題に焦点をあてる。
  論文  参考訳（メタデータ） (2024-11-20T18:45:46Z)
• Sampling for View Synthesis: From Local Light Field Fusion to Neural Radiance Fields and Beyond [27.339452004523082]
  局所光電場融合は、サンプルビューの不規則なグリッドから現実的なビュー合成を行うアルゴリズムを提案する。 我々は、最大4000倍のビューを用いて、Nyquistレートビューサンプリングの知覚品質を実現する。 スパースおよび単一画像ビュー合成に関する最近の研究結果のいくつかを再現する。
  論文  参考訳（メタデータ） (2024-08-08T16:56:03Z)
• SPARF: Neural Radiance Fields from Sparse and Noisy Poses [58.528358231885846]
  SPARF(Sparse Pose Adjusting Radiance Field)を導入し,新規な視点合成の課題に対処する。 提案手法は、NeRFを共同学習し、カメラのポーズを洗練するために、多視点幾何学的制約を利用する。
  論文  参考訳（メタデータ） (2022-11-21T18:57:47Z)
• Free View Synthesis [100.86844680362196]
  本稿では,シーンの周囲に自由に分布する入力画像から新規なビュー合成手法を提案する。 本手法は,入力ビューの規則的な配置に依存しず,シーンを通して自由なカメラ運動のための画像の合成が可能であり,制約のない幾何学的レイアウトの一般的な場面で機能する。
  論文  参考訳（メタデータ） (2020-08-12T18:16:08Z)
• NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis [78.5281048849446]
  本稿では,複雑なシーンの新たなビューを合成する手法を提案する。 提案アルゴリズムは,完全接続型(非畳み込み型)深層ネットワークを用いたシーンを表現する。 ボリュームレンダリングは自然に微分可能であるため、表現を最適化するのに必要な唯一の入力は、既知のカメラポーズを持つ画像の集合である。
  論文  参考訳（メタデータ） (2020-03-19T17:57:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。