論文の概要: SparseGS-W: Sparse-View 3D Gaussian Splatting in the Wild with Generative Priors

• arxiv url: http://arxiv.org/abs/2503.19452v1
• Date: Tue, 25 Mar 2025 08:40:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-26 16:55:23.527674
• Title: SparseGS-W: Sparse-View 3D Gaussian Splatting in the Wild with Generative Priors
• Title（参考訳）: SparseGS-W:Sparse-View 3D Gaussian Splatting in the Wild with Generative Priors
• Authors: Yiqing Li, Xuan Wang, Jiawei Wu, Yikun Ma, Zhi Jin,
• Abstract要約: SparseGS-Wは,非制約画像から大規模シーンを合成する新しいフレームワークである。 我々は,高度にスパースな入力から得られる多視点情報の欠如を補うために,幾何学的先行と制約付き拡散の先行を利用する。 SparseGS-Wは、完全な参照メトリクスだけでなく、FID、ClipIQA、MUSIQなどの一般的な非参照メトリクスでも、最先端のパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 22.561786156613525
• License:
• Abstract: Synthesizing novel views of large-scale scenes from unconstrained in-the-wild images is an important but challenging task in computer vision. Existing methods, which optimize per-image appearance and transient occlusion through implicit neural networks from dense training views (approximately 1000 images), struggle to perform effectively under sparse input conditions, resulting in noticeable artifacts. To this end, we propose SparseGS-W, a novel framework based on 3D Gaussian Splatting that enables the reconstruction of complex outdoor scenes and handles occlusions and appearance changes with as few as five training images. We leverage geometric priors and constrained diffusion priors to compensate for the lack of multi-view information from extremely sparse input. Specifically, we propose a plug-and-play Constrained Novel-View Enhancement module to iteratively improve the quality of rendered novel views during the Gaussian optimization process. Furthermore, we propose an Occlusion Handling module, which flexibly removes occlusions utilizing the inherent high-quality inpainting capability of constrained diffusion priors. Both modules are capable of extracting appearance features from any user-provided reference image, enabling flexible modeling of illumination-consistent scenes. Extensive experiments on the PhotoTourism and Tanks and Temples datasets demonstrate that SparseGS-W achieves state-of-the-art performance not only in full-reference metrics, but also in commonly used non-reference metrics such as FID, ClipIQA, and MUSIQ.
• Abstract（参考訳）: 非制約画像からの大規模なシーンの新たなビューを合成することは、コンピュータビジョンにおいて重要であるが難しい課題である。 濃密なトレーニングビュー(約1000の画像)から暗黙のニューラルネットワークを通して、画像ごとの外観と過渡的閉塞を最適化する既存の手法は、スパース入力条件下で効果的に実行できないため、顕著な成果物をもたらす。 そこで本研究では,複雑な屋外シーンの再構築を可能にする3次元ガウス・スプレイティングに基づく新しいフレームワークであるSparseGS-Wを提案する。 我々は,高度にスパースな入力から得られる多視点情報の欠如を補うために,幾何学的先行と制約付き拡散の先行を利用する。 具体的には,ガウス最適化プロセスにおいて,レンダリングされた新規ビューの品質を反復的に向上する,プラグイン・アンド・プレイの制約付きノベルビュー拡張モジュールを提案する。 さらに,制約付き拡散前処理の本来の高品質な塗装能力を利用して,オクルージョンを柔軟に除去するオクルージョン処理モジュールを提案する。 どちらのモジュールも、ユーザが提供する参照画像から外観特徴を抽出することができ、照度一貫性のあるシーンの柔軟なモデリングを可能にする。 PhotoTourism and Tanks and Templesデータセットの大規模な実験によると、SparseGS-Wは、完全な参照メトリクスだけでなく、FID、ClipIQA、MUSIQといった一般的な非参照メトリクスでも、最先端のパフォーマンスを達成する。

関連論文リスト

• FewViewGS: Gaussian Splatting with Few View Matching and Multi-stage Training [15.634646420318731]
  スパース入力画像を用いた3次元ガウス型新規ビュー合成法を提案する。 本稿では,新しい視点に課せられる整合性制約を考慮した多段階学習手法を提案する。 これは、利用可能なトレーニング画像のマッチングを使用して、新しいビューの生成を監督することで達成される。
  論文  参考訳（メタデータ） (2024-11-04T16:21:00Z)
• MCGS: Multiview Consistency Enhancement for Sparse-View 3D Gaussian Radiance Fields [73.49548565633123]
  3Dガウシアンによって表現される放射場は、高いトレーニング効率と高速レンダリングの両方を提供する、新しいビューの合成に優れている。 既存の手法では、高密度推定ネットワークからの奥行き先を組み込むことが多いが、入力画像に固有の多視点一貫性を見落としている。 本稿では,3次元ガウス・スプレイティング(MCGS)に基づくビュー・フレームワークを提案し,スパークス・インプット・ビューからシーンを再構築する。
  論文  参考訳（メタデータ） (2024-10-15T08:39:05Z)
• Wild-GS: Real-Time Novel View Synthesis from Unconstrained Photo Collections [30.321151430263946]
  本稿では、制約のない写真コレクションに最適化された3DGSの革新的な適応であるWild-GSについて述べる。 Wild-GSは、それぞれの3Dガウスの出現を、その固有の材料特性、大域照明と画像当たりのカメラ特性、反射率の点レベルの局所的ばらつきによって決定する。 この斬新な設計は、参照ビューの高周波詳細外観を3次元空間に効果的に転送し、トレーニングプロセスを大幅に高速化する。
  論文  参考訳（メタデータ） (2024-06-14T19:06:07Z)
• WE-GS: An In-the-wild Efficient 3D Gaussian Representation for Unconstrained Photo Collections [8.261637198675151]
  制約のない写真コレクションからの新規ビュー合成(NVS)は、コンピュータグラフィックスでは困難である。 写真コレクションからのシーン再構築のための効率的なポイントベース微分可能レンダリングフレームワークを提案する。 提案手法は、新しいビューのレンダリング品質と、高収束・レンダリング速度の外観合成において、既存のアプローチよりも優れている。
  論文  参考訳（メタデータ） (2024-06-04T15:17:37Z)
• SWAG: Splatting in the Wild images with Appearance-conditioned Gaussians [2.2369578015657954]
  暗黙の神経表現法は、未構造化画像から3Dシーンを学習する際、顕著な進歩を見せている。 非教師的手法でシーンオブオーダの存在を対処するために、過渡的なガウシアンを訓練する新しいメカニズムを導入する。
  論文  参考訳（メタデータ） (2024-03-15T16:00:04Z)
• VastGaussian: Vast 3D Gaussians for Large Scene Reconstruction [59.40711222096875]
  VastGaussianは3次元ガウススティングに基づく大規模シーンにおける高品質な再構成とリアルタイムレンダリングのための最初の方法である。 提案手法は既存のNeRF手法より優れており,複数の大規模シーンデータセットの最先端結果が得られる。
  論文  参考訳（メタデータ） (2024-02-27T11:40:50Z)
• Hyper-VolTran: Fast and Generalizable One-Shot Image to 3D Object Structure via HyperNetworks [53.67497327319569]
  画像から3Dまでを1つの視点から解く新しいニューラルレンダリング手法を提案する。 提案手法では, 符号付き距離関数を表面表現として使用し, 幾何エンコードボリュームとハイパーネットワークスによる一般化可能な事前処理を取り入れた。 本実験は,一貫した結果と高速な生成による提案手法の利点を示す。
  論文  参考訳（メタデータ） (2023-12-24T08:42:37Z)
• Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
  最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。 局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。 提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
  論文  参考訳（メタデータ） (2023-11-30T17:58:57Z)
• Deceptive-NeRF/3DGS: Diffusion-Generated Pseudo-Observations for High-Quality Sparse-View Reconstruction [60.52716381465063]
  我々は,限られた入力画像のみを用いて,スパースビュー再構成を改善するために,Deceptive-NeRF/3DGSを導入した。 具体的には,少数視点再構成によるノイズ画像から高品質な擬似観測へ変換する,偽拡散モデルを提案する。 本システムでは,拡散生成擬似観測をトレーニング画像集合に徐々に組み込んで,スパース入力観測を5倍から10倍に高めている。
  論文  参考訳（メタデータ） (2023-05-24T14:00:32Z)
• Multi-Plane Neural Radiance Fields for Novel View Synthesis [5.478764356647437]
  新しいビュー合成は、新しいカメラの視点からシーンのフレームを描画する、長年にわたる問題である。 本研究では, 単面多面体ニューラル放射場の性能, 一般化, 効率について検討する。 合成結果の改善と視聴範囲の拡大のために,複数のビューを受理する新しい多面体NeRFアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-03-03T06:32:55Z)
• DeepMultiCap: Performance Capture of Multiple Characters Using Sparse Multiview Cameras [63.186486240525554]
  deep multicapは、スパースマルチビューカメラを用いたマルチパーソンパフォーマンスキャプチャのための新しい手法である。 本手法では,事前走査型テンプレートモデルを用いることなく,時間変化した表面の詳細をキャプチャできる。
  論文  参考訳（メタデータ） (2021-05-01T14:32:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。