論文の概要: Gaussian in the Wild: 3D Gaussian Splatting for Unconstrained Image Collections
- arxiv url: http://arxiv.org/abs/2403.15704v2
- Date: Sun, 14 Jul 2024 04:25:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-17 01:15:36.303345
- Title: Gaussian in the Wild: 3D Gaussian Splatting for Unconstrained Image Collections
- Title（参考訳）: 野生のガウシアン:非拘束画像収集のための3Dガウシアンスプラッティング
- Authors: Dongbin Zhang, Chuming Wang, Weitao Wang, Peihao Li, Minghan Qin, Haoqian Wang,
- Abstract要約: 制約のない画像における光度変化と過渡オクルーダは、元のシーンを正確に再構築することが困難である。
ニューラルレージアンスフィールド(NeRF)におけるグローバルな外観特徴の導入による課題への先行的アプローチ
この事実に触発されて,3次元ガウス点を用いてシーンを再構築する手法であるGaussian in the wild (GS-W)を提案する。
- 参考スコア（独自算出の注目度）: 12.807052947367692
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Novel view synthesis from unconstrained in-the-wild images remains a meaningful but challenging task. The photometric variation and transient occluders in those unconstrained images make it difficult to reconstruct the original scene accurately. Previous approaches tackle the problem by introducing a global appearance feature in Neural Radiance Fields (NeRF). However, in the real world, the unique appearance of each tiny point in a scene is determined by its independent intrinsic material attributes and the varying environmental impacts it receives. Inspired by this fact, we propose Gaussian in the wild (GS-W), a method that uses 3D Gaussian points to reconstruct the scene and introduces separated intrinsic and dynamic appearance feature for each point, capturing the unchanged scene appearance along with dynamic variation like illumination and weather. Additionally, an adaptive sampling strategy is presented to allow each Gaussian point to focus on the local and detailed information more effectively. We also reduce the impact of transient occluders using a 2D visibility map. More experiments have demonstrated better reconstruction quality and details of GS-W compared to NeRF-based methods, with a faster rendering speed. Video results and code are available at https://eastbeanzhang.github.io/GS-W/.
- Abstract（参考訳）: 未制約画像からの新たなビュー合成は、有意義だが難しい課題である。
これらの制約のない画像における光度変化と過渡オクルーダは、元のシーンを正確に再構築することが困難である。
従来のアプローチでは、Neural Radiance Fields(NeRF)のグローバルな外観機能を導入して、この問題に対処していた。
しかし、現実の世界では、シーン内の各小さな点の独特の外観は、その独立した固有の材料特性と、それが受ける様々な環境影響によって決定される。
この事実に触発されて,3次元ガウス点を用いてシーンを再構成する手法であるGaussian in the wild (GS-W)を提案する。
さらに、各ガウス点が局所的および詳細な情報により効果的に集中できるように適応的なサンプリング戦略が提示される。
また,2次元視認性マップを用いて,過渡性咬合者への影響を低減した。
より多くの実験により、より高速なレンダリング速度で、NeRFベースの手法と比較してGS-Wの再現性や細部が向上した。
ビデオの結果とコードはhttps://eastbeanzhang.github.io/GS-W/.comで公開されている。
関連論文リスト
- NovelGS: Consistent Novel-view Denoising via Large Gaussian Reconstruction Model [57.92709692193132]
NovelGSは、スパースビュー画像が与えられたガウススプラッティングの拡散モデルである。
我々は3Dガウスを生成するためにトランスフォーマーネットワークを経由する新しい視点を利用する。
論文 参考訳（メタデータ） (2024-11-25T07:57:17Z) - GPS-Gaussian+: Generalizable Pixel-wise 3D Gaussian Splatting for Real-Time Human-Scene Rendering from Sparse Views [67.34073368933814]
スパースビューカメラ設定下での高解像度画像レンダリングのための一般化可能なガウススプラッティング手法を提案する。
我々は,人間のみのデータや人景データに基づいてガウスパラメータ回帰モジュールをトレーニングし,深度推定モジュールと共同で2次元パラメータマップを3次元空間に引き上げる。
いくつかのデータセットに対する実験により、我々の手法はレンダリング速度を超越しながら最先端の手法より優れていることが示された。
論文 参考訳（メタデータ） (2024-11-18T08:18:44Z) - WildGaussians: 3D Gaussian Splatting in the Wild [80.5209105383932]
3DGSによる閉塞や外見の変化に対処する新しいアプローチであるWildGaussiansを紹介した。
我々はWildGaussianが3DGSとNeRFのベースラインを越えながら3DGSのリアルタイムレンダリング速度と一致していることを示す。
論文 参考訳（メタデータ） (2024-07-11T12:41:32Z) - Wild-GS: Real-Time Novel View Synthesis from Unconstrained Photo Collections [30.321151430263946]
本稿では、制約のない写真コレクションに最適化された3DGSの革新的な適応であるWild-GSについて述べる。
Wild-GSは、それぞれの3Dガウスの出現を、その固有の材料特性、大域照明と画像当たりのカメラ特性、反射率の点レベルの局所的ばらつきによって決定する。
この斬新な設計は、参照ビューの高周波詳細外観を3次元空間に効果的に転送し、トレーニングプロセスを大幅に高速化する。
論文 参考訳（メタデータ） (2024-06-14T19:06:07Z) - A Refined 3D Gaussian Representation for High-Quality Dynamic Scene Reconstruction [2.022451212187598]
近年,Neural Radiance Fields (NeRF) は3次元の3次元再構成に革命をもたらした。
3D Gaussian Splatting (3D-GS)は、ニューラルネットワークの暗黙の表現から離れ、代わりに、シーンを直接ガウス型の分布を持つ点雲として表現している。
本稿では,高品質な動的シーン再構成のための高精細な3次元ガウス表現を提案する。
実験の結果,提案手法は3D-GSによるメモリ使用量を大幅に削減しつつ,レンダリング品質と高速化の既存手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2024-05-28T07:12:22Z) - Bridging 3D Gaussian and Mesh for Freeview Video Rendering [57.21847030980905]
GauMeshはダイナミックシーンのモデリングとレンダリングのために3D GaussianとMeshをブリッジする。
提案手法は, 動的シーンの異なる部分を表現するために, プリミティブの適切なタイプに適応することを示す。
論文 参考訳（メタデータ） (2024-03-18T04:01:26Z) - SWAG: Splatting in the Wild images with Appearance-conditioned Gaussians [2.2369578015657954]
暗黙の神経表現法は、未構造化画像から3Dシーンを学習する際、顕著な進歩を見せている。
非教師的手法でシーンオブオーダの存在を対処するために、過渡的なガウシアンを訓練する新しいメカニズムを導入する。
論文 参考訳（メタデータ） (2024-03-15T16:00:04Z) - GaussianStyle: Gaussian Head Avatar via StyleGAN [64.85782838199427]
本稿では,3DGSのボリューム強度とStyleGANの強力な暗黙表現を統合する新しいフレームワークを提案する。
提案手法は, 再現性, 新規なビュー合成, アニメーションにおける最先端性能を実現する。
論文 参考訳（メタデータ） (2024-02-01T18:14:42Z) - GauFRe: Gaussian Deformation Fields for Real-time Dynamic Novel View
Synthesis [17.572987038801475]
変形可能な3次元ガウスを用いた動的シーン再構成手法を提案する。
差別化可能なパイプラインは、セルフ教師付きレンダリングでエンドツーエンドに最適化されている。
我々の手法は、最先端のニューラルラジアンス場法に匹敵する。
論文 参考訳（メタデータ） (2023-12-18T18:59:03Z) - Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。
局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。
提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
論文 参考訳（メタデータ） (2023-11-30T17:58:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。