論文の概要: WE-GS: An In-the-wild Efficient 3D Gaussian Representation for Unconstrained Photo Collections
- arxiv url: http://arxiv.org/abs/2406.02407v1
- Date: Tue, 4 Jun 2024 15:17:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-05 15:40:59.271688
- Title: WE-GS: An In-the-wild Efficient 3D Gaussian Representation for Unconstrained Photo Collections
- Title（参考訳）: WE-GS: 制約のない写真コレクションのための高効率3Dガウス表現
- Authors: Yuze Wang, Junyi Wang, Yue Qi,
- Abstract要約: 制約のない写真コレクションからの新規ビュー合成(NVS)は、コンピュータグラフィックスでは困難である。
写真コレクションからのシーン再構築のための効率的なポイントベース微分可能レンダリングフレームワークを提案する。
提案手法は、新しいビューのレンダリング品質と、高収束・レンダリング速度の外観合成において、既存のアプローチよりも優れている。
- 参考スコア（独自算出の注目度）: 8.261637198675151
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Novel View Synthesis (NVS) from unconstrained photo collections is challenging in computer graphics. Recently, 3D Gaussian Splatting (3DGS) has shown promise for photorealistic and real-time NVS of static scenes. Building on 3DGS, we propose an efficient point-based differentiable rendering framework for scene reconstruction from photo collections. Our key innovation is a residual-based spherical harmonic coefficients transfer module that adapts 3DGS to varying lighting conditions and photometric post-processing. This lightweight module can be pre-computed and ensures efficient gradient propagation from rendered images to 3D Gaussian attributes. Additionally, we observe that the appearance encoder and the transient mask predictor, the two most critical parts of NVS from unconstrained photo collections, can be mutually beneficial. We introduce a plug-and-play lightweight spatial attention module to simultaneously predict transient occluders and latent appearance representation for each image. After training and preprocessing, our method aligns with the standard 3DGS format and rendering pipeline, facilitating seamlessly integration into various 3DGS applications. Extensive experiments on diverse datasets show our approach outperforms existing approaches on the rendering quality of novel view and appearance synthesis with high converge and rendering speed.
- Abstract（参考訳）: 制約のない写真コレクションからの新規ビュー合成(NVS)は、コンピュータグラフィックスでは困難である。
近年,3D Gaussian Splatting (3DGS) は静的シーンの写実的およびリアルタイムNVSを約束している。
3DGS上に構築した画像コレクションからのシーン再構成のための効率的なポイントベース微分可能レンダリングフレームワークを提案する。
我々の重要な革新は、残差ベースの球面係数伝達モジュールであり、3DGSを様々な照明条件や測光後処理に適応させる。
この軽量モジュールは事前計算が可能で、レンダリング画像から3次元ガウス属性への効率的な勾配伝播を保証する。
さらに,非拘束の写真コレクションからNVSの2つの重要な部分である出現エンコーダと過渡マスク予測器が相互に有用であることを示す。
プラグアンドプレイの軽量空間アテンションモジュールを導入し,各画像に対する一過性オクローダと潜時出現表現を同時に予測する。
トレーニングと事前処理の後,本手法は標準の3DGSフォーマットおよびレンダリングパイプラインと整合し,様々な3DGSアプリケーションへのシームレスな統合を容易にする。
多様なデータセットに対する大規模な実験により、我々のアプローチは、新しいビューのレンダリング品質と、高い収束とレンダリング速度で外観合成において、既存のアプローチよりも優れていることを示す。
関連論文リスト
- Splatfacto-W: A Nerfstudio Implementation of Gaussian Splatting for Unconstrained Photo Collections [25.154665328053333]
Splatfacto-Wは、ガウスごとのニューラルカラー特徴と画像ごとの外観をレンダリングプロセスに組み込む、自明なアプローチである。
提案手法は,3DGSに比べて平均5.3dBのPak Signal-to-Noise Ratio(PSNR)を向上し,NeRF法に比べて150倍のトレーニング速度を向上し,3DGSと同様のレンダリング速度を実現する。
論文 参考訳（メタデータ） (2024-07-17T04:02:54Z) - Wild-GS: Real-Time Novel View Synthesis from Unconstrained Photo Collections [30.321151430263946]
本稿では、制約のない写真コレクションに最適化された3DGSの革新的な適応であるWild-GSについて述べる。
Wild-GSは、それぞれの3Dガウスの出現を、その固有の材料特性、大域照明と画像当たりのカメラ特性、反射率の点レベルの局所的ばらつきによって決定する。
この斬新な設計は、参照ビューの高周波詳細外観を3次元空間に効果的に転送し、トレーニングプロセスを大幅に高速化する。
論文 参考訳（メタデータ） (2024-06-14T19:06:07Z) - PUP 3D-GS: Principled Uncertainty Pruning for 3D Gaussian Splatting [59.277480452459315]
本稿では,現在のアプローチよりも優れた空間感性プルーニングスコアを提案する。
また,事前学習した任意の3D-GSモデルに適用可能なマルチラウンドプルーファインパイプラインを提案する。
我々のパイプラインは、3D-GSの平均レンダリング速度を2.65$times$で増加させ、より健全なフォアグラウンド情報を保持します。
論文 参考訳（メタデータ） (2024-06-14T17:53:55Z) - Octree-GS: Towards Consistent Real-time Rendering with LOD-Structured 3D Gaussians [18.774112672831155]
3D-GSは、NeRFベースのニューラルシーン表現と比較して、顕著なレンダリングの忠実さと効率を示した。
シーン表現のためのレベル・オブ・ディーテール分解をサポートするLOD構造型3次元ガウスアプローチを特徴とするOctree-GSを提案する。
論文 参考訳（メタデータ） (2024-03-26T17:39:36Z) - SWAG: Splatting in the Wild images with Appearance-conditioned Gaussians [2.2369578015657954]
暗黙の神経表現法は、未構造化画像から3Dシーンを学習する際、顕著な進歩を見せている。
非教師的手法でシーンオブオーダの存在を対処するために、過渡的なガウシアンを訓練する新しいメカニズムを導入する。
論文 参考訳（メタデータ） (2024-03-15T16:00:04Z) - GGRt: Towards Pose-free Generalizable 3D Gaussian Splatting in Real-time [112.32349668385635]
GGRtは、現実のカメラポーズの必要性を軽減する、一般化可能な新しいビュー合成のための新しいアプローチである。
最初のポーズフリーの一般化可能な3D-GSフレームワークとして、GGRtは$ge$5 FPSで、リアルタイムレンダリングは$ge$100 FPSで実現している。
論文 参考訳（メタデータ） (2024-03-15T09:47:35Z) - Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。
局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。
提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
論文 参考訳（メタデータ） (2023-11-30T17:58:57Z) - GS-IR: 3D Gaussian Splatting for Inverse Rendering [71.14234327414086]
3次元ガウス散乱(GS)に基づく新しい逆レンダリング手法GS-IRを提案する。
我々は、未知の照明条件下で撮影された多視点画像からシーン形状、表面物質、環境照明を推定するために、新しいビュー合成のための最高のパフォーマンス表現であるGSを拡張した。
フレキシブルかつ表現力のあるGS表現は、高速かつコンパクトな幾何再構成、フォトリアリスティックな新規ビュー合成、有効物理ベースレンダリングを実現する。
論文 参考訳（メタデータ） (2023-11-26T02:35:09Z) - High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。
提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
論文 参考訳（メタデータ） (2022-11-28T18:59:52Z) - Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
多視点画像観測による材料と照明の協調最適化手法を提案する。
従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
論文 参考訳（メタデータ） (2021-11-24T13:58:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。