論文の概要: VoD-3DGS: View-opacity-Dependent 3D Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2501.17978v2
- Date: Fri, 31 Jan 2025 12:35:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-03 14:02:32.507472
- Title: VoD-3DGS: View-opacity-Dependent 3D Gaussian Splatting
- Title（参考訳）: VoD-3DGS: View-opacity-Dependent 3D Gaussian Splatting
- Authors: Mateusz Nowak, Wojciech Jarosz, Peter Chin,
- Abstract要約: コンピュータグラフィックスでは、材料は拡散またはスペクトルに分類され、光と異なる相互作用をする。
標準的な3Dガウススプラッティングモデルは、ビュー依存のコンテンツを表現するのに苦労している。
我々は,各3次元ガウスの不透明度表現を強化するために,追加の対称行列を導入する。
- 参考スコア（独自算出の注目度）: 8.612696795829555
- License:
- Abstract: Reconstructing a 3D scene from images is challenging due to the different ways light interacts with surfaces depending on the viewer's position and the surface's material. In classical computer graphics, materials can be classified as diffuse or specular, interacting with light differently. The standard 3D Gaussian Splatting model struggles to represent view-dependent content, since it cannot differentiate an object within the scene from the light interacting with its specular surfaces, which produce highlights or reflections. In this paper, we propose to extend the 3D Gaussian Splatting model by introducing an additional symmetric matrix to enhance the opacity representation of each 3D Gaussian. This improvement allows certain Gaussians to be suppressed based on the viewer's perspective, resulting in a more accurate representation of view-dependent reflections and specular highlights without compromising the scene's integrity. By allowing the opacity to be view dependent, our enhanced model achieves state-of-the-art performance on Mip-Nerf, Tanks&Temples, Deep Blending, and Nerf-Synthetic datasets without a significant loss in rendering speed, achieving >60FPS, and only incurring a minimal increase in memory used.
- Abstract（参考訳）: 画像から3Dシーンを再構成することは、ビューアーの位置や表面の材料に応じて光が表面と相互作用する様々な方法により困難である。
古典的なコンピュータグラフィックスでは、材料は拡散またはスペクトルに分類され、光と異なる相互作用をする。
標準的な3Dガウススプラッティングモデルでは、シーン内のオブジェクトと、ハイライトやリフレクションを生成する光を区別できないため、ビュー依存のコンテンツを表現するのに苦労している。
本稿では,各3次元ガウスの不透明度表現を強化するために,追加の対称行列を導入することで,3次元ガウス散乱モデルを拡張することを提案する。
この改良により、ビューアの視点に基づいて特定のガウスを抑圧することができ、シーンの完全性を損なうことなく、ビュー依存のリフレクションと特異なハイライトをより正確に表現することができる。
この不透明度を視認可能にすることで、Mip-Nerf, Tanks&Temples, Deep Blending, Nerf-Synthetic データセット上での最先端性能を実現し、レンダリング速度を著しく損なうことなく、60FPSを達成し、メモリ使用量の最小化を実現した。
関連論文リスト
- Decoupling Appearance Variations with 3D Consistent Features in Gaussian Splatting [50.98884579463359]
本稿では,プラグアンドプレイ方式で外観変化を分離するDAVIGSを提案する。
ガウスレベルではなく画像レベルでレンダリング結果を変換することにより、最適化時間とメモリオーバーヘッドを最小限に抑えた外観変化をモデル化できる。
提案手法をいくつかの外観変化シーンで検証し,トレーニング時間とメモリ使用量を最小限に抑えて,最先端のレンダリング品質を実現することを実証した。
論文 参考訳（メタデータ） (2025-01-18T14:55:58Z) - DehazeGS: Seeing Through Fog with 3D Gaussian Splatting [17.119969983512533]
DehazeGSは,霧のない背景をメディアから分解・レンダリングできる手法である。
合成と実世界の霧のデータセットの実験は、DehazeGSが最先端のパフォーマンスを達成することを示した。
論文 参考訳（メタデータ） (2025-01-07T09:47:46Z) - EVER: Exact Volumetric Ellipsoid Rendering for Real-time View Synthesis [72.53316783628803]
実時間微分可能な発光専用ボリュームレンダリング法であるExact Volumetric Ellipsoid Rendering (EVER)を提案する。
3D Gaussian Splatting(3DGS)による最近の手法とは異なり、プリミティブベースの表現は正確なボリュームレンダリングを可能にする。
本手法は,3DGSよりもブレンディング問題の方が精度が高く,ビューレンダリングの追従作業も容易であることを示す。
論文 参考訳（メタデータ） (2024-10-02T17:59:09Z) - BiGS: Bidirectional Gaussian Primitives for Relightable 3D Gaussian Splatting [10.918133974256913]
本稿では、画像に基づく新規ビュー合成技術である双方向ガウスプリミティブについて述べる。
提案手法はガウススプラッティングフレームワークに光の内在分解を取り入れ,3次元物体のリアルタイムリライティングを可能にする。
論文 参考訳（メタデータ） (2024-08-23T21:04:40Z) - SpecGaussian with Latent Features: A High-quality Modeling of the View-dependent Appearance for 3D Gaussian Splatting [11.978842116007563]
Lantent-SpecGSは、各3Dガウス内の普遍的な潜在神経記述子を利用するアプローチである。
2つの並列CNNは、分割された特徴マップを拡散色と特異色に分離してデコーダとして設計されている。
視点に依存するマスクが学習され、これらの2色をマージし、最終的なレンダリング画像が生成される。
論文 参考訳（メタデータ） (2024-08-23T15:25:08Z) - Gaussian in the Dark: Real-Time View Synthesis From Inconsistent Dark Images Using Gaussian Splatting [23.94465817405213]
3次元ガウススプラッティングは、一貫したマルチビューイメージを入力として、驚くべき新しいビューを合成することができる。
しかし、暗い環境で撮影された画像は、かなりの明るさの変化と多視点の不整合を示す可能性がある。
ゴーストやフローターのアーティファクトを使わずに高品質なレンダリングを実現するガウシアンDKを提案する。
論文 参考訳（メタデータ） (2024-08-17T08:05:09Z) - Hybrid Explicit Representation for Ultra-Realistic Head Avatars [55.829497543262214]
我々は,超現実的な頭部アバターを作成し,それをリアルタイムにレンダリングする新しい手法を提案する。
UVマップされた3Dメッシュは滑らかな表面のシャープでリッチなテクスチャを捉えるのに使われ、3Dガウス格子は複雑な幾何学構造を表現するために用いられる。
モデル化された結果が最先端のアプローチを上回る実験を行ないました。
論文 参考訳（メタデータ） (2024-03-18T04:01:26Z) - Spec-Gaussian: Anisotropic View-Dependent Appearance for 3D Gaussian Splatting [55.71424195454963]
Spec-Gaussian は球面調和の代わりに異方性球面ガウス場を利用するアプローチである。
実験結果から,本手法はレンダリング品質の面で既存の手法を超越していることが示された。
この改良は、3D GSの適用性を高めて、特異面と異方面の複雑なシナリオを扱う。
論文 参考訳（メタデータ） (2024-02-24T17:22:15Z) - Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。
局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。
提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
論文 参考訳（メタデータ） (2023-11-30T17:58:57Z) - Learning Indoor Inverse Rendering with 3D Spatially-Varying Lighting [149.1673041605155]
1枚の画像からアルベド, 正常, 深さ, 3次元の空間的変化を共同で推定する問題に対処する。
既存のほとんどの方法は、シーンの3D特性を無視して、画像から画像への変換としてタスクを定式化する。
本研究では3次元空間変動照明を定式化する統合学習ベースの逆フレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-13T15:29:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。