論文の概要: Efficient Perspective-Correct 3D Gaussian Splatting Using Hybrid Transparency
- arxiv url: http://arxiv.org/abs/2410.08129v2
- Date: Mon, 11 Nov 2024 16:44:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-12 14:03:47.482603
- Title: Efficient Perspective-Correct 3D Gaussian Splatting Using Hybrid Transparency
- Title（参考訳）: ハイブリッド透明性を用いた高能率視点補正型3次元ガウス平滑化
- Authors: Florian Hahlbohm, Fabian Friederichs, Tim Weyrich, Linus Franke, Moritz Kappel, Susana Castillo, Marc Stamminger, Martin Eisemann, Marcus Magnor,
- Abstract要約: 3D Gaussian (3DGS)は、リバースレンダリングとリアルタイムなシーン探索の両方のために、多用途レンダリングプリミティブを証明している。
最近の研究は多視点コヒーレンスを損なうアーティファクトを緩和し始めており、その中には不整合な透明性ソートや2Dスプラットの視点修正アウトラインによるアーティファクトのポップアップが含まれていた。
本研究では, リアルタイムフレームレートを維持するために, 高精度なブレンディング, ハイブリッド透明性の高精度な近似を用いて, 完全視点補正された3次元ガウスアンを最大コヒーレンスを達成することを目的としている。
- 参考スコア（独自算出の注目度）: 6.119688280076556
- License:
- Abstract: 3D Gaussian Splats (3DGS) have proven a versatile rendering primitive, both for inverse rendering as well as real-time exploration of scenes. In these applications, coherence across camera frames and multiple views is crucial, be it for robust convergence of a scene reconstruction or for artifact-free fly-throughs. Recent work started mitigating artifacts that break multi-view coherence, including popping artifacts due to inconsistent transparency sorting and perspective-correct outlines of (2D) splats. At the same time, real-time requirements forced such implementations to accept compromises in how transparency of large assemblies of 3D Gaussians is resolved, in turn breaking coherence in other ways. In our work, we aim at achieving maximum coherence, by rendering fully perspective-correct 3D Gaussians while using a high-quality approximation of accurate blending, hybrid transparency, on a per-pixel level, in order to retain real-time frame rates. Our fast and perspectively accurate approach for evaluation of 3D Gaussians does not require matrix inversions, thereby ensuring numerical stability and eliminating the need for special handling of degenerate splats, and the hybrid transparency formulation for blending maintains similar quality as fully resolved per-pixel transparencies at a fraction of the rendering costs. We further show that each of these two components can be independently integrated into Gaussian splatting systems. In combination, they achieve up to 2$\times$ higher frame rates, 2$\times$ faster optimization, and equal or better image quality with fewer rendering artifacts compared to traditional 3DGS on common benchmarks.
- Abstract（参考訳）: 3D Gaussian Splats (3DGS)は、逆レンダリングとリアルタイムなシーン探索の両方のために、多用途レンダリングプリミティブを証明している。
これらの応用において、カメラフレーム間のコヒーレンスと複数のビューは、シーン再構成の堅牢な収束や、アーティファクトフリーのフライスルーのために重要である。
最近の研究は、多視点コヒーレンスを損なうアーティファクトを緩和し始めており、不整合な透明性ソートや(2D)スプラットの視点修正アウトラインによるアーティファクトのポップアップなどがあった。
同時に、リアルタイムの要求により、このような実装は3Dガウスの大規模なアセンブリの透明性をいかに解決するかという妥協を受け入れ、他の方法でコヒーレンスを破ることを余儀なくされた。
本研究では, リアルタイムフレームレートを維持するために, 高精度なブレンディング, ハイブリッド透明性の高精度な近似を用いて, 完全視点補正された3次元ガウスアンを最大コヒーレンスを達成することを目的としている。
高速かつ視点的に正確な3Dガウスアン評価手法は, 行列逆転を必要としないため, 数値安定性を確保し, 退化スプラットの特別な処理の必要性を排除し, ブレンディング用ハイブリッド透明性定式化は, レンダリングコストのごく一部において, 完全に解決された1画素あたりの透過率と同じ品質を維持している。
さらに、これらの2つの成分はそれぞれ独立にガウススプラッティングシステムに統合可能であることを示す。
組み合わせると、2$\times$高フレームレート、2$\times$高速最適化、2$\times$画像品質が、一般的なベンチマークで従来の3DGSと比較してレンダリングアーティファクトが少ない。
関連論文リスト
- EVER: Exact Volumetric Ellipsoid Rendering for Real-time View Synthesis [72.53316783628803]
実時間微分可能な発光専用ボリュームレンダリング法であるExact Volumetric Ellipsoid Rendering (EVER)を提案する。
3D Gaussian Splatting(3DGS)による最近の手法とは異なり、プリミティブベースの表現は正確なボリュームレンダリングを可能にする。
本手法は,3DGSよりもブレンディング問題の方が精度が高く,ビューレンダリングの追従作業も容易であることを示す。
論文 参考訳（メタデータ） (2024-10-02T17:59:09Z) - PUP 3D-GS: Principled Uncertainty Pruning for 3D Gaussian Splatting [59.277480452459315]
本稿では,現在のアプローチよりも優れた空間感性プルーニングスコアを提案する。
また,事前学習した任意の3D-GSモデルに適用可能なマルチラウンドプルーファインパイプラインを提案する。
我々のパイプラインは、3D-GSの平均レンダリング速度を2.65$times$で増加させ、より健全なフォアグラウンド情報を保持します。
論文 参考訳（メタデータ） (2024-06-14T17:53:55Z) - WE-GS: An In-the-wild Efficient 3D Gaussian Representation for Unconstrained Photo Collections [8.261637198675151]
制約のない写真コレクションからの新規ビュー合成(NVS)は、コンピュータグラフィックスでは困難である。
写真コレクションからのシーン再構築のための効率的なポイントベース微分可能レンダリングフレームワークを提案する。
提案手法は、新しいビューのレンダリング品質と、高収束・レンダリング速度の外観合成において、既存のアプローチよりも優れている。
論文 参考訳（メタデータ） (2024-06-04T15:17:37Z) - LP-3DGS: Learning to Prune 3D Gaussian Splatting [71.97762528812187]
本稿では,トレーニング可能な2値マスクを重要度に応用し,最適プルーニング比を自動的に検出する3DGSを提案する。
実験の結果,LP-3DGSは効率と高品質の両面において良好なバランスを保っていることがわかった。
論文 参考訳（メタデータ） (2024-05-29T05:58:34Z) - RTG-SLAM: Real-time 3D Reconstruction at Scale using Gaussian Splatting [51.51310922527121]
ガウススプラッティングを用いた大規模環境のためのRGBDカメラを用いたリアルタイム3D再構成システムを提案する。
それぞれのガウス語は不透明かほぼ透明で、不透明なものは表面色と支配的な色に、透明なものは残留色に適合する。
様々な大きなシーンをリアルタイムに再現し、新しいビュー合成とカメラトラッキングの精度のリアリズムにおいて優れた性能を示す。
論文 参考訳（メタデータ） (2024-04-30T16:54:59Z) - CompGS: Efficient 3D Scene Representation via Compressed Gaussian Splatting [68.94594215660473]
Compressed Gaussian Splatting (CompGS) という,効率的な3次元シーン表現を提案する。
我々は少数のアンカープリミティブを予測に利用し、プリミティブの大多数を非常にコンパクトな残留形にカプセル化することができる。
実験の結果,提案手法は既存の手法よりも優れており,モデル精度とレンダリング品質を損なうことなく,3次元シーン表現のコンパクト性に優れていた。
論文 参考訳（メタデータ） (2024-04-15T04:50:39Z) - 2D Gaussian Splatting for Geometrically Accurate Radiance Fields [50.056790168812114]
3D Gaussian Splatting (3DGS)は近年,高画質の新規ビュー合成と高速レンダリングを実現し,放射界再構成に革命をもたらした。
多視点画像から幾何学的精度の高い放射場をモデル化・再構成するための新しいアプローチである2DGS(2D Gaussian Splatting)を提案する。
競合する外観品質、高速トレーニング速度、リアルタイムレンダリングを維持しつつ、ノイズフリーかつ詳細な幾何学的再構成を可能にする。
論文 参考訳（メタデータ） (2024-03-26T17:21:24Z) - StopThePop: Sorted Gaussian Splatting for View-Consistent Real-time Rendering [42.91830228828405]
本稿では,処理オーバーヘッドを最小限に抑えた新しい階層化手法を提案する。
提案手法はガウス版よりも平均で4%遅い。
レンダリング性能はほぼ2倍に向上し,従来のガウス版よりも1.6倍高速になった。
論文 参考訳（メタデータ） (2024-02-01T11:46:44Z) - Compact 3D Gaussian Representation for Radiance Field [14.729871192785696]
本研究では,3次元ガウス点数を削減するための学習可能なマスク戦略を提案する。
また、格子型ニューラルネットワークを用いて、ビュー依存色をコンパクトかつ効果的に表現することを提案する。
我々の研究は、3Dシーン表現のための包括的なフレームワークを提供し、ハイパフォーマンス、高速トレーニング、コンパクト性、リアルタイムレンダリングを実現しています。
論文 参考訳（メタデータ） (2023-11-22T20:31:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。