論文の概要: 3DGUT: Enabling Distorted Cameras and Secondary Rays in Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2412.12507v1
• Date: Tue, 17 Dec 2024 03:21:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 13:57:33.597286
• Title: 3DGUT: Enabling Distorted Cameras and Secondary Rays in Gaussian Splatting
• Title（参考訳）: 3DGUT:ガウシアンスプレイティングにおける歪んだカメラと二次光の活用
• Authors: Qi Wu, Janick Martinez Esturo, Ashkan Mirzaei, Nicolas Moenne-Loccoz, Zan Gojcic,
• Abstract要約: 3D Gaussian Splatting (3DGS)は、消費者ハードウェア上で効率的な再構成と高忠実なリアルタイムレンダリングを行う大きな可能性を示している。 3DGSは理想的なピンホールカメラに制約されており、二次照明効果がない。 最近の方法では、代わりに粒子をトレースすることでこれらの制限に対処している。 本研究では,3DGS における EWA スプラッティングを Unscented Transform に置き換えた 3D Gaussian Unscented Transform (3DGUT) を提案する。
• 参考スコア（独自算出の注目度）: 15.124165321341646
• License:
• Abstract: 3D Gaussian Splatting (3DGS) has shown great potential for efficient reconstruction and high-fidelity real-time rendering of complex scenes on consumer hardware. However, due to its rasterization-based formulation, 3DGS is constrained to ideal pinhole cameras and lacks support for secondary lighting effects. Recent methods address these limitations by tracing volumetric particles instead, however, this comes at the cost of significantly slower rendering speeds. In this work, we propose 3D Gaussian Unscented Transform (3DGUT), replacing the EWA splatting formulation in 3DGS with the Unscented Transform that approximates the particles through sigma points, which can be projected exactly under any nonlinear projection function. This modification enables trivial support of distorted cameras with time dependent effects such as rolling shutter, while retaining the efficiency of rasterization. Additionally, we align our rendering formulation with that of tracing-based methods, enabling secondary ray tracing required to represent phenomena such as reflections and refraction within the same 3D representation.
• Abstract（参考訳）: 3D Gaussian Splatting (3DGS) は、消費者ハードウェア上での複雑なシーンの効率的な再構成と高忠実なリアルタイムレンダリングに大きな可能性を示している。 しかし、ラスタ化ベースの定式化のため、3DGSは理想的なピンホールカメラに制約されており、二次照明効果をサポートしていない。 近年の手法では、体積粒子をトレースすることでこれらの制限に対処するが、これはレンダリング速度を著しく遅くするコストがかかる。 本研究では、3DGSにおけるEWAスプレイティングの定式化を、任意の非線形射影関数の下で射影できるシグマ点を通して粒子を近似するUnscented Transformに置き換える3D Gaussian Unscented Transform (3DGUT)を提案する。 この修正により、ラスタ化の効率を維持しつつ、ローリングシャッターなどの時間依存効果のある歪んだカメラの自明な支持が可能となる。 さらに、レンダリングの定式化をトレースベースの手法と整合させ、反射や屈折などの現象を同じ3次元表現内で表現するのに必要となる二次光線トレーシングを可能にする。

関連論文リスト

• GlossGau: Efficient Inverse Rendering for Glossy Surface with Anisotropic Spherical Gaussian [4.5442067197725]
  GlossGauは、バニラ3D-GSに匹敵するトレーニングとレンダリング速度を維持しながら、光沢のある表面でシーンを再構築する効率的な逆レンダリングフレームワークである。 実験によりGrossGauは、光沢のある表面を持つデータセット上で、競争力や優れた再構築を実現することが示された。
  論文  参考訳（メタデータ） (2025-02-19T22:20:57Z)
• 3D Convex Splatting: Radiance Field Rendering with 3D Smooth Convexes [87.01284850604495]
  多視点画像から幾何学的に有意な放射場をモデル化するためのプリミティブとして3次元滑らかな凸を利用した3次元凸法(3DCS)を提案する。 3DCSは、MipNeizer, Tanks and Temples, Deep Blendingなどのベンチマークで、3DGSよりも優れたパフォーマンスを実現している。 本結果は,高品質なシーン再構築のための新しい標準となる3Dコンベクシングの可能性を強調した。
  論文  参考訳（メタデータ） (2024-11-22T14:31:39Z)
• L3DG: Latent 3D Gaussian Diffusion [74.36431175937285]
  L3DGは3次元ガウス拡散定式化による3次元ガウスの3次元モデリングのための最初のアプローチである。 我々は、部屋の大きさのシーンで効率的に操作するために、スパース畳み込みアーキテクチャーを用いている。 3Dガウス表現を利用することで、生成されたシーンを任意の視点からリアルタイムでレンダリングすることができる。
  論文  参考訳（メタデータ） (2024-10-17T13:19:32Z)
• EVER: Exact Volumetric Ellipsoid Rendering for Real-time View Synthesis [72.53316783628803]
  実時間微分可能な発光専用ボリュームレンダリング法であるExact Volumetric Ellipsoid Rendering (EVER)を提案する。 3D Gaussian Splatting(3DGS)による最近の手法とは異なり、プリミティブベースの表現は正確なボリュームレンダリングを可能にする。 本手法は,3DGSよりもブレンディング問題の方が精度が高く,ビューレンダリングの追従作業も容易であることを示す。
  論文  参考訳（メタデータ） (2024-10-02T17:59:09Z)
• EaDeblur-GS: Event assisted 3D Deblur Reconstruction with Gaussian Splatting [8.842593320829785]
  ガウススプラッティング(EaDeblur-GS)を用いたイベント支援3次元デブロア再構成について述べる。 イベントカメラデータを統合して、3DGSの動作のぼかしに対する堅牢性を高める。 高速な3D再構成をリアルタイムで実現し、最先端の手法に匹敵する性能を示す。
  論文  参考訳（メタデータ） (2024-07-18T13:55:54Z)
• 3D-HGS: 3D Half-Gaussian Splatting [5.766096863155448]
  光リアルな3D再構成は、3Dコンピュータビジョンの基本的な問題である。 本稿では,プラグアンドプレイカーネルとして使用できる3Dハーフガウス(3D-HGS)カーネルを提案する。
  論文  参考訳（メタデータ） (2024-06-04T19:04:29Z)
• Gaussian Opacity Fields: Efficient Adaptive Surface Reconstruction in Unbounded Scenes [50.92217884840301]
  Gaussian Opacity Fields (GOF)は、シーンにおける効率的で高品質で適応的な表面再構成のための新しいアプローチである。 GOFは3Dガウスのレイトレーシングに基づくボリュームレンダリングに由来する。 GOFは、表面再構成と新しいビュー合成において、既存の3DGSベースの手法を超越している。
  論文  参考訳（メタデータ） (2024-04-16T17:57:19Z)
• GaussianPro: 3D Gaussian Splatting with Progressive Propagation [49.918797726059545]
  3DGSはStructure-from-Motion (SfM)技術によって生成されるポイントクラウドに大きく依存している。 本稿では, 3次元ガウスの密度化を導くために, プログレッシブ・プログレッシブ・プログレッシブ・ストラテジーを適用した新しい手法を提案する。 提案手法はデータセット上の3DGSを大幅に上回り,PSNRでは1.15dBの改善が見られた。
  論文  参考訳（メタデータ） (2024-02-22T16:00:20Z)
• Mip-Splatting: Alias-free 3D Gaussian Splatting [52.366815964832426]
  3D Gaussian Splattingは素晴らしいビュー合成結果を示し、高い忠実度と効率を実現した。 ストロングアーティファクトは、サンプリングレート、例えば焦点距離やカメラ距離を変えることで観測することができる。 この現象の原因は,3次元周波数制約の欠如と2次元拡張フィルタの利用によると考えられる。
  論文  参考訳（メタデータ） (2023-11-27T13:03:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。