論文の概要: OmniGS: Omnidirectional Gaussian Splatting for Fast Radiance Field Reconstruction using Omnidirectional Images
- arxiv url: http://arxiv.org/abs/2404.03202v1
- Date: Thu, 4 Apr 2024 05:10:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-05 15:43:35.635516
- Title: OmniGS: Omnidirectional Gaussian Splatting for Fast Radiance Field Reconstruction using Omnidirectional Images
- Title(参考訳): OmniGS:全方位画像を用いた高速放射場再構成のための全方位ガウススプラッティング
- Authors: Longwei Li, Huajian Huang, Sai-Kit Yeung, Hui Cheng,
- Abstract要約: 現在の3次元ガウス散乱システムは、歪みのない視点画像を用いた放射場再構成しかサポートしていない。
高速な放射野再構成のための全方位画像を利用するため,新しい全方位撮影システムであるOmniGSを提案する。
本手法は,全方位画像を用いた最先端の復元品質と高速レンダリングを実現する。
- 参考スコア(独自算出の注目度): 27.543561055868697
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Photorealistic reconstruction relying on 3D Gaussian Splatting has shown promising potential in robotics. However, the current 3D Gaussian Splatting system only supports radiance field reconstruction using undistorted perspective images. In this paper, we present OmniGS, a novel omnidirectional Gaussian splatting system, to take advantage of omnidirectional images for fast radiance field reconstruction. Specifically, we conduct a theoretical analysis of spherical camera model derivatives in 3D Gaussian Splatting. According to the derivatives, we then implement a new GPU-accelerated omnidirectional rasterizer that directly splats 3D Gaussians onto the equirectangular screen space for omnidirectional image rendering. As a result, we realize differentiable optimization of the radiance field without the requirement of cube-map rectification or tangent-plane approximation. Extensive experiments conducted in egocentric and roaming scenarios demonstrate that our method achieves state-of-the-art reconstruction quality and high rendering speed using omnidirectional images. To benefit the research community, the code will be made publicly available once the paper is published.
- Abstract(参考訳): 3Dガウシアン・スプレイティングを頼りにした光現実的再構築は、ロボティクスに有望な可能性を示している。
しかし,現在の3次元ガウス散乱システムは,歪みのない視点像を用いた放射場再構成しかサポートしていない。
本稿では,全方位全方位撮影システムであるOmniGSについて,高速放射野再構成のための全方位画像の活用について述べる。
具体的には,3次元ガウス散乱における球面カメラモデル導関数の理論解析を行う。
導出物によれば、3Dガウスを正方形スクリーン空間に直接配置し、全方位画像レンダリングを行うGPU加速全方位ラスタライザを新たに実装する。
その結果、立方体写像の補正や接面近似を必要とせずに、放射界の微分可能最適化を実現した。
エゴセントリックおよびローミングのシナリオで実施された大規模な実験により,本手法は全方位画像を用いて最先端の復元品質と高速なレンダリングを実現することを示した。
研究コミュニティの利益を得るために、論文が公開されたら、コードは公開されます。
関連論文リスト
- Gaussian Opacity Fields: Efficient and Compact Surface Reconstruction in Unbounded Scenes [50.92217884840301]
Gaussian Opacity Fields (GOF)は、シーンにおける効率的で高品質でコンパクトな表面再構成のための新しいアプローチである。
GOFは3Dガウスのレイトレーシングに基づくボリュームレンダリングに由来する。
GOFは、表面再構成と新しいビュー合成において、既存の3DGSベースの手法を超越している。
論文 参考訳(メタデータ) (2024-04-16T17:57:19Z) - CoherentGS: Sparse Novel View Synthesis with Coherent 3D Gaussians [18.42203035154126]
2次元画像空間で制御できる構造付きガウス表現を導入する。
次に、ガウス群、特にその位置を制約し、最適化中に独立に動くのを防ぐ。
我々は,様々な場面における最先端のスパースビュー NeRF ベースのアプローチと比較して,顕著な改善を示した。
論文 参考訳(メタデータ) (2024-03-28T15:27:13Z) - 2D Gaussian Splatting for Geometrically Accurate Radiance Fields [50.056790168812114]
3D Gaussian Splatting (3DGS)は近年,高画質の新規ビュー合成と高速レンダリングを実現し,放射界再構成に革命をもたらした。
多視点画像から幾何学的精度の高い放射場をモデル化・再構成するための新しいアプローチである2DGS(2D Gaussian Splatting)を提案する。
競合する外観品質、高速トレーニング速度、リアルタイムレンダリングを維持しつつ、ノイズフリーかつ詳細な幾何学的再構成を可能にする。
論文 参考訳(メタデータ) (2024-03-26T17:21:24Z) - Recent Advances in 3D Gaussian Splatting [31.3820273122585]
3次元ガウススプラッティングは、新規なビュー合成のレンダリング速度を大幅に高速化した。
3D Gaussian Splattingの明示的な表現は、動的再構成、幾何学的編集、物理シミュレーションなどの編集作業を容易にする。
本稿では,3次元再構成,3次元編集,その他の下流アプリケーションに大まかに分類できる最近の3次元ガウス散乱法について,文献的考察を行う。
論文 参考訳(メタデータ) (2024-03-17T07:57:08Z) - Radiative Gaussian Splatting for Efficient X-ray Novel View Synthesis [92.69532644965663]
我々は,X線ノベルビュー可視化のための3次元ガウシアンスプラッティングに基づくフレームワーク,すなわちX-ガウシアンを提案する。
実験の結果,X-Gaussianは6.5dBの最先端手法より優れており,トレーニング時間は15%未満であり,推論速度は73倍であることがわかった。
論文 参考訳(メタデータ) (2024-03-07T00:12:08Z) - pixelSplat: 3D Gaussian Splats from Image Pairs for Scalable Generalizable 3D Reconstruction [26.72289913260324]
pixelSplatは、画像のペアから3次元ガウスプリミティブによってパラメータ化された3次元放射界の再構成を学ぶフィードフォワードモデルである。
我々のモデルは、スケーラブルなトレーニングのためのリアルタイム・メモリ効率のレンダリングと、推論時の高速な3次元再構成を特徴としている。
論文 参考訳(メタデータ) (2023-12-19T17:03:50Z) - GIR: 3D Gaussian Inverse Rendering for Relightable Scene Factorization [76.52007427483396]
GIRは3次元ガウス逆レンダリング法である。
本手法は,多視点画像から物体の材料特性,照明,形状を推定するために3次元ガウス法を用いる。
論文 参考訳(メタデータ) (2023-12-08T16:05:15Z) - GPS-Gaussian: Generalizable Pixel-wise 3D Gaussian Splatting for Real-time Human Novel View Synthesis [70.24111297192057]
我々は、文字の新たなビューをリアルタイムに合成するための新しいアプローチ、GPS-Gaussianを提案する。
提案手法は,スパースビューカメラ設定下での2K解像度のレンダリングを可能にする。
論文 参考訳(メタデータ) (2023-12-04T18:59:55Z) - Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。
局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。
提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
論文 参考訳(メタデータ) (2023-11-30T17:58:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。