論文の概要: Fisheye-GS: Lightweight and Extensible Gaussian Splatting Module for Fisheye Cameras
- arxiv url: http://arxiv.org/abs/2409.04751v1
- Date: Sat, 7 Sep 2024 07:53:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-10 20:51:37.487710
- Title: Fisheye-GS: Lightweight and Extensible Gaussian Splatting Module for Fisheye Cameras
- Title（参考訳）: Fisheye-GS:魚眼カメラ用軽量で拡張可能なガウス撮影モジュール
- Authors: Zimu Liao, Siyan Chen, Rong Fu, Yi Wang, Zhongling Su, Hao Luo, Linning Xu, Bo Dai, Hengjie Li, Zhilin Pei, Xingcheng Zhang,
- Abstract要約: 魚眼カメラのプロジェクション変換と勾配を再現する新しい手法である魚眼-GSを紹介する。
我々の手法は他の効率的な3Dレンダリング手法にモジュールとしてシームレスに統合することができる。
- 参考スコア（独自算出の注目度）: 16.215612524513798
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recently, 3D Gaussian Splatting (3DGS) has garnered attention for its high fidelity and real-time rendering. However, adapting 3DGS to different camera models, particularly fisheye lenses, poses challenges due to the unique 3D to 2D projection calculation. Additionally, there are inefficiencies in the tile-based splatting, especially for the extreme curvature and wide field of view of fisheye lenses, which are crucial for its broader real-life applications. To tackle these challenges, we introduce Fisheye-GS.This innovative method recalculates the projection transformation and its gradients for fisheye cameras. Our approach can be seamlessly integrated as a module into other efficient 3D rendering methods, emphasizing its extensibility, lightweight nature, and modular design. Since we only modified the projection component, it can also be easily adapted for use with different camera models. Compared to methods that train after undistortion, our approach demonstrates a clear improvement in visual quality.
- Abstract（参考訳）: 近年, 3D Gaussian Splatting (3DGS) が注目されている。
しかし、異なるカメラモデル、特に魚眼レンズに3DGSを適応させることは、ユニークな3Dから2Dのプロジェクション計算のために困難をもたらす。
さらに、特に魚眼レンズの極端な曲率と広い視野において、タイルベースのスプラッティングの非効率性は、より広い現実の用途に欠かせない。
これらの課題に対処するために,魚眼カメラの投射変換とその勾配を再現する革新的な手法である魚眼-GSを紹介する。
我々のアプローチは、モジュールとして他の効率的な3Dレンダリング手法にシームレスに統合することができ、拡張性、軽量な性質、モジュール設計を強調します。
プロジェクションコンポーネントのみを変更したので、異なるカメラモデルで簡単に使用することができる。
非歪の後にトレーニングする手法と比較して、我々の手法は視覚的品質の明確な改善を示す。
関連論文リスト
- EVER: Exact Volumetric Ellipsoid Rendering for Real-time View Synthesis [72.53316783628803]
実時間微分可能な発光専用ボリュームレンダリング法であるExact Volumetric Ellipsoid Rendering (EVER)を提案する。
3D Gaussian Splatting(3DGS)による最近の手法とは異なり、プリミティブベースの表現は正確なボリュームレンダリングを可能にする。
本手法は,3DGSよりもブレンディング問題の方が精度が高く,ビューレンダリングの追従作業も容易であることを示す。
論文 参考訳（メタデータ） (2024-10-02T17:59:09Z) - DOF-GS: Adjustable Depth-of-Field 3D Gaussian Splatting for Refocusing,Defocus Rendering and Blur Removal [42.427021878005405]
3次元ガウススプラッティング技術は近年,高品質なリアルタイムレンダリングを実現するため,3次元シーン再構成と新しいビュー合成が進歩している。
これらのアプローチは、画像のモデリングにおいて基礎となるピンホールカメラの仮定によって本質的に制限されており、したがって、All-in-Focus (AiF) のシャープイメージ入力にのみ有効である。
これは、撮像素子の深度(DOF)が制限されているため、画像がしばしばデフォーカスのぼやけを示す現実世界のシナリオにおいて、それらの適用性に大きく影響する。
調整可能なDOFエフェクトのレンダリング、デフォーカスのぼかしの除去、および3Dシーンの再フォーカスを可能にするDOF-GSを導入する。
論文 参考訳（メタデータ） (2024-05-27T16:54:49Z) - Gaussian Splatting on the Move: Blur and Rolling Shutter Compensation for Natural Camera Motion [25.54868552979793]
本稿では,カメラの動きに適応し,手持ち映像データを用いた高品質なシーン再構成を実現する手法を提案する。
合成データと実データの両方を用いて、既存の手法よりもカメラの動きを軽減できる性能を示した。
論文 参考訳（メタデータ） (2024-03-20T06:19:41Z) - VastGaussian: Vast 3D Gaussians for Large Scene Reconstruction [59.40711222096875]
VastGaussianは3次元ガウススティングに基づく大規模シーンにおける高品質な再構成とリアルタイムレンダリングのための最初の方法である。
提案手法は既存のNeRF手法より優れており,複数の大規模シーンデータセットの最先端結果が得られる。
論文 参考訳（メタデータ） (2024-02-27T11:40:50Z) - Spec-Gaussian: Anisotropic View-Dependent Appearance for 3D Gaussian Splatting [55.71424195454963]
Spec-Gaussian は球面調和の代わりに異方性球面ガウス場を利用するアプローチである。
実験結果から,本手法はレンダリング品質の面で既存の手法を超越していることが示された。
この改良は、3D GSの適用性を高めて、特異面と異方面の複雑なシナリオを扱う。
論文 参考訳（メタデータ） (2024-02-24T17:22:15Z) - Gaussian Splatting SLAM [16.3858380078553]
単分子SLAMにおける3次元ガウス散乱の最初の応用について述べる。
我々の方法は3fpsで動作し、正確な追跡、マッピング、高品質なレンダリングに必要な表現を統一する。
ライブカメラから高忠実度で連続的に3Dシーンを再構築するためには、いくつかの革新が必要である。
論文 参考訳（メタデータ） (2023-12-11T18:19:04Z) - Neural Lens Modeling [50.57409162437732]
NeuroLens(ニューロレンス)は、点投影と光線鋳造に使用できる歪みと磁化のための神経レンズモデルである。
古典的なキャリブレーションターゲットを使用してプリキャプチャのキャリブレーションを行うことができ、後に3D再構成の際にキャリブレーションやリファインメントを行うために使用できる。
このモデルは、多くのレンズタイプにまたがって一般化されており、既存の3D再構成とレンダリングシステムとの統合は容易である。
論文 参考訳（メタデータ） (2023-04-10T20:09:17Z) - A Novel Viewport-Adaptive Motion Compensation Technique for Fisheye
Video [7.09875977818162]
最近提案された投射に基づくアプローチは、魚眼運動補償を改善するために、魚眼投射を考慮に入れている。
本稿では,異なる視点のビューポートに移動ベクトルを適用したビューポート適応型モーション補償手法を提案する。
魚眼運動補償における技量と比較すると,PSNRでは+2.40dBの平均利得が得られる。
論文 参考訳（メタデータ） (2022-02-28T15:41:08Z) - Lightweight Multi-View 3D Pose Estimation through Camera-Disentangled
Representation [57.11299763566534]
空間校正カメラで撮影した多視点画像から3次元ポーズを復元する手法を提案する。
我々は3次元形状を利用して、入力画像をカメラ視点から切り離したポーズの潜在表現に融合する。
アーキテクチャは、カメラプロジェクション演算子に学習した表現を条件付け、ビュー当たりの正確な2次元検出を生成する。
論文 参考訳（メタデータ） (2020-04-05T12:52:29Z) - Redesigning SLAM for Arbitrary Multi-Camera Systems [51.81798192085111]
SLAMシステムにより多くのカメラを追加することで、堅牢性と精度が向上するが、視覚的なフロントエンドの設計は大幅に複雑になる。
本研究では,任意のマルチカメラ装置で動作する適応SLAMシステムを提案する。
これらの修正を応用した最先端の視覚慣性計測装置を試作し, 改良したパイプラインが広い範囲のカメラ装置に適応可能であることを示す実験結果を得た。
論文 参考訳（メタデータ） (2020-03-04T11:44:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。