論文の概要: Fisheye-GS: Lightweight and Extensible Gaussian Splatting Module for Fisheye Cameras

• arxiv url: http://arxiv.org/abs/2409.04751v2
• Date: Wed, 11 Sep 2024 07:04:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-12 17:44:43.367326
• Title: Fisheye-GS: Lightweight and Extensible Gaussian Splatting Module for Fisheye Cameras
• Title（参考訳）: Fisheye-GS:魚眼カメラ用軽量で拡張可能なガウス撮影モジュール
• Authors: Zimu Liao, Siyan Chen, Rong Fu, Yi Wang, Zhongling Su, Hao Luo, Li Ma, Linning Xu, Bo Dai, Hengjie Li, Zhilin Pei, Xingcheng Zhang,
• Abstract要約: 魚眼カメラのプロジェクション変換と勾配を再現する新しい手法である魚眼-GSを紹介する。 我々の手法は他の効率的な3Dレンダリング手法にモジュールとしてシームレスに統合することができる。
• 参考スコア（独自算出の注目度）: 17.75361921797657
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, 3D Gaussian Splatting (3DGS) has garnered attention for its high fidelity and real-time rendering. However, adapting 3DGS to different camera models, particularly fisheye lenses, poses challenges due to the unique 3D to 2D projection calculation. Additionally, there are inefficiencies in the tile-based splatting, especially for the extreme curvature and wide field of view of fisheye lenses, which are crucial for its broader real-life applications. To tackle these challenges, we introduce Fisheye-GS.This innovative method recalculates the projection transformation and its gradients for fisheye cameras. Our approach can be seamlessly integrated as a module into other efficient 3D rendering methods, emphasizing its extensibility, lightweight nature, and modular design. Since we only modified the projection component, it can also be easily adapted for use with different camera models. Compared to methods that train after undistortion, our approach demonstrates a clear improvement in visual quality.
• Abstract（参考訳）: 近年, 3D Gaussian Splatting (3DGS) が注目されている。 しかし、異なるカメラモデル、特に魚眼レンズに3DGSを適応させることは、ユニークな3Dから2Dのプロジェクション計算のために困難をもたらす。 さらに、特に魚眼レンズの極端な曲率と広い視野において、タイルベースのスプラッティングの非効率性は、より広い現実の用途に欠かせない。 これらの課題に対処するために,魚眼カメラの投射変換とその勾配を再現する革新的な手法である魚眼-GSを紹介する。 我々のアプローチは、モジュールとして他の効率的な3Dレンダリング手法にシームレスに統合することができ、拡張性、軽量な性質、モジュール設計を強調します。 プロジェクションコンポーネントのみを変更したので、異なるカメラモデルで簡単に使用することができる。 非歪の後にトレーニングする手法と比較して、我々の手法は視覚的品質の明確な改善を示す。

関連論文リスト

• Decoupling Appearance Variations with 3D Consistent Features in Gaussian Splatting [50.98884579463359]
  本稿では,プラグアンドプレイ方式で外観変化を分離するDAVIGSを提案する。 ガウスレベルではなく画像レベルでレンダリング結果を変換することにより、最適化時間とメモリオーバーヘッドを最小限に抑えた外観変化をモデル化できる。 提案手法をいくつかの外観変化シーンで検証し,トレーニング時間とメモリ使用量を最小限に抑えて,最先端のレンダリング品質を実現することを実証した。
  論文  参考訳（メタデータ） (2025-01-18T14:55:58Z)
• 3DGUT: Enabling Distorted Cameras and Secondary Rays in Gaussian Splatting [15.124165321341646]
  3D Gaussian Splatting (3DGS)は、消費者ハードウェア上で効率的な再構成と高忠実なリアルタイムレンダリングを行う大きな可能性を示している。 3DGSは理想的なピンホールカメラに制約されており、二次照明効果がない。 最近の方法では、代わりに粒子をトレースすることでこれらの制限に対処している。 本研究では,3DGS における EWA スプラッティングを Unscented Transform に置き換えた 3D Gaussian Unscented Transform (3DGUT) を提案する。
  論文  参考訳（メタデータ） (2024-12-17T03:21:25Z)
• LiftImage3D: Lifting Any Single Image to 3D Gaussians with Video Generation Priors [107.83398512719981]
  シングルイメージの3D再構成は、コンピュータビジョンの根本的な課題である。 遅延ビデオ拡散モデルの最近の進歩は、大規模ビデオデータから学ぶ有望な3D事前情報を提供する。 本稿では,LVDMの生成先行情報を効果的にリリースするフレームワークであるLiftImage3Dを提案する。
  論文  参考訳（メタデータ） (2024-12-12T18:58:42Z)
• EVER: Exact Volumetric Ellipsoid Rendering for Real-time View Synthesis [72.53316783628803]
  実時間微分可能な発光専用ボリュームレンダリング法であるExact Volumetric Ellipsoid Rendering (EVER)を提案する。 3D Gaussian Splatting(3DGS)による最近の手法とは異なり、プリミティブベースの表現は正確なボリュームレンダリングを可能にする。 本手法は,3DGSよりもブレンディング問題の方が精度が高く,ビューレンダリングの追従作業も容易であることを示す。
  論文  参考訳（メタデータ） (2024-10-02T17:59:09Z)
• Gaussian Splatting on the Move: Blur and Rolling Shutter Compensation for Natural Camera Motion [25.54868552979793]
  本稿では,カメラの動きに適応し,手持ち映像データを用いた高品質なシーン再構成を実現する手法を提案する。 合成データと実データの両方を用いて、既存の手法よりもカメラの動きを軽減できる性能を示した。
  論文  参考訳（メタデータ） (2024-03-20T06:19:41Z)
• VastGaussian: Vast 3D Gaussians for Large Scene Reconstruction [59.40711222096875]
  VastGaussianは3次元ガウススティングに基づく大規模シーンにおける高品質な再構成とリアルタイムレンダリングのための最初の方法である。 提案手法は既存のNeRF手法より優れており,複数の大規模シーンデータセットの最先端結果が得られる。
  論文  参考訳（メタデータ） (2024-02-27T11:40:50Z)
• Gaussian Splatting SLAM [16.3858380078553]
  単分子SLAMにおける3次元ガウス散乱の最初の応用について述べる。 我々の方法は3fpsで動作し、正確な追跡、マッピング、高品質なレンダリングに必要な表現を統一する。 ライブカメラから高忠実度で連続的に3Dシーンを再構築するためには、いくつかの革新が必要である。
  論文  参考訳（メタデータ） (2023-12-11T18:19:04Z)
• Neural Lens Modeling [50.57409162437732]
  NeuroLens(ニューロレンス)は、点投影と光線鋳造に使用できる歪みと磁化のための神経レンズモデルである。 古典的なキャリブレーションターゲットを使用してプリキャプチャのキャリブレーションを行うことができ、後に3D再構成の際にキャリブレーションやリファインメントを行うために使用できる。 このモデルは、多くのレンズタイプにまたがって一般化されており、既存の3D再構成とレンダリングシステムとの統合は容易である。
  論文  参考訳（メタデータ） (2023-04-10T20:09:17Z)
• A Novel Viewport-Adaptive Motion Compensation Technique for Fisheye Video [7.09875977818162]
  最近提案された投射に基づくアプローチは、魚眼運動補償を改善するために、魚眼投射を考慮に入れている。 本稿では,異なる視点のビューポートに移動ベクトルを適用したビューポート適応型モーション補償手法を提案する。 魚眼運動補償における技量と比較すると,PSNRでは+2.40dBの平均利得が得られる。
  論文  参考訳（メタデータ） (2022-02-28T15:41:08Z)
• Lightweight Multi-View 3D Pose Estimation through Camera-Disentangled Representation [57.11299763566534]
  空間校正カメラで撮影した多視点画像から3次元ポーズを復元する手法を提案する。 我々は3次元形状を利用して、入力画像をカメラ視点から切り離したポーズの潜在表現に融合する。 アーキテクチャは、カメラプロジェクション演算子に学習した表現を条件付け、ビュー当たりの正確な2次元検出を生成する。
  論文  参考訳（メタデータ） (2020-04-05T12:52:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。