論文の概要: DirectFisheye-GS: Enabling Native Fisheye Input in Gaussian Splatting with Cross-View Joint Optimization
- arxiv url: http://arxiv.org/abs/2604.00648v1
- Date: Wed, 01 Apr 2026 09:00:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-02 16:44:31.911821
- Title: DirectFisheye-GS: Enabling Native Fisheye Input in Gaussian Splatting with Cross-View Joint Optimization
- Title(参考訳): DirectFisheye-GS: クロスビュー共同最適化によるガウス平滑化におけるネイティブ魚眼入力の実現
- Authors: Zhengxian Yang, Fei Xie, Xutao Xue, Rui Zhang, Taicheng Huang, Yang Liu, Mengqi Ji, Tao Yu,
- Abstract要約: 3D Gaussian Splatting (3DGS)は、リアルタイム高忠実なレンダリングによる日常画像からの効率的な3Dシーン再構築を実現している。
より広い視野(FOV)を持つ魚眼カメラは、少ない入力から高品質な再構築を約束する。
- 参考スコア(独自算出の注目度): 17.91043282211744
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 3D Gaussian Splatting (3DGS) has enabled efficient 3D scene reconstruction from everyday images with real-time, high-fidelity rendering, greatly advancing VR/AR applications. Fisheye cameras, with their wider field of view (FOV), promise high-quality reconstructions from fewer inputs and have recently attracted much attention. However, since 3DGS relies on rasterization, most subsequent works involving fisheye camera inputs first undistort images before training, which introduces two problems: 1) Black borders at image edges cause information loss and negate the fisheye's large FOV advantage; 2) Undistortion's stretch-and-interpolate resampling spreads each pixel's value over a larger area, diluting detail density -- causes 3DGS overfitting these low-frequency zones, producing blur and floating artifacts. In this work, we integrate fisheye camera model into the original 3DGS framework, enabling native fisheye image input for training without preprocessing. Despite correct modeling, we observed that the reconstructed scenes still exhibit floaters at image edges: Distortion increases toward the periphery, and 3DGS's original per-iteration random-selecting-view optimization ignores the cross-view correlations of a Gaussian, leading to extreme shapes (e.g., oversized or elongated) that degrade reconstruction quality. To address this, we introduce a feature-overlap-driven cross-view joint optimization strategy that establishes consistent geometric and photometric constraints across views-a technique equally applicable to existing pinhole-camera-based pipelines. Our DirectFisheye-GS matches or surpasses state-of-the-art performance on public datasets.
- Abstract(参考訳): 3D Gaussian Splatting (3DGS)は、リアルタイム、高忠実なレンダリング、VR/ARアプリケーションによる日々の画像からの効率的な3Dシーン再構築を実現した。
より広い視野の魚眼カメラ(FOV)は、少ない入力から高品質な再構築を約束し、近年注目を集めている。
しかし、3DGSはラスタ化に依存しているため、その後のほとんどの作業では、トレーニング前に魚眼カメラが最初に歪みのない画像を入力する。
1)画像エッジの黒い境界は,情報損失を引き起こし,魚眼の大きなFOV優位性を否定する。
2) Undistortionのストレッチ・アンド・インターポーレート・リサンプリングは、各ピクセルの値をより大きな領域に広げ、ディテール密度を希薄にすることで、これらの低周波帯に3DGSが過度に適合し、ぼやけや浮き彫りのアーティファクトを発生させる。
本研究では,魚眼カメラモデルを元の3DGSフレームワークに統合し,前処理なしでネイティブ魚眼画像入力を行う。
3DGSの元々のランダム・セレクション・ビュー最適化では、ガウスのクロスビュー相関を無視し、復元品質を低下させる極端な形状(例えば、大きすぎる、または細長い)をもたらす。
そこで本稿では,ビュー間の一貫した幾何的および測光的制約を確立する機能オーバーラップ駆動型クロスビュー共同最適化手法を提案する。
DirectFisheye-GSは、公開データセットの最先端のパフォーマンスにマッチするか、上回っている。
関連論文リスト
- Fisheye3R: Adapting Unified 3D Feed-Forward Foundation Models to Fisheye Lenses [5.987299558427844]
Fisheye3Rは、多視点3D再構成基盤モデルを拡張して、視点画像の性能劣化を伴わずに魚眼入力に対応する新しい適応フレームワークである。
本手法は,魚眼画像のカメラポーズ,深度,点マップ,視野推定を一貫して改善する。
論文 参考訳(メタデータ) (2026-03-30T18:18:56Z) - PrismGS: Physically-Grounded Anti-Aliasing for High-Fidelity Large-Scale 3D Gaussian Splatting [23.277915756682944]
3D Gaussian Splatting (3DGS)は、最近、コンパクトなシーンでのリアルタイムレンダリングを可能にしたが、大都市環境へのスケーリングは、深刻なエイリアス化アーティファクトをもたらす。
そこで,PrismGSを提案する。PrismGSは3次元ガウスの内在的なレンダリング動作を改善する物理地上正規化フレームワークである。
論文 参考訳(メタデータ) (2025-10-09T06:21:45Z) - Revisiting Depth Representations for Feed-Forward 3D Gaussian Splatting [57.43483622778394]
本稿では,事前学習した変圧器によって予測される点マップに基づく新しい正規化損失PM-Lossを紹介する。
改良された深度マップにより,様々なアーキテクチャやシーンのフィードフォワード3DGSを大幅に改善する。
論文 参考訳(メタデータ) (2025-06-05T17:58:23Z) - Beyond Gaussians: Fast and High-Fidelity 3D Splatting with Linear Kernels [51.08794269211701]
本稿では,ガウスカーネルを線形カーネルに置き換えて,よりシャープで高精度な結果を得る3Dリニアスティング(DLS)を提案する。
3DLSは、最先端の忠実さと正確さを示し、ベースライン3DGSよりも30%のFPS改善を実現している。
論文 参考訳(メタデータ) (2024-11-19T11:59:54Z) - Fisheye-GS: Lightweight and Extensible Gaussian Splatting Module for Fisheye Cameras [17.75361921797657]
魚眼カメラのプロジェクション変換と勾配を再現する新しい手法である魚眼-GSを紹介する。
我々の手法は他の効率的な3Dレンダリング手法にモジュールとしてシームレスに統合することができる。
論文 参考訳(メタデータ) (2024-09-07T07:53:40Z) - PUP 3D-GS: Principled Uncertainty Pruning for 3D Gaussian Splatting [59.277480452459315]
本研究では,視覚的忠実度と前景の細部を高い圧縮比で保持する原理的感度プルーニングスコアを提案する。
また,トレーニングパイプラインを変更することなく,事前訓練した任意の3D-GSモデルに適用可能な複数ラウンドプルーファインパイプラインを提案する。
論文 参考訳(メタデータ) (2024-06-14T17:53:55Z) - VastGaussian: Vast 3D Gaussians for Large Scene Reconstruction [59.40711222096875]
VastGaussianは3次元ガウススティングに基づく大規模シーンにおける高品質な再構成とリアルタイムレンダリングのための最初の方法である。
提案手法は既存のNeRF手法より優れており,複数の大規模シーンデータセットの最先端結果が得られる。
論文 参考訳(メタデータ) (2024-02-27T11:40:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。