論文の概要: SC-OmniGS: Self-Calibrating Omnidirectional Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2502.04734v1
- Date: Fri, 07 Feb 2025 08:06:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-10 14:55:49.471220
- Title: SC-OmniGS: Self-Calibrating Omnidirectional Gaussian Splatting
- Title（参考訳）: SC-OmniGS:自己校正型全方位ガウススプラッティング
- Authors: Huajian Huang, Yingshu Chen, Longwei Li, Hui Cheng, Tristan Braud, Yajie Zhao, Sai-Kit Yeung,
- Abstract要約: SC-OmniGSは、360度画像を用いた高速かつ正確な放射野再構成のための新しい自己校正システムである。
実世界のデータの歪みを補正し,性能向上を図るために,一方向一方向カメラモデルを導入する。
- 参考スコア（独自算出の注目度）: 29.489453234466982
- License:
- Abstract: 360-degree cameras streamline data collection for radiance field 3D reconstruction by capturing comprehensive scene data. However, traditional radiance field methods do not address the specific challenges inherent to 360-degree images. We present SC-OmniGS, a novel self-calibrating omnidirectional Gaussian splatting system for fast and accurate omnidirectional radiance field reconstruction using 360-degree images. Rather than converting 360-degree images to cube maps and performing perspective image calibration, we treat 360-degree images as a whole sphere and derive a mathematical framework that enables direct omnidirectional camera pose calibration accompanied by 3D Gaussians optimization. Furthermore, we introduce a differentiable omnidirectional camera model in order to rectify the distortion of real-world data for performance enhancement. Overall, the omnidirectional camera intrinsic model, extrinsic poses, and 3D Gaussians are jointly optimized by minimizing weighted spherical photometric loss. Extensive experiments have demonstrated that our proposed SC-OmniGS is able to recover a high-quality radiance field from noisy camera poses or even no pose prior in challenging scenarios characterized by wide baselines and non-object-centric configurations. The noticeable performance gain in the real-world dataset captured by consumer-grade omnidirectional cameras verifies the effectiveness of our general omnidirectional camera model in reducing the distortion of 360-degree images.
- Abstract（参考訳）: 包括的シーンデータ取得による放射場3次元再構成のための360度カメラの合理化
しかし、従来の放射場法は、360度画像に固有の特定の課題に対処していない。
SC-OmniGSは、360度画像を用いた高速かつ高精度な全方位放射場再構成のための、新規な全方位撮影システムである。
360度画像を立方体マップに変換して視点画像の校正を行う代わりに、360度画像を球体として扱い、3次元ガウス最適化を伴う全方位カメラの直接校正を可能にする数学的枠組みを導出する。
さらに,実世界のデータの歪みを補正し,性能向上を図るために,一方向一方向カメラモデルを導入する。
全体として、全方位カメラ内在モデル、外因性ポーズ、3次元ガウスアンは、重み付けされた球面光度損失を最小化することにより、共同最適化される。
提案したSC-OmniGSは,広義のベースラインと非対象中心構成を特徴とする難易度シナリオにおいて,ノイズの多いカメラポーズから高品質な放射界を復元できることを示した。
コンシューマグレードの全方位カメラが捉えた実世界のデータセットにおける顕著な性能向上は、360度画像の歪みを低減するために、我々の全方位カメラモデルの有効性を検証する。
関連論文リスト
- IM360: Textured Mesh Reconstruction for Large-scale Indoor Mapping with 360$^\circ$ Cameras [53.53895891356167]
室内環境の3次元マッピングとレンダリングのための360ドルのカメラのための新しい3D再構成パイプラインを提案する。
我々のアプローチ(IM360)は全方位画像の広い視野を活用し、球面カメラモデルをSfMパイプラインのすべてのコアコンポーネントに統合する。
Matterport3DとStanford2D3Dデータセットから大規模屋内シーンのパイプラインを評価する。
論文 参考訳（メタデータ） (2025-02-18T05:15:19Z) - FreeSplatter: Pose-free Gaussian Splatting for Sparse-view 3D Reconstruction [59.77970844874235]
スパースビュー画像から高品質な3Dガウス画像を生成することができるフィードフォワード再構築フレームワークであるFreeSplatterを提案する。
FreeSplatterは、シーケンシャルな自己アテンションブロックで構成される、合理化されたトランスフォーマーアーキテクチャ上に構築されている。
テキスト・画像・3Dコンテンツ作成など,下流アプリケーションの生産性を高めるFreeSplatterの可能性を示す。
論文 参考訳（メタデータ） (2024-12-12T18:52:53Z) - Radiant: Large-scale 3D Gaussian Rendering based on Hierarchical Framework [13.583584930991847]
大規模シーン再構成のための階層型3DGSアルゴリズムであるRadiantを提案する。
Radiantは、リビルド品質を最大25.7%改善し、エンドツーエンドのレイテンシを79.6%削減した。
論文 参考訳（メタデータ） (2024-12-07T05:48:00Z) - PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。
本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
論文 参考訳（メタデータ） (2024-10-29T15:28:15Z) - DeblurGS: Gaussian Splatting for Camera Motion Blur [45.13521168573883]
動きブル画像から鋭い3次元ガウススプラッティングを最適化するDeblurGSを提案する。
我々は,3次元ガウススプラッティングの顕著な再構成能力を活用して,きめ細かなシャープシーンを復元する。
提案手法は,6自由度カメラの動きをそれぞれのぼやけた観測のために推定し,それに対応するぼやけたレンダリングを合成する。
論文 参考訳（メタデータ） (2024-04-17T13:14:52Z) - OmniGS: Fast Radiance Field Reconstruction using Omnidirectional Gaussian Splatting [27.543561055868697]
現在の3次元ガウス散乱システムは、歪みのない視点画像を用いた放射場再構成しかサポートしていない。
高速な放射野再構成のための全方位画像を利用するため,新しい全方位撮影システムであるOmniGSを提案する。
論文 参考訳（メタデータ） (2024-04-04T05:10:26Z) - 2D Gaussian Splatting for Geometrically Accurate Radiance Fields [50.056790168812114]
3D Gaussian Splatting (3DGS)は近年,高画質の新規ビュー合成と高速レンダリングを実現し,放射界再構成に革命をもたらした。
多視点画像から幾何学的精度の高い放射場をモデル化・再構成するための新しいアプローチである2DGS(2D Gaussian Splatting)を提案する。
競合する外観品質、高速トレーニング速度、リアルタイムレンダリングを維持しつつ、ノイズフリーかつ詳細な幾何学的再構成を可能にする。
論文 参考訳（メタデータ） (2024-03-26T17:21:24Z) - Gaussian Splatting on the Move: Blur and Rolling Shutter Compensation for Natural Camera Motion [25.54868552979793]
本稿では,カメラの動きに適応し,手持ち映像データを用いた高品質なシーン再構成を実現する手法を提案する。
合成データと実データの両方を用いて、既存の手法よりもカメラの動きを軽減できる性能を示した。
論文 参考訳（メタデータ） (2024-03-20T06:19:41Z) - W-HMR: Monocular Human Mesh Recovery in World Space with Weak-Supervised Calibration [57.37135310143126]
モノクロ画像からの3次元運動回復のための従来の手法は、カメラ座標に依存するため、しばしば不足する。
W-HMRは、身体の歪み情報に基づいて「適切な」焦点長を予測する弱教師付き校正法である。
また,世界空間における可視的再構築のために,身体の向きを補正する OrientCorrect モジュールを提案する。
論文 参考訳（メタデータ） (2023-11-29T09:02:07Z) - Phase Guided Light Field for Spatial-Depth High Resolution 3D Imaging [36.208109063579066]
3Dイメージングでは、光界カメラは通常単発で、空間解像度と深度精度の低下に悩まされる。
そこで本研究では,オフザシェルフ光場カメラの空間分解能と深度を両立させる位相誘導光場アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-11-17T15:08:15Z) - Robust 360-8PA: Redesigning The Normalized 8-point Algorithm for 360-FoV
Images [53.11097060367591]
球面投影における360-fov画像から本質行列を推定する新しい手法を提案する。
我々の正規化は、時間を大幅に上回ることなく、カメラの精度を約20%向上させることができることを示す。
論文 参考訳（メタデータ） (2021-04-22T07:23:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。