論文の概要: No Parameters, No Problem: 3D Gaussian Splatting without Camera Intrinsics and Extrinsics

• arxiv url: http://arxiv.org/abs/2502.19800v1
• Date: Thu, 27 Feb 2025 06:16:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-28 14:57:38.250018
• Title: No Parameters, No Problem: 3D Gaussian Splatting without Camera Intrinsics and Extrinsics
• Title（参考訳）: パラメータなし、問題なし:カメラの内在と外在を伴わない3次元ガウススプレイティング
• Authors: Dongbo Shi, Shen Cao, Lubin Fan, Bojian Wu, Jinhui Guo, Renjie Chen, Ligang Liu, Jieping Ye,
• Abstract要約: 本稿では,カメラの内在性や外在性を必要とすることなく,画像コレクションから3DGSをトレーニングするための共同最適化手法を提案する。 理論的には、カメラの内在性の勾配を導出し、カメラの内在性を訓練中に同時に最適化できるようにする。 グローバルトラック情報を統合し,各トラックに関連するガウスカーネルを選択する。
• 参考スコア（独自算出の注目度）: 40.9371798496134
• License:
• Abstract: While 3D Gaussian Splatting (3DGS) has made significant progress in scene reconstruction and novel view synthesis, it still heavily relies on accurately pre-computed camera intrinsics and extrinsics, such as focal length and camera poses. In order to mitigate this dependency, the previous efforts have focused on optimizing 3DGS without the need for camera poses, yet camera intrinsics remain necessary. To further loose the requirement, we propose a joint optimization method to train 3DGS from an image collection without requiring either camera intrinsics or extrinsics. To achieve this goal, we introduce several key improvements during the joint training of 3DGS. We theoretically derive the gradient of the camera intrinsics, allowing the camera intrinsics to be optimized simultaneously during training. Moreover, we integrate global track information and select the Gaussian kernels associated with each track, which will be trained and automatically rescaled to an infinitesimally small size, closely approximating surface points, and focusing on enforcing multi-view consistency and minimizing reprojection errors, while the remaining kernels continue to serve their original roles. This hybrid training strategy nicely unifies the camera parameters estimation and 3DGS training. Extensive evaluations demonstrate that the proposed method achieves state-of-the-art (SOTA) performance on both public and synthetic datasets.
• Abstract（参考訳）: 3D Gaussian Splatting (3DGS) はシーン再構成や新しいビュー合成において大きな進歩を遂げてきたが、それでも焦点距離やカメラポーズなど、正確に計算済みのカメラ内在と外在に大きく依存している。 この依存を緩和するためには、カメラのポーズを必要とせずに3DGSを最適化することに注力してきたが、カメラの内在性は依然として必要である。 さらにその要件を緩和するために,カメラの内在性や外在性を必要とすることなく,画像コレクションから3DGSをトレーニングするための共同最適化手法を提案する。 この目的を達成するために,3DGSのジョイントトレーニングにおいて,いくつかの重要な改善点を紹介した。 理論的には、カメラの内在性の勾配を導出し、カメラの内在性を訓練中に同時に最適化できるようにする。 さらに,グローバルトラック情報を統合し,各トラックに関連するガウスカーネルを選択する。このカーネルは無限に小さなサイズにトレーニングされ,自動的に再スケールされ,表面点の密接な近似が行われ,複数ビューの整合性と再生成エラーの最小化に焦点が当てられ,残りのカーネルは元の役割を担っている。 このハイブリッドトレーニング戦略は、カメラパラメータ推定と3DGSトレーニングをうまく統合する。 大規模評価により, 提案手法は, パブリックデータセットと合成データセットの両方において, 最先端(SOTA)の性能を達成できることが示されている。

関連論文リスト

• 3DGS$^2$: Near Second-order Converging 3D Gaussian Splatting [26.94968605302451]
  3D Gaussian Splatting (3DGS)は、新しいビュー合成と3D再構成の主流のソリューションとして登場した。 本稿では,3DGSの2次収束学習アルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2025-01-22T22:28:11Z)
• KeyGS: A Keyframe-Centric Gaussian Splatting Method for Monocular Image Sequences [14.792295042683254]
  深度やマッチングモデルなしで動作可能な,効率的なフレームワークを提案する。 そこで本研究では,細かな周波数認識による粗大な密度密度化を提案し,異なるレベルの詳細を再構築する。
  論文  参考訳（メタデータ） (2024-12-30T07:32:35Z)
• PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
  PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。 本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
  論文  参考訳（メタデータ） (2024-10-29T15:28:15Z)
• Look Gauss, No Pose: Novel View Synthesis using Gaussian Splatting without Accurate Pose Initialization [11.418632671254564]
  3D Gaussian Splattingは、一連の入力画像から高速で正確なノベルビュー合成のための強力なツールとして登場した。 本稿では, 外部カメラパラメータを測光残差に対して最適化することにより, 3次元ガウス散乱フレームワークの拡張を提案する。 シミュレーション環境を通して実世界のシーンと複雑な軌道について結果を示す。
  論文  参考訳（メタデータ） (2024-10-11T12:01:15Z)
• PUP 3D-GS: Principled Uncertainty Pruning for 3D Gaussian Splatting [59.277480452459315]
  本研究では,視覚的忠実度と前景の細部を高い圧縮比で保持する原理的感度プルーニングスコアを提案する。 また,トレーニングパイプラインを変更することなく,事前訓練した任意の3D-GSモデルに適用可能な複数ラウンドプルーファインパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-06-14T17:53:55Z)
• WE-GS: An In-the-wild Efficient 3D Gaussian Representation for Unconstrained Photo Collections [8.261637198675151]
  制約のない写真コレクションからの新規ビュー合成(NVS)は、コンピュータグラフィックスでは困難である。 写真コレクションからのシーン再構築のための効率的なポイントベース微分可能レンダリングフレームワークを提案する。 提案手法は、新しいビューのレンダリング品質と、高収束・レンダリング速度の外観合成において、既存のアプローチよりも優れている。
  論文  参考訳（メタデータ） (2024-06-04T15:17:37Z)
• LP-3DGS: Learning to Prune 3D Gaussian Splatting [71.97762528812187]
  本稿では,トレーニング可能な2値マスクを重要度に応用し,最適プルーニング比を自動的に検出する3DGSを提案する。 実験の結果,LP-3DGSは効率と高品質の両面において良好なバランスを保っていることがわかった。
  論文  参考訳（メタデータ） (2024-05-29T05:58:34Z)
• Gaussian Splatting on the Move: Blur and Rolling Shutter Compensation for Natural Camera Motion [25.54868552979793]
  本稿では,カメラの動きに適応し,手持ち映像データを用いた高品質なシーン再構成を実現する手法を提案する。 合成データと実データの両方を用いて、既存の手法よりもカメラの動きを軽減できる性能を示した。
  論文  参考訳（メタデータ） (2024-03-20T06:19:41Z)
• GGRt: Towards Pose-free Generalizable 3D Gaussian Splatting in Real-time [112.32349668385635]
  GGRtは、現実のカメラポーズの必要性を軽減する、一般化可能な新しいビュー合成のための新しいアプローチである。 最初のポーズフリーの一般化可能な3D-GSフレームワークとして、GGRtは$ge$5 FPSで、リアルタイムレンダリングは$ge$100 FPSで実現している。
  論文  参考訳（メタデータ） (2024-03-15T09:47:35Z)
• Spatiotemporal Bundle Adjustment for Dynamic 3D Human Reconstruction in the Wild [49.672487902268706]
  本稿では,カメラの時間的アライメントと3次元点三角測量を共同で推定する枠組みを提案する。 複数の無同期・無同期ビデオカメラで捉えたイベントにおいて、人間の身体の3次元運動軌跡を再構成する。
  論文  参考訳（メタデータ） (2020-07-24T23:50:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。