論文の概要: Correspondence-Guided SfM-Free 3D Gaussian Splatting for NVS

• arxiv url: http://arxiv.org/abs/2408.08723v1
• Date: Fri, 16 Aug 2024 13:11:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-19 15:24:50.783024
• Title: Correspondence-Guided SfM-Free 3D Gaussian Splatting for NVS
• Title（参考訳）: NVS用対応型SfMフリー3次元ガウス平板
• Authors: Wei Sun, Xiaosong Zhang, Fang Wan, Yanzhao Zhou, Yuan Li, Qixiang Ye, Jianbin Jiao,
• Abstract要約: SfM(Structure-from-Motion)事前処理カメラのポーズのない新しいビュー合成(NVS)は、迅速な応答能力の向上と、可変動作条件に対する堅牢性の向上に不可欠である。 最近のSfMフリー手法は、ポーズ最適化を統合し、共同カメラのポーズ推定とNVSのためのエンドツーエンドフレームワークを設計している。 既存の作業の多くは、L2損失のようなピクセル単位の画像損失関数に依存している。 本研究では,NVSのためのSfMフリー3次元ガウススプラッティングを提案する。
• 参考スコア（独自算出の注目度）: 52.3215552448623
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Novel View Synthesis (NVS) without Structure-from-Motion (SfM) pre-processed camera poses--referred to as SfM-free methods--is crucial for promoting rapid response capabilities and enhancing robustness against variable operating conditions. Recent SfM-free methods have integrated pose optimization, designing end-to-end frameworks for joint camera pose estimation and NVS. However, most existing works rely on per-pixel image loss functions, such as L2 loss. In SfM-free methods, inaccurate initial poses lead to misalignment issue, which, under the constraints of per-pixel image loss functions, results in excessive gradients, causing unstable optimization and poor convergence for NVS. In this study, we propose a correspondence-guided SfM-free 3D Gaussian splatting for NVS. We use correspondences between the target and the rendered result to achieve better pixel alignment, facilitating the optimization of relative poses between frames. We then apply the learned poses to optimize the entire scene. Each 2D screen-space pixel is associated with its corresponding 3D Gaussians through approximated surface rendering to facilitate gradient back propagation. Experimental results underline the superior performance and time efficiency of the proposed approach compared to the state-of-the-art baselines.
• Abstract（参考訳）: SfM (Structure-from-Motion) (SfM) 事前処理されたカメラのポーズのない新しいビュー合成 (NVS) は、迅速な応答能力の向上と可変動作条件に対する堅牢性の向上に不可欠である。 最近のSfMフリー手法は、ポーズ最適化を統合し、共同カメラのポーズ推定とNVSのためのエンドツーエンドフレームワークを設計している。 しかし、既存の作業の多くは、L2損失のようなピクセル単位の画像損失関数に依存している。 SfMフリーの手法では、不正確な初期ポーズは、画素ごとの画像損失関数の制約の下で過度な勾配を生じ、不安定な最適化とNVSの収束不良を引き起こす、誤調整問題を引き起こす。 本研究では,NVSのためのSfMフリー3次元ガウススプラッティングを提案する。 ターゲットとレンダリングされた結果との対応を利用して、フレーム間の相対的なポーズの最適化を容易にし、より優れた画素アライメントを実現する。 次に、学習したポーズを適用して、シーン全体を最適化します。 それぞれの2Dスクリーン空間ピクセルは、その対応する3Dガウシアンと近似された表面レンダリングによって関連付けられ、勾配のバック伝搬を容易にする。 実験結果は,最先端のベースラインと比較して,提案手法の優れた性能と時間効率を裏付けるものである。

関連論文リスト

• PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
  PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。 本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
  論文  参考訳（メタデータ） (2024-10-29T15:28:15Z)
• InstantSplat: Sparse-view SfM-free Gaussian Splatting in Seconds [91.77050739918037]
  スパース画像からの新しいビュー合成(NVS)は3次元コンピュータビジョンにおいて大きく進歩している。 これはStructure-from-Motion (SfM) を用いたカメラパラメータの正確な初期推定に依存する 本研究では,スパースビュー画像から堅牢なNVSを向上するための,新規で効率的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-29T17:29:58Z)
• Improving Robustness for Joint Optimization of Camera Poses and Decomposed Low-Rank Tensorial Radiance Fields [26.4340697184666]
  本稿では,分解された低ランクテンソルで表現されるカメラポーズとシーン形状を共同で洗練するアルゴリズムを提案する。 また,スムーズな2次元監視手法,ランダムスケールカーネルパラメータ,エッジ誘導損失マスクを提案する。
  論文  参考訳（メタデータ） (2024-02-20T18:59:02Z)
• iComMa: Inverting 3D Gaussian Splatting for Camera Pose Estimation via Comparing and Matching [14.737266480464156]
  コンピュータビジョンにおける6次元カメラのポーズ推定問題に対処するため,iComMaという手法を提案する。 3次元ガウススプラッティング(3DGS)の反転による高精度カメラポーズ推定法を提案する。
  論文  参考訳（メタデータ） (2023-12-14T15:31:33Z)
• GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting [51.96353586773191]
  我々は,まず3次元ガウス表現を利用したtextbfGS-SLAM を提案する。 提案手法は,地図の最適化とRGB-Dレンダリングの大幅な高速化を実現するリアルタイム微分可能なスプレイティングレンダリングパイプラインを利用する。 提案手法は,Replica,TUM-RGBDデータセット上の既存の最先端リアルタイム手法と比較して,競争性能が向上する。
  論文  参考訳（メタデータ） (2023-11-20T12:08:23Z)
• NIKI: Neural Inverse Kinematics with Invertible Neural Networks for 3D Human Pose and Shape Estimation [53.25973084799954]
  両方向誤差をモデル化したNIKI(Neural Inverse Kinematics with Invertible Neural Network)を提案する。 NIKIは、非可逆ネットワークによる前処理と逆処理の両方から学習することができる。
  論文  参考訳（メタデータ） (2023-05-15T12:13:24Z)
• DeepMLE: A Robust Deep Maximum Likelihood Estimator for Two-view Structure from Motion [9.294501649791016]
  動きからの2次元構造(SfM)は3次元再構成と視覚SLAM(vSLAM)の基礎となる。 本稿では,2視点SfM問題を最大最大推定(MLE)として定式化し,DeepMLEと表記されるフレームワークを用いて解いた。 提案手法は,最先端の2ビューSfM手法よりも精度と一般化能力において優れる。
  論文  参考訳（メタデータ） (2022-10-11T15:07:25Z)
• Differentiable Rendering with Perturbed Optimizers [85.66675707599782]
  2Dイメージプロジェクションから3Dシーンを推論することは、コンピュータビジョンにおける中核的な問題の一つだ。 我々の研究は、よく知られた微分可能な定式化とランダムなスムーズなレンダリングの関連性を強調している。 提案手法を3次元シーン再構成に適用し,その利点を6次元ポーズ推定と3次元メッシュ再構成の課題に適用した。
  論文  参考訳（メタデータ） (2021-10-18T08:56:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。