論文の概要: iComMa: Inverting 3D Gaussian Splatting for Camera Pose Estimation via Comparing and Matching

• arxiv url: http://arxiv.org/abs/2312.09031v2
• Date: Wed, 20 Mar 2024 12:00:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-21 21:58:15.415786
• Title: iComMa: Inverting 3D Gaussian Splatting for Camera Pose Estimation via Comparing and Matching
• Title（参考訳）: iComMa: 比較とマッチングによるカメラポーズ推定のための3Dガウススプレイティングの反転
• Authors: Yuan Sun, Xuan Wang, Yunfan Zhang, Jie Zhang, Caigui Jiang, Yu Guo, Fei Wang,
• Abstract要約: コンピュータビジョンにおける6次元カメラのポーズ推定問題に対処するため,iComMaという手法を提案する。 3次元ガウススプラッティング(3DGS)の反転による高精度カメラポーズ推定法を提案する。
• 参考スコア（独自算出の注目度）: 14.737266480464156
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a method named iComMa to address the 6D camera pose estimation problem in computer vision. Conventional pose estimation methods typically rely on the target's CAD model or necessitate specific network training tailored to particular object classes. Some existing methods have achieved promising results in mesh-free object and scene pose estimation by inverting the Neural Radiance Fields (NeRF). However, they still struggle with adverse initializations such as large rotations and translations. To address this issue, we propose an efficient method for accurate camera pose estimation by inverting 3D Gaussian Splatting (3DGS). Specifically, a gradient-based differentiable framework optimizes camera pose by minimizing the residual between the query image and the rendered image, requiring no training. An end-to-end matching module is designed to enhance the model's robustness against adverse initializations, while minimizing pixel-level comparing loss aids in precise pose estimation. Experimental results on synthetic and complex real-world data demonstrate the effectiveness of the proposed approach in challenging conditions and the accuracy of camera pose estimation.
• Abstract（参考訳）: コンピュータビジョンにおける6次元カメラのポーズ推定問題に対処するため,iComMaという手法を提案する。 従来のポーズ推定手法は、通常、ターゲットのCADモデルに依存するか、特定のオブジェクトクラスに合わせた特定のネットワークトレーニングを必要とする。 既存の手法では、Neural Radiance Fields (NeRF) を反転させることにより、メッシュフリーなオブジェクトとシーンポーズの推定において有望な結果を得た。 しかし、大きな回転や翻訳のような悪い初期化に苦戦している。 この問題に対処するために,3次元ガウススプラッティング(3DGS)を反転させることにより,高精度なカメラポーズ推定法を提案する。 特に、勾配に基づく微分可能なフレームワークは、クエリ画像とレンダリング画像の間の残差を最小限に抑え、トレーニングを必要とせず、カメラのポーズを最適化する。 エンド・ツー・エンドのマッチングモジュールは、適切なポーズ推定においてピクセルレベルのロスエイズを最小限に抑えながら、悪い初期化に対するモデルの堅牢性を高めるように設計されている。 合成および複雑な実世界のデータに対する実験結果は、課題条件における提案手法の有効性と、カメラポーズ推定の精度を示す。

関連論文リスト

• No Pose, No Problem: Surprisingly Simple 3D Gaussian Splats from Sparse Unposed Images [100.80376573969045]
  NoPoSplatは、多視点画像から3Dガウスアンによってパラメータ化された3Dシーンを再構成できるフィードフォワードモデルである。 提案手法は,推定時にリアルタイムな3次元ガウス再構成を実現する。 この研究は、ポーズフリーの一般化可能な3次元再構成において大きな進歩をもたらし、実世界のシナリオに適用可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-31T17:58:22Z)
• PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
  PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。 本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
  論文  参考訳（メタデータ） (2024-10-29T15:28:15Z)
• Correspondence-Guided SfM-Free 3D Gaussian Splatting for NVS [52.3215552448623]
  SfM(Structure-from-Motion)事前処理カメラのポーズのない新しいビュー合成(NVS)は、迅速な応答能力の向上と、可変動作条件に対する堅牢性の向上に不可欠である。 最近のSfMフリー手法は、ポーズ最適化を統合し、共同カメラのポーズ推定とNVSのためのエンドツーエンドフレームワークを設計している。 既存の作業の多くは、L2損失のようなピクセル単位の画像損失関数に依存している。 本研究では,NVSのためのSfMフリー3次元ガウススプラッティングを提案する。
  論文  参考訳（メタデータ） (2024-08-16T13:11:22Z)
• Cameras as Rays: Pose Estimation via Ray Diffusion [54.098613859015856]
  カメラのポーズを推定することは3D再構成の基本的な課題であり、まばらにサンプリングされたビューを考えると依然として困難である。 本稿では,カメラを光束として扱うカメラポーズの分散表現を提案する。 提案手法は回帰法と拡散法の両方で,CO3Dのカメラポーズ推定における最先端性能を示す。
  論文  参考訳（メタデータ） (2024-02-22T18:59:56Z)
• ContraNeRF: 3D-Aware Generative Model via Contrastive Learning with Unsupervised Implicit Pose Embedding [40.36882490080341]
  暗黙のポーズ埋め込みを用いたコントラスト学習による新しい3D認識型GAN最適化手法を提案する。 判別器は、与えられた画像から高次元の暗黙のポーズ埋め込みを推定し、ポーズ埋め込みについて対照的な学習を行う。 提案手法は、カメラのポーズを検索したり推定したりしないため、標準カメラのポーズが未定義であるデータセットに使用できる。
  論文  参考訳（メタデータ） (2023-04-27T07:53:13Z)
• RNNPose: Recurrent 6-DoF Object Pose Refinement with Robust Correspondence Field Estimation and Pose Optimization [46.144194562841435]
  本稿では、オブジェクトポーズ改善のためのリカレントニューラルネットワーク(RNN)に基づくフレームワークを提案する。 この問題は、推定対応フィールドに基づいて非線形最小二乗問題として定式化される。 各イテレーションにおいて、対応フィールド推定とポーズ精錬を代替して行い、正確なオブジェクトポーズを復元する。
  論文  参考訳（メタデータ） (2022-03-24T06:24:55Z)
• Camera Distortion-aware 3D Human Pose Estimation in Video with Optimization-based Meta-Learning [23.200130129530653]
  歪みのないデータセットでトレーニングされた既存の3次元ポーズ推定アルゴリズムは、特定のカメラ歪みのある新しいシナリオに適用した場合、パフォーマンス低下を被る。 本研究では, 歪み環境に迅速に適応できる簡易かつ効果的な3次元ポーズ推定モデルを提案する。
  論文  参考訳（メタデータ） (2021-11-30T01:35:04Z)
• Self-Supervised 3D Hand Pose Estimation from monocular RGB via Contrastive Learning [50.007445752513625]
  本稿では,3次元ポーズ推定における構造化回帰タスクに対する自己教師付き手法を提案する。 我々は、不変および同変のコントラスト目的の影響を実験的に検討した。 追加のラベル付きデータに基づいてトレーニングされた標準のResNet-152が、FreiHAND上のPA-EPEで7.6%の改善を実現していることを示す。
  論文  参考訳（メタデータ） (2021-06-10T17:48:57Z)
• Wide-Baseline Relative Camera Pose Estimation with Directional Learning [46.21836501895394]
  提案するDirectionNetは,新しいパラメータ化を用いて5次元相対ポーズ空間上の離散分布を推定し,推定問題を抽出できるようにする。 本研究では,Matterport3DとInstituteNetから構築した合成・実ポーズ推定データセットについて検討した。
  論文  参考訳（メタデータ） (2021-06-07T04:46:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。