論文の概要: iComMa: Inverting 3D Gaussians Splatting for Camera Pose Estimation via Comparing and Matching

• arxiv url: http://arxiv.org/abs/2312.09031v1
• Date: Thu, 14 Dec 2023 15:31:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-15 21:26:25.069904
• Title: iComMa: Inverting 3D Gaussians Splatting for Camera Pose Estimation via Comparing and Matching
• Title（参考訳）: iComMa: 比較とマッチングによるカメラポーズ推定のための3Dガウススプレイティングの反転
• Authors: Yuan Sun, Xuan Wang, Yunfan Zhang, Jie Zhang, Caigui Jiang, Yu Guo, Fei Wang
• Abstract要約: コンピュータビジョンにおける6次元ポーズ推定問題に対処するため,iComMaという手法を提案する。 ポーズ推定を3次元ガウススティング(3DGS)の逆転問題としてモデル化する。 このフレームワークは、レンダリング・アンド・コンパレートとマッチングベースのアプローチの特徴的な特徴と固有の理論的根拠を体系的に取り入れている。
• 参考スコア（独自算出の注目度）: 15.47627732847216
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a method named iComMa to address the 6D pose estimation problem in computer vision. The conventional pose estimation methods typically rely on the target's CAD model or necessitate specific network training tailored to particular object classes. Some existing methods address mesh-free 6D pose estimation by employing the inversion of a Neural Radiance Field (NeRF), aiming to overcome the aforementioned constraints. However, it still suffers from adverse initializations. By contrast, we model the pose estimation as the problem of inverting the 3D Gaussian Splatting (3DGS) with both the comparing and matching loss. In detail, a render-and-compare strategy is adopted for the precise estimation of poses. Additionally, a matching module is designed to enhance the model's robustness against adverse initializations by minimizing the distances between 2D keypoints. This framework systematically incorporates the distinctive characteristics and inherent rationale of render-and-compare and matching-based approaches. This comprehensive consideration equips the framework to effectively address a broader range of intricate and challenging scenarios, including instances with substantial angular deviations, all while maintaining a high level of prediction accuracy. Experimental results demonstrate the superior precision and robustness of our proposed jointly optimized framework when evaluated on synthetic and complex real-world data in challenging scenarios.
• Abstract（参考訳）: コンピュータビジョンにおける6次元ポーズ推定問題に対処するため,iComMaという手法を提案する。 従来のポーズ推定手法は、通常、ターゲットのCADモデルに依存するか、特定のオブジェクトクラスに合わせた特定のネットワークトレーニングを必要とする。 既存の手法では、前述の制約を克服することを目的として、NeRF(Neural Radiance Field)の反転を利用してメッシュフリーの6Dポーズ推定に対処している。 しかし、それでも悪質な初期化に苦しむ。 対照的に、ポーズ推定は、3次元ガウススティング(3DGS)を比較損失と整合損失の両方で逆転する問題としてモデル化する。 より詳しくは、ポーズの正確な推定にレンダリング・アンド・コンペア戦略を採用する。 さらに、マッチングモジュールは、2dキーポイント間の距離を最小化することで、悪質な初期化に対するモデルのロバスト性を高めるように設計されている。 このフレームワークは、render-and-compareとmatching-basedアプローチの特徴的な特徴と固有の理論的根拠を体系的に取り入れている。 この包括的考察は、高いレベルの予測精度を維持しながら、かなり角度のずれのあるインスタンスを含む、より広範囲の複雑で困難なシナリオに効果的に対処するためのフレームワークを提供する。 実験により, 課題シナリオにおける複合現実データの評価において, 提案手法の精度とロバスト性について検討した。

関連論文リスト

• No Pose, No Problem: Surprisingly Simple 3D Gaussian Splats from Sparse Unposed Images [100.80376573969045]
  NoPoSplatは、多視点画像から3Dガウスアンによってパラメータ化された3Dシーンを再構成できるフィードフォワードモデルである。 提案手法は,推定時にリアルタイムな3次元ガウス再構成を実現する。 この研究は、ポーズフリーの一般化可能な3次元再構成において大きな進歩をもたらし、実世界のシナリオに適用可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-31T17:58:22Z)
• PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
  PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。 本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
  論文  参考訳（メタデータ） (2024-10-29T15:28:15Z)
• Correspondence-Guided SfM-Free 3D Gaussian Splatting for NVS [52.3215552448623]
  SfM(Structure-from-Motion)事前処理カメラのポーズのない新しいビュー合成(NVS)は、迅速な応答能力の向上と、可変動作条件に対する堅牢性の向上に不可欠である。 最近のSfMフリー手法は、ポーズ最適化を統合し、共同カメラのポーズ推定とNVSのためのエンドツーエンドフレームワークを設計している。 既存の作業の多くは、L2損失のようなピクセル単位の画像損失関数に依存している。 本研究では,NVSのためのSfMフリー3次元ガウススプラッティングを提案する。
  論文  参考訳（メタデータ） (2024-08-16T13:11:22Z)
• Cameras as Rays: Pose Estimation via Ray Diffusion [54.098613859015856]
  カメラのポーズを推定することは3D再構成の基本的な課題であり、まばらにサンプリングされたビューを考えると依然として困難である。 本稿では,カメラを光束として扱うカメラポーズの分散表現を提案する。 提案手法は回帰法と拡散法の両方で,CO3Dのカメラポーズ推定における最先端性能を示す。
  論文  参考訳（メタデータ） (2024-02-22T18:59:56Z)
• ContraNeRF: 3D-Aware Generative Model via Contrastive Learning with Unsupervised Implicit Pose Embedding [40.36882490080341]
  暗黙のポーズ埋め込みを用いたコントラスト学習による新しい3D認識型GAN最適化手法を提案する。 判別器は、与えられた画像から高次元の暗黙のポーズ埋め込みを推定し、ポーズ埋め込みについて対照的な学習を行う。 提案手法は、カメラのポーズを検索したり推定したりしないため、標準カメラのポーズが未定義であるデータセットに使用できる。
  論文  参考訳（メタデータ） (2023-04-27T07:53:13Z)
• RNNPose: Recurrent 6-DoF Object Pose Refinement with Robust Correspondence Field Estimation and Pose Optimization [46.144194562841435]
  本稿では、オブジェクトポーズ改善のためのリカレントニューラルネットワーク(RNN)に基づくフレームワークを提案する。 この問題は、推定対応フィールドに基づいて非線形最小二乗問題として定式化される。 各イテレーションにおいて、対応フィールド推定とポーズ精錬を代替して行い、正確なオブジェクトポーズを復元する。
  論文  参考訳（メタデータ） (2022-03-24T06:24:55Z)
• Camera Distortion-aware 3D Human Pose Estimation in Video with Optimization-based Meta-Learning [23.200130129530653]
  歪みのないデータセットでトレーニングされた既存の3次元ポーズ推定アルゴリズムは、特定のカメラ歪みのある新しいシナリオに適用した場合、パフォーマンス低下を被る。 本研究では, 歪み環境に迅速に適応できる簡易かつ効果的な3次元ポーズ推定モデルを提案する。
  論文  参考訳（メタデータ） (2021-11-30T01:35:04Z)
• Self-Supervised 3D Hand Pose Estimation from monocular RGB via Contrastive Learning [50.007445752513625]
  本稿では,3次元ポーズ推定における構造化回帰タスクに対する自己教師付き手法を提案する。 我々は、不変および同変のコントラスト目的の影響を実験的に検討した。 追加のラベル付きデータに基づいてトレーニングされた標準のResNet-152が、FreiHAND上のPA-EPEで7.6%の改善を実現していることを示す。
  論文  参考訳（メタデータ） (2021-06-10T17:48:57Z)
• Wide-Baseline Relative Camera Pose Estimation with Directional Learning [46.21836501895394]
  提案するDirectionNetは,新しいパラメータ化を用いて5次元相対ポーズ空間上の離散分布を推定し,推定問題を抽出できるようにする。 本研究では,Matterport3DとInstituteNetから構築した合成・実ポーズ推定データセットについて検討した。
  論文  参考訳（メタデータ） (2021-06-07T04:46:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。