論文の概要: Neural Reprojection Error: Merging Feature Learning and Camera Pose Estimation

• arxiv url: http://arxiv.org/abs/2103.07153v1
• Date: Fri, 12 Mar 2021 09:00:28 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-15 13:23:03.884273
• Title: Neural Reprojection Error: Merging Feature Learning and Camera Pose Estimation
• Title（参考訳）: ニューラル再投影エラー:機能学習とカメラポース推定のマージ
• Authors: Hugo Germain and Vincent Lepetit and Guillaume Bourmaud
• Abstract要約: Reprojection Errors (RE) の代替として Neural Reprojection Error (NRE) を紹介します。 NREは、機能学習問題と組み合わせることで、カメラのポーズ推定問題を再考することができる。 また,カメラのポーズに関して,NRE項の和を極めて効率的に最小化できる粗大な最適化手法を提案する。
• 参考スコア（独自算出の注目度）: 38.47125921410426
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Absolute camera pose estimation is usually addressed by sequentially solving two distinct subproblems: First a feature matching problem that seeks to establish putative 2D-3D correspondences, and then a Perspective-n-Point problem that minimizes, with respect to the camera pose, the sum of so-called Reprojection Errors (RE). We argue that generating putative 2D-3D correspondences 1) leads to an important loss of information that needs to be compensated as far as possible, within RE, through the choice of a robust loss and the tuning of its hyperparameters and 2) may lead to an RE that conveys erroneous data to the pose estimator. In this paper, we introduce the Neural Reprojection Error (NRE) as a substitute for RE. NRE allows to rethink the camera pose estimation problem by merging it with the feature learning problem, hence leveraging richer information than 2D-3D correspondences and eliminating the need for choosing a robust loss and its hyperparameters. Thus NRE can be used as training loss to learn image descriptors tailored for pose estimation. We also propose a coarse-to-fine optimization method able to very efficiently minimize a sum of NRE terms with respect to the camera pose. We experimentally demonstrate that NRE is a good substitute for RE as it significantly improves both the robustness and the accuracy of the camera pose estimate while being computationally and memory highly efficient. From a broader point of view, we believe this new way of merging deep learning and 3D geometry may be useful in other computer vision applications.
• Abstract（参考訳）: 絶対的なカメラポーズ推定は通常、2つの異なるサブプロブレムを逐次解決することで解決される: まず2D-3D対応を確立する特徴マッチング問題、次にカメラポーズに関して、いわゆるリジェクションエラー(RE)の和を最小化するパースペクティブ-n-Point問題である。 提案する2D-3D対応の生成は,ロバストな損失の選択とハイパーパラメータのチューニングを通じて,RE内において可能な限り補償が必要な重要な情報の損失を招き,その誤データをポーズ推定器に伝達するREにつながる可能性がある。 本稿では,REの代用としてNRE(Neural Reprojection Error)について紹介する。 NREは、カメラのポーズ推定問題を特徴学習問題と組み合わせることで再考し、2D-3D対応よりもリッチな情報を活用し、ロバストな損失とハイパーパラメータを選択する必要をなくす。 したがって、NREは、ポーズ推定に適した画像記述子を学ぶためのトレーニング損失として使用できる。 また,カメラのポーズに関して,NRE項の和を極めて効率的に最小化できる粗大な最適化手法を提案する。 カメラポーズ推定のロバスト性と精度が大幅に向上し,メモリ効率が向上し,reの代替としてnreが有効であることを実験的に実証した。 より広い視点から見ると、深層学習と3次元幾何学を融合させる新しい方法は、他のコンピュータビジョンアプリケーションに有用であると考える。

関連論文リスト

• No Pose, No Problem: Surprisingly Simple 3D Gaussian Splats from Sparse Unposed Images [100.80376573969045]
  NoPoSplatは、多視点画像から3Dガウスアンによってパラメータ化された3Dシーンを再構成できるフィードフォワードモデルである。 提案手法は,推定時にリアルタイムな3次元ガウス再構成を実現する。 この研究は、ポーズフリーの一般化可能な3次元再構成において大きな進歩をもたらし、実世界のシナリオに適用可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-31T17:58:22Z)
• PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
  PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。 本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
  論文  参考訳（メタデータ） (2024-10-29T15:28:15Z)
• SCIPaD: Incorporating Spatial Clues into Unsupervised Pose-Depth Joint Learning [17.99904937160487]
  本研究では,教師なし深層学習のための空間的手がかりを取り入れた新しいアプローチであるSCIPaDを紹介する。 SCIPaDは平均翻訳誤差22.2%、カメラポーズ推定タスクの平均角誤差34.8%をKITTI Odometryデータセットで達成している。
  論文  参考訳（メタデータ） (2024-07-07T06:52:51Z)
• iComMa: Inverting 3D Gaussian Splatting for Camera Pose Estimation via Comparing and Matching [14.737266480464156]
  コンピュータビジョンにおける6次元カメラのポーズ推定問題に対処するため,iComMaという手法を提案する。 3次元ガウススプラッティング(3DGS)の反転による高精度カメラポーズ推定法を提案する。
  論文  参考訳（メタデータ） (2023-12-14T15:31:33Z)
• Multi-task Learning for Camera Calibration [3.274290296343038]
  一対の画像から内在性(主点オフセットと焦点長)と外因性(ベースライン,ピッチ,翻訳)を予測できるユニークな手法を提案する。 カメラモデルニューラルネットワークを用いて3Dポイントを再構成し、再構成の損失を利用してカメラ仕様を得ることにより、この革新的なカメラ投影損失(CPL)法により、所望のパラメータを推定できる。
  論文  参考訳（メタデータ） (2022-11-22T17:39:31Z)
• Homography-Based Loss Function for Camera Pose Regression [0.0]
  本稿では,2つのポーズ間の誤差を埋め込んで,深層学習に基づくカメラポーズの回帰を行う損失関数に着目した。 既存の損失関数は、修正が難しい多目的関数か、不安定な再射誤差を示すかのいずれかである。 本稿では,多面的ホモグラフィ統合に基づく新たな損失関数を提案する。
  論文  参考訳（メタデータ） (2022-05-04T08:15:34Z)
• Camera Calibration through Camera Projection Loss [4.36572039512405]
  画像対を用いた固有(焦点長と主点オフセット)パラメータの予測手法を提案する。 従来の手法とは違って,マルチタスク学習フレームワークにおいて,カメラモデル方程式をニューラルネットワークとして組み込んだ新しい表現を提案する。 提案手法は,10パラメータ中7パラメータに対して,ディープラーニングと従来手法の両方に対して,優れた性能を実現する。
  論文  参考訳（メタデータ） (2021-10-07T14:03:10Z)
• Uncertainty-Aware Camera Pose Estimation from Points and Lines [101.03675842534415]
  Perspective-n-Point-and-Line (Pn$PL) は、2D-3D特徴座標の3Dモデルに関して、高速で正確で堅牢なカメラローカライゼーションを目指している。
  論文  参考訳（メタデータ） (2021-07-08T15:19:36Z)
• Synthetic Training for Monocular Human Mesh Recovery [100.38109761268639]
  本稿では,RGB画像と大規模に異なる複数の身体部位の3次元メッシュを推定することを目的とする。 主な課題は、2D画像のすべての身体部分の3Dアノテーションを完備するトレーニングデータがないことである。 本稿では,D2S(Deep-to-scale)投影法を提案する。
  論文  参考訳（メタデータ） (2020-10-27T03:31:35Z)
• Single-Image HDR Reconstruction by Learning to Reverse the Camera Pipeline [100.5353614588565]
  本稿では,LDR画像形成パイプラインの領域知識をモデルに組み込むことを提案する。 我々は,HDRto-LDR画像形成パイプラインを(1)ダイナミックレンジクリッピング,(2)カメラ応答関数からの非線形マッピング,(3)量子化としてモデル化する。 提案手法は,最先端の単一画像HDR再構成アルゴリズムに対して良好に動作することを示す。
  論文  参考訳（メタデータ） (2020-04-02T17:59:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。