論文の概要: Neural Reprojection Error: Merging Feature Learning and Camera Pose
Estimation
- arxiv url: http://arxiv.org/abs/2103.07153v1
- Date: Fri, 12 Mar 2021 09:00:28 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-15 13:23:03.884273
- Title: Neural Reprojection Error: Merging Feature Learning and Camera Pose
Estimation
- Title(参考訳): ニューラル再投影エラー:機能学習とカメラポース推定のマージ
- Authors: Hugo Germain and Vincent Lepetit and Guillaume Bourmaud
- Abstract要約: Reprojection Errors (RE) の代替として Neural Reprojection Error (NRE) を紹介します。
NREは、機能学習問題と組み合わせることで、カメラのポーズ推定問題を再考することができる。
また,カメラのポーズに関して,NRE項の和を極めて効率的に最小化できる粗大な最適化手法を提案する。
- 参考スコア(独自算出の注目度): 38.47125921410426
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Absolute camera pose estimation is usually addressed by sequentially solving
two distinct subproblems: First a feature matching problem that seeks to
establish putative 2D-3D correspondences, and then a Perspective-n-Point
problem that minimizes, with respect to the camera pose, the sum of so-called
Reprojection Errors (RE). We argue that generating putative 2D-3D
correspondences 1) leads to an important loss of information that needs to be
compensated as far as possible, within RE, through the choice of a robust loss
and the tuning of its hyperparameters and 2) may lead to an RE that conveys
erroneous data to the pose estimator. In this paper, we introduce the Neural
Reprojection Error (NRE) as a substitute for RE. NRE allows to rethink the
camera pose estimation problem by merging it with the feature learning problem,
hence leveraging richer information than 2D-3D correspondences and eliminating
the need for choosing a robust loss and its hyperparameters. Thus NRE can be
used as training loss to learn image descriptors tailored for pose estimation.
We also propose a coarse-to-fine optimization method able to very efficiently
minimize a sum of NRE terms with respect to the camera pose. We experimentally
demonstrate that NRE is a good substitute for RE as it significantly improves
both the robustness and the accuracy of the camera pose estimate while being
computationally and memory highly efficient. From a broader point of view, we
believe this new way of merging deep learning and 3D geometry may be useful in
other computer vision applications.
- Abstract(参考訳): 絶対的なカメラポーズ推定は通常、2つの異なるサブプロブレムを逐次解決することで解決される: まず2D-3D対応を確立する特徴マッチング問題、次にカメラポーズに関して、いわゆるリジェクションエラー(RE)の和を最小化するパースペクティブ-n-Point問題である。
提案する2D-3D対応の生成は,ロバストな損失の選択とハイパーパラメータのチューニングを通じて,RE内において可能な限り補償が必要な重要な情報の損失を招き,その誤データをポーズ推定器に伝達するREにつながる可能性がある。
本稿では,REの代用としてNRE(Neural Reprojection Error)について紹介する。
NREは、カメラのポーズ推定問題を特徴学習問題と組み合わせることで再考し、2D-3D対応よりもリッチな情報を活用し、ロバストな損失とハイパーパラメータを選択する必要をなくす。
したがって、NREは、ポーズ推定に適した画像記述子を学ぶためのトレーニング損失として使用できる。
また,カメラのポーズに関して,NRE項の和を極めて効率的に最小化できる粗大な最適化手法を提案する。
カメラポーズ推定のロバスト性と精度が大幅に向上し,メモリ効率が向上し,reの代替としてnreが有効であることを実験的に実証した。
より広い視点から見ると、深層学習と3次元幾何学を融合させる新しい方法は、他のコンピュータビジョンアプリケーションに有用であると考える。
関連論文リスト
- Neural Refinement for Absolute Pose Regression with Feature Synthesis [33.2608395824548]
APR(Absolute Pose Regression)メソッドは、ディープニューラルネットワークを使用して、RGBイメージからカメラのポーズを直接回帰する。
本研究では,暗黙的幾何制約を利用するテスト時間改善パイプラインを提案する。
また、トレーニング中に3次元幾何学的特徴を符号化し、テスト時に高密度な新しいビュー特徴を直接レンダリングしてAPR法を洗練させるニューラル・フィーチャー・シンセサイザー(NeFeS)モデルも導入する。
論文 参考訳(メタデータ) (2023-03-17T16:10:50Z) - Multi-task Learning for Camera Calibration [3.274290296343038]
一対の画像から内在性(主点オフセットと焦点長)と外因性(ベースライン,ピッチ,翻訳)を予測できるユニークな手法を提案する。
カメラモデルニューラルネットワークを用いて3Dポイントを再構成し、再構成の損失を利用してカメラ仕様を得ることにより、この革新的なカメラ投影損失(CPL)法により、所望のパラメータを推定できる。
論文 参考訳(メタデータ) (2022-11-22T17:39:31Z) - Homography-Based Loss Function for Camera Pose Regression [0.0]
本稿では,2つのポーズ間の誤差を埋め込んで,深層学習に基づくカメラポーズの回帰を行う損失関数に着目した。
既存の損失関数は、修正が難しい多目的関数か、不安定な再射誤差を示すかのいずれかである。
本稿では,多面的ホモグラフィ統合に基づく新たな損失関数を提案する。
論文 参考訳(メタデータ) (2022-05-04T08:15:34Z) - Coupled Iterative Refinement for 6D Multi-Object Pose Estimation [64.7198752089041]
既知の3DオブジェクトのセットとRGBまたはRGB-Dの入力画像から、各オブジェクトの6Dポーズを検出して推定する。
我々のアプローチは、ポーズと対応を緊密に結合した方法で反復的に洗練し、アウトレーヤを動的に除去して精度を向上させる。
論文 参考訳(メタデータ) (2022-04-26T18:00:08Z) - RNNPose: Recurrent 6-DoF Object Pose Refinement with Robust
Correspondence Field Estimation and Pose Optimization [46.144194562841435]
本稿では、オブジェクトポーズ改善のためのリカレントニューラルネットワーク(RNN)に基づくフレームワークを提案する。
この問題は、推定対応フィールドに基づいて非線形最小二乗問題として定式化される。
各イテレーションにおいて、対応フィールド推定とポーズ精錬を代替して行い、正確なオブジェクトポーズを復元する。
論文 参考訳(メタデータ) (2022-03-24T06:24:55Z) - Camera Calibration through Camera Projection Loss [4.36572039512405]
画像対を用いた固有(焦点長と主点オフセット)パラメータの予測手法を提案する。
従来の手法とは違って,マルチタスク学習フレームワークにおいて,カメラモデル方程式をニューラルネットワークとして組み込んだ新しい表現を提案する。
提案手法は,10パラメータ中7パラメータに対して,ディープラーニングと従来手法の両方に対して,優れた性能を実現する。
論文 参考訳(メタデータ) (2021-10-07T14:03:10Z) - Uncertainty-Aware Camera Pose Estimation from Points and Lines [101.03675842534415]
Perspective-n-Point-and-Line (Pn$PL) は、2D-3D特徴座標の3Dモデルに関して、高速で正確で堅牢なカメラローカライゼーションを目指している。
論文 参考訳(メタデータ) (2021-07-08T15:19:36Z) - Deep Bingham Networks: Dealing with Uncertainty and Ambiguity in Pose
Estimation [74.76155168705975]
Deep Bingham Networks (DBN)は、3Dデータに関するほぼすべての実生活アプリケーションで発生するポーズ関連の不確実性と曖昧性を扱うことができる。
DBNは、(i)異なる分布モードを生成できる多仮説予測ヘッドにより、アートダイレクトポーズ回帰ネットワークの状態を拡張する。
トレーニング中のモードや後方崩壊を回避し,数値安定性を向上させるための新しいトレーニング戦略を提案する。
論文 参考訳(メタデータ) (2020-12-20T19:20:26Z) - Synthetic Training for Monocular Human Mesh Recovery [100.38109761268639]
本稿では,RGB画像と大規模に異なる複数の身体部位の3次元メッシュを推定することを目的とする。
主な課題は、2D画像のすべての身体部分の3Dアノテーションを完備するトレーニングデータがないことである。
本稿では,D2S(Deep-to-scale)投影法を提案する。
論文 参考訳(メタデータ) (2020-10-27T03:31:35Z) - Single-Image HDR Reconstruction by Learning to Reverse the Camera
Pipeline [100.5353614588565]
本稿では,LDR画像形成パイプラインの領域知識をモデルに組み込むことを提案する。
我々は,HDRto-LDR画像形成パイプラインを(1)ダイナミックレンジクリッピング,(2)カメラ応答関数からの非線形マッピング,(3)量子化としてモデル化する。
提案手法は,最先端の単一画像HDR再構成アルゴリズムに対して良好に動作することを示す。
論文 参考訳(メタデータ) (2020-04-02T17:59:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。