論文の概要: Relative Pose Estimation through Affine Corrections of Monocular Depth Priors

• arxiv url: http://arxiv.org/abs/2501.05446v1
• Date: Thu, 09 Jan 2025 18:58:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-10 13:58:54.544119
• Title: Relative Pose Estimation through Affine Corrections of Monocular Depth Priors
• Title（参考訳）: Affine Corrections of Monocular Depth Priors による相対ポース推定
• Authors: Yifan Yu, Shaohui Liu, Rémi Pautrat, Marc Pollefeys, Viktor Larsson,
• Abstract要約: 本研究では,独立なアフィン(スケールとシフト)のあいまいさを明示的に考慮した相対ポーズ推定のための3つの解法を開発した。 提案する解法と古典的点ベース解法とエピポーラ制約を組み合わせたハイブリッド推定パイプラインを提案する。
• 参考スコア（独自算出の注目度）: 69.59216331861437
• License:
• Abstract: Monocular depth estimation (MDE) models have undergone significant advancements over recent years. Many MDE models aim to predict affine-invariant relative depth from monocular images, while recent developments in large-scale training and vision foundation models enable reasonable estimation of metric (absolute) depth. However, effectively leveraging these predictions for geometric vision tasks, in particular relative pose estimation, remains relatively under explored. While depths provide rich constraints for cross-view image alignment, the intrinsic noise and ambiguity from the monocular depth priors present practical challenges to improving upon classic keypoint-based solutions. In this paper, we develop three solvers for relative pose estimation that explicitly account for independent affine (scale and shift) ambiguities, covering both calibrated and uncalibrated conditions. We further propose a hybrid estimation pipeline that combines our proposed solvers with classic point-based solvers and epipolar constraints. We find that the affine correction modeling is beneficial to not only the relative depth priors but also, surprisingly, the ``metric" ones. Results across multiple datasets demonstrate large improvements of our approach over classic keypoint-based baselines and PnP-based solutions, under both calibrated and uncalibrated setups. We also show that our method improves consistently with different feature matchers and MDE models, and can further benefit from very recent advances on both modules. Code is available at https://github.com/MarkYu98/madpose.
• Abstract（参考訳）: 単眼深度推定(MDE)モデルは近年大きな進歩を遂げている。 多くのMDEモデルは単眼画像からアフィン不変相対深度を予測することを目的としており、近年の大規模トレーニングと視覚基盤モデルの開発により、計量(絶対)深度を合理的に推定できるようになっている。 しかし、これらの予測を幾何学的視覚タスク、特に相対的なポーズ推定に効果的に活用することは、まだ比較的検討されていない。 奥行きは、クロスビュー画像アライメントに豊富な制約を与えるが、単眼深度からの固有のノイズと曖昧さは、古典的なキーポイントベースのソリューションを改善するための実践的な課題を提示する。 本稿では, 相対ポーズ推定のための3つの解法を開発し, キャリブレーション条件と非校正条件の両方をカバーする独立なアフィン(スケール, シフト)の曖昧さを明示的に説明する。 さらに,提案する解法と古典的点ベース解法とエピポーラ制約を組み合わせたハイブリッド推定パイプラインを提案する。 アフィン補正モデリングは, 相対的な深度先行だけでなく, 驚くほど, 「測定値」のモデリングにも有用であることがわかった。 複数のデータセットにまたがる結果は、古典的なキーポイントベースのベースラインとPnPベースのソリューションに対して、校正と校正の両方でアプローチを大幅に改善したことを示している。 また,提案手法は,異なる特徴マッチングモデルとMDEモデルとの整合性を向上し,両モジュールの最近の進歩の恩恵を受けることができることを示す。 コードはhttps://github.com/MarkYu98/madpose.comから入手できる。

関連論文リスト

• UNOPose: Unseen Object Pose Estimation with an Unposed RGB-D Reference Image [86.7128543480229]
  単参照型オブジェクトポーズ推定のための新しいアプローチとベンチマークをUNOPoseと呼ぶ。 粗大なパラダイムに基づいて、UNOPoseはSE(3)不変の参照フレームを構築し、オブジェクト表現を標準化する。 重なり合う領域内に存在すると予測される確率に基づいて、各対応の重みを補正する。
  論文  参考訳（メタデータ） (2024-11-25T05:36:00Z)
• Consistency Regularisation for Unsupervised Domain Adaptation in Monocular Depth Estimation [15.285720572043678]
  整合性に基づく半教師付き学習問題として,単眼深度推定のための教師なし領域適応を定式化する。 複数の拡張ビューにまたがって一貫性を保ちながら、ソースドメイン上の予測を規則化するペアワイズ損失関数を導入する。 実験では, KITTI と NYUv2 の標準深度推定ベンチマークを用いて,最先端の結果を示す。
  論文  参考訳（メタデータ） (2024-05-27T23:32:06Z)
• IEBins: Iterative Elastic Bins for Monocular Depth Estimation [25.71386321706134]
  分類回帰に基づくMDEのためのイテレーティブ弾性ビン(IEBins)の概念を提案する。 提案する IEBins は,探索範囲を段階的に最適化することで,高品質な深度を探索することを目的としている。 我々は,機能抽出器とGRUアーキテクチャの恩恵を受ける反復的フレームワークからなる専用フレームワークを開発する。
  論文  参考訳（メタデータ） (2023-09-25T13:48:39Z)
• FrozenRecon: Pose-free 3D Scene Reconstruction with Frozen Depth Models [67.96827539201071]
  本稿では,3次元シーン再構成のための新しいテスト時間最適化手法を提案する。 本手法は5つのゼロショットテストデータセット上で,最先端のクロスデータセット再構築を実現する。
  論文  参考訳（メタデータ） (2023-08-10T17:55:02Z)
• DualRefine: Self-Supervised Depth and Pose Estimation Through Iterative Epipolar Sampling and Refinement Toward Equilibrium [11.78276690882616]
  自己教師付き多フレーム深度推定は,隣接フレーム間の画素対応のマッチングコストの計算により高い精度を実現する。 本稿では,フィードバックループを通した深度とポーズを密に結合するDualモデルを提案する。 我々の新しい更新パイプラインは、奥行き推定と特徴マップの隠れ状態を反復的に洗練するために、深い平衡モデルフレームワークを使用します。
  論文  参考訳（メタデータ） (2023-04-07T09:46:29Z)
• Single Image Depth Prediction Made Better: A Multivariate Gaussian Take [163.14849753700682]
  本稿では,画素ごとの深度を連続的にモデル化する手法を提案する。 提案手法の精度(MG)は,KITTI深度予測ベンチマークリーダーボードの上位に位置する。
  論文  参考訳（メタデータ） (2023-03-31T16:01:03Z)
• DeepMLE: A Robust Deep Maximum Likelihood Estimator for Two-view Structure from Motion [9.294501649791016]
  動きからの2次元構造(SfM)は3次元再構成と視覚SLAM(vSLAM)の基礎となる。 本稿では,2視点SfM問題を最大最大推定(MLE)として定式化し,DeepMLEと表記されるフレームワークを用いて解いた。 提案手法は,最先端の2ビューSfM手法よりも精度と一般化能力において優れる。
  論文  参考訳（メタデータ） (2022-10-11T15:07:25Z)
• Exploiting Correspondences with All-pairs Correlations for Multi-view Depth Estimation [19.647670347925754]
  多視点深度推定は,3次元世界を再構築し,理解する上で重要な役割を担っている。 最適化過程を模倣した新しい反復的多視点深度推定フレームワークを設計する。 ScanNet,DeMoN,ETH3D,および7Scenesについて十分な実験を行い,本手法の優位性を実証した。
  論文  参考訳（メタデータ） (2022-05-05T07:38:31Z)
• A Model for Multi-View Residual Covariances based on Perspective Deformation [88.21738020902411]
  マルチビューSfM, オードメトリ, SLAMセットアップにおける視覚的残差の共分散モデルの導出を行う。 我々は、合成データと実データを用いてモデルを検証し、それを光度および特徴量に基づくバンドル調整に統合する。
  論文  参考訳（メタデータ） (2022-02-01T21:21:56Z)
• Deep Keypoint-Based Camera Pose Estimation with Geometric Constraints [80.60538408386016]
  連続するフレームから相対的なカメラのポーズを推定することは、視覚計測の基本的な問題である。 本稿では,検出,特徴抽出,マッチング,外乱除去のための学習可能なモジュールで構成されるエンドツーエンドのトレーニング可能なフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-29T21:41:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。