論文の概要: DFNet: Enhance Aboslute Pose Regression with Direct Feature Matching
- arxiv url: http://arxiv.org/abs/2204.00559v1
- Date: Fri, 1 Apr 2022 16:39:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-04 14:39:54.629970
- Title: DFNet: Enhance Aboslute Pose Regression with Direct Feature Matching
- Title(参考訳): DFNet: 直接の特徴マッチングによるAboslute Pose回帰の強化
- Authors: Shuai Chen, Xinghui Li, Zirui Wang, Victor Prisacariu
- Abstract要約: 絶対ポーズ回帰(APR)と直接特徴マッチングを組み合わせたカメラ再局在パイプラインを導入する。
提案手法は,既存の1画像のAPR手法を最大56%上回る精度で3次元構造法に匹敵する精度を実現する。
- 参考スコア(独自算出の注目度): 19.01448732212848
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce a camera relocalization pipeline that combines absolute pose
regression (APR) and direct feature matching. Existing photometric-based
methods have trouble on scenes with large photometric distortions, e.g. outdoor
environments. By incorporating an exposure-adaptive novel view synthesis, our
methods can successfully address the challenges. Moreover, by introducing
domain-invariant feature matching, our solution can improve pose regression
accuracy while using semi-supervised learning on unlabeled data. In particular,
the pipeline consists of two components, Novel View Synthesizer and FeatureNet
(DFNet). The former synthesizes novel views compensating for changes in
exposure and the latter regresses camera poses and extracts robust features
that bridge the domain gap between real images and synthetic ones. We show that
domain invariant feature matching effectively enhances camera pose estimation
both in indoor and outdoor scenes. Hence, our method achieves a
state-of-the-art accuracy by outperforming existing single-image APR methods by
as much as 56%, comparable to 3D structure-based methods.
- Abstract(参考訳): 絶対ポーズ回帰(APR)と直接特徴マッチングを組み合わせたカメラ再局在パイプラインを導入する。
既存の測光手法は、例えば屋外環境のような大きな測光歪みのある場面で問題となる。
露光適応型新規ビュー合成を取り入れることで,本手法は課題に対処できる。
さらに,領域不変特徴マッチングを導入することで,ラベルなしデータで半教師付き学習をしながらポーズ回帰精度を向上させることができる。
特にパイプラインは、Novell View SynthesizerとFeatureNet(DFNet)の2つのコンポーネントで構成されている。
前者は露出の変化を補う新しいビューを合成し、後者はカメラのポーズを取り、実際の画像と合成画像の間の領域ギャップを埋める堅牢な特徴を抽出する。
ドメイン不変特徴マッチングは,室内と屋外の両方において,カメラのポーズ推定を効果的に向上させる。
そこで本手法は,既存の単一画像apr法を最大56%上回り,3次元構造ベース法に匹敵する精度を実現している。
関連論文リスト
- Cameras as Rays: Pose Estimation via Ray Diffusion [57.32374715650491]
カメラのポーズを推定することは3D再構築の基本的な課題であり、まばらな視点では依然として挑戦的である。
本稿では,カメラを光束として扱うカメラポーズの分散表現を提案する。
提案手法は回帰法と拡散法の両方で,CO3Dのカメラポーズ推定における最先端性能を示す。
論文 参考訳(メタデータ) (2024-02-22T18:59:56Z) - ExposureDiffusion: Learning to Expose for Low-light Image Enhancement [87.08496758469835]
この研究は、拡散モデルと物理ベースの露光モデルとをシームレスに統合することで、この問題に対処する。
提案手法は,バニラ拡散モデルと比較して性能が大幅に向上し,推論時間を短縮する。
提案するフレームワークは、実際のペア付きデータセット、SOTAノイズモデル、および異なるバックボーンネットワークの両方で動作する。
論文 参考訳(メタデータ) (2023-07-15T04:48:35Z) - Embracing Compact and Robust Architectures for Multi-Exposure Image
Fusion [50.598654017728045]
本稿では,堅牢なマルチ露光画像融合のための自己アライメントとディテールリプレクションモジュールを含む探索型パラダイムを提案する。
シーンリライティングと変形可能な畳み込みを利用して、カメラの動きに拘わらず、画像を正確に調整することができる。
我々は、様々な競争方式と比較して最先端の性能を実現し、一般的なシナリオと不整合シナリオに対するPSNRの4.02%と29.34%の改善を実現した。
論文 参考訳(メタデータ) (2023-05-20T17:01:52Z) - Enhanced Stable View Synthesis [86.69338893753886]
本稿では,自由に動くカメラから撮影した画像から,新しいビュー合成を強化するアプローチを提案する。
導入されたアプローチは、正確な幾何学的足場とカメラのポーズの復元が困難な屋外シーンに焦点を当てている。
論文 参考訳(メタデータ) (2023-03-30T01:53:14Z) - Neural Refinement for Absolute Pose Regression with Feature Synthesis [33.2608395824548]
APR(Absolute Pose Regression)メソッドは、ディープニューラルネットワークを使用して、RGBイメージからカメラのポーズを直接回帰する。
本研究では,暗黙的幾何制約を利用するテスト時間改善パイプラインを提案する。
また、トレーニング中に3次元幾何学的特徴を符号化し、テスト時に高密度な新しいビュー特徴を直接レンダリングしてAPR法を洗練させるニューラル・フィーチャー・シンセサイザー(NeFeS)モデルも導入する。
論文 参考訳(メタデータ) (2023-03-17T16:10:50Z) - MELON: NeRF with Unposed Images in SO(3) [35.093700416540436]
ニューラルネットワークは、非提示画像から最先端の精度でニューラルラジアンス場を再構築でき、対向的アプローチの10倍のビューを必要とすることを示す。
ニューラルネットを用いてポーズ推定を正則化することにより,提案手法は非ポーズ画像から最先端の精度でニューラルレイディアンス場を再構築し,敵のアプローチの10倍のビューを要求できることを示した。
論文 参考訳(メタデータ) (2023-03-14T17:33:39Z) - Multi-View Object Pose Refinement With Differentiable Renderer [22.040014384283378]
本稿では,合成データの学習方法の改善に焦点をあてた,新しい多視点6 DoFオブジェクトポーズ改善手法を提案する。
これはDPOD検出器に基づいており、各フレーム内のモデル頂点と画像画素との間の密度の高い2D-3D対応を生成する。
合成および実データに基づいて訓練された最先端の手法と比較して優れた性能を報告した。
論文 参考訳(メタデータ) (2022-07-06T17:02:22Z) - A Model for Multi-View Residual Covariances based on Perspective
Deformation [88.21738020902411]
マルチビューSfM, オードメトリ, SLAMセットアップにおける視覚的残差の共分散モデルの導出を行う。
我々は、合成データと実データを用いてモデルを検証し、それを光度および特徴量に基づくバンドル調整に統合する。
論文 参考訳(メタデータ) (2022-02-01T21:21:56Z) - Poseur: Direct Human Pose Regression with Transformers [119.79232258661995]
単一画像からの2次元人間のポーズ推定に対する直接回帰に基づくアプローチを提案する。
私たちのフレームワークはエンドツーエンドの差別化が可能で、キーポイント間の依存関係を自然に活用することを学びます。
我々のアプローチは、最も優れたヒートマップベースのポーズ推定手法と比較して好意的に機能する最初の回帰ベースのアプローチである。
論文 参考訳(メタデータ) (2022-01-19T04:31:57Z) - LENS: Localization enhanced by NeRF synthesis [3.4386226615580107]
アルゴリズムのNeRFクラスによって描画された追加の合成データセットにより、カメラポーズの回帰が向上することを示す。
我々はさらに、トレーニング中のデータ拡張として、合成現実的および幾何学的一貫した画像を用いて、ポーズ回帰器の局所化精度を向上した。
論文 参考訳(メタデータ) (2021-10-13T08:15:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。