論文の概要: KS-APR: Keyframe Selection for Robust Absolute Pose Regression
- arxiv url: http://arxiv.org/abs/2308.05459v2
- Date: Sun, 28 Apr 2024 22:11:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-01 01:04:37.956381
- Title: KS-APR: Keyframe Selection for Robust Absolute Pose Regression
- Title（参考訳）: KS-APR:ロバストな絶対値回帰のためのキーフレーム選択
- Authors: Changkun Liu, Yukun Zhao, Tristan Braud,
- Abstract要約: Markerless Mobile Augmented Reality (AR)は、特定の2Dや3Dオブジェクトを使わずに、物理的な世界でデジタルコンテンツを固定することを目的としている。
エンドツーエンドの機械学習ソリューションは、単一の単眼画像からデバイスのポーズを推測する。
APR法は、トレーニングセットから遠すぎる入力画像に対して重大な不正確性をもたらす傾向がある。
本稿では,推定ポーズの信頼性を最小限のオーバーヘッドで評価するパイプラインKS-APRを紹介する。
- 参考スコア（独自算出の注目度）: 2.541264438930729
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Markerless Mobile Augmented Reality (AR) aims to anchor digital content in the physical world without using specific 2D or 3D objects. Absolute Pose Regressors (APR) are end-to-end machine learning solutions that infer the device's pose from a single monocular image. Thanks to their low computation cost, they can be directly executed on the constrained hardware of mobile AR devices. However, APR methods tend to yield significant inaccuracies for input images that are too distant from the training set. This paper introduces KS-APR, a pipeline that assesses the reliability of an estimated pose with minimal overhead by combining the inference results of the APR and the prior images in the training set. Mobile AR systems tend to rely upon visual-inertial odometry to track the relative pose of the device during the experience. As such, KS-APR favours reliability over frequency, discarding unreliable poses. This pipeline can integrate most existing APR methods to improve accuracy by filtering unreliable images with their pose estimates. We implement the pipeline on three types of APR models on indoor and outdoor datasets. The median error on position and orientation is reduced for all models, and the proportion of large errors is minimized across datasets. Our method enables state-of-the-art APRs such as DFNetdm to outperform single-image and sequential APR methods. These results demonstrate the scalability and effectiveness of KS-APR for visual localization tasks that do not require one-shot decisions.
- Abstract（参考訳）: Markerless Mobile Augmented Reality (AR)は、特定の2Dや3Dオブジェクトを使わずに、物理的な世界でデジタルコンテンツを固定することを目的としている。
Absolute Pose Regressors (APR) は、単一の単眼画像からデバイスのポーズを推測するエンドツーエンドの機械学習ソリューションである。
計算コストの低いため、モバイルARデバイスの制約されたハードウェア上で直接実行できる。
しかし、APR法はトレーニングセットから遠すぎる入力画像に対して重大な不正確性をもたらす傾向にある。
本稿では,推定ポーズの信頼性を最小限のオーバーヘッドで評価するパイプラインであるKS-APRを紹介する。
モバイルARシステムは、経験中のデバイスの相対的なポーズを追跡するために、視覚慣性オドメトリーに依存する傾向がある。
そのため、KS-APRは周波数よりも信頼性を優先し、信頼できないポーズを破棄する。
このパイプラインは、既存のほとんどのAPRメソッドを統合することで、信頼できない画像をポーズ推定でフィルタリングすることで精度を向上させることができる。
屋内および屋外データセット上の3種類のAPRモデルにパイプラインを実装した。
位置と向きの中央値の誤差はすべてのモデルで減少し、大きなエラーの割合はデータセット間で最小化される。
本手法はDFNetdmのような最先端のAPRが単一画像およびシーケンシャルなAPRよりも優れていることを示す。
これらの結果は、ワンショット決定を必要としない視覚的位置決めタスクに対するKS-APRのスケーラビリティと有効性を示す。
関連論文リスト
- Cameras as Rays: Pose Estimation via Ray Diffusion [54.098613859015856]
カメラのポーズを推定することは3D再構成の基本的な課題であり、まばらにサンプリングされたビューを考えると依然として困難である。
本稿では,カメラを光束として扱うカメラポーズの分散表現を提案する。
提案手法は回帰法と拡散法の両方で,CO3Dのカメラポーズ推定における最先端性能を示す。
論文 参考訳（メタデータ） (2024-02-22T18:59:56Z) - HR-APR: APR-agnostic Framework with Uncertainty Estimation and Hierarchical Refinement for Camera Relocalisation [12.333674270678552]
APR(Absolute Pose Regressors)は、モノクロ画像から直接カメラのポーズを推定するが、その精度は異なるクエリに対して不安定である。
不確かさを意識したAPRは、推定されたポーズに関する不確実な情報を提供し、これらの信頼できない予測の影響を軽減する。
本研究では,クエリとデータベースの特徴間のコサイン類似度推定として不確実性推定を定式化する新しいAPR非依存フレームワークHR-APRを紹介する。
論文 参考訳（メタデータ） (2024-02-22T08:21:46Z) - MobileARLoc: On-device Robust Absolute Localisation for Pervasive
Markerless Mobile AR [2.856126556871729]
本稿では,大規模マーカーレスモバイルARのための新しいフレームワークであるMobileARLocを紹介する。
MobileARLocは絶対ポーズ回帰器(APR)とローカルVIOトラッキングシステムを組み合わせる。
我々は,MobileARLocが基盤となるAPRと比較して誤差を半減し,デバイス上での高速(80,ms)の推論速度を実現することを示す。
論文 参考訳（メタデータ） (2024-01-21T14:48:38Z) - Robust Localization with Visual-Inertial Odometry Constraints for
Markerless Mobile AR [2.856126556871729]
本稿では、絶対的なポーズ回帰器とローカルなVIOトラッキングシステムを組み合わせた、マーカーレスモバイルARのための新しいフレームワークであるVIO-APRを紹介する。
VIO-APRはVIOを用いてAPRとAPRの信頼性を評価し、VIOドリフトの識別と補償を行う。
私たちは、その能力を実証するためにUnityを使用してモバイルARアプリケーションにVIO-APRを実装します。
論文 参考訳（メタデータ） (2023-08-10T07:21:35Z) - Class Anchor Margin Loss for Content-Based Image Retrieval [97.81742911657497]
距離学習パラダイムに該当する新しいレペラ・トラクタ損失を提案するが、ペアを生成する必要がなく、直接L2メトリックに最適化する。
CBIRタスクにおいて,畳み込みアーキテクチャと変圧器アーキテクチャの両方を用いて,少数ショットおよびフルセットトレーニングの文脈で提案した目的を評価する。
論文 参考訳（メタデータ） (2023-06-01T12:53:10Z) - Neural Refinement for Absolute Pose Regression with Feature Synthesis [33.2608395824548]
APR(Absolute Pose Regression)メソッドは、ディープニューラルネットワークを使用して、RGBイメージからカメラのポーズを直接回帰する。
本研究では,暗黙的幾何制約を利用するテスト時間改善パイプラインを提案する。
また、トレーニング中に3次元幾何学的特徴を符号化し、テスト時に高密度な新しいビュー特徴を直接レンダリングしてAPR法を洗練させるニューラル・フィーチャー・シンセサイザー(NeFeS)モデルも導入する。
論文 参考訳（メタデータ） (2023-03-17T16:10:50Z) - DiffIR: Efficient Diffusion Model for Image Restoration [108.82579440308267]
拡散モデル(DM)は、画像合成過程をデノナイジングネットワークのシーケンシャルな応用にモデル化することで、SOTA性能を達成した。
画像全体や特徴マップを推定する大規模なモデルで大規模なイテレーションを実行する従来のDMは、画像復元には非効率である。
本稿では、小型IR先行抽出ネットワーク(CPEN)、ダイナミックIR変換器(DIRformer)、デノナイズネットワーク(Denoising Network)からなるDiffIRを提案する。
論文 参考訳（メタデータ） (2023-03-16T16:47:14Z) - Benchmarking Visual-Inertial Deep Multimodal Fusion for Relative Pose
Regression and Odometry-aided Absolute Pose Regression [6.557612703872671]
視覚慣性ローカライゼーションは、仮想現実、自動運転車、航空機などのコンピュータビジョンやロボティクスアプリケーションにおいて重要な問題である。
本研究では,ポーズグラフの最適化とアテンションネットワークに基づく深層マルチモーダル融合の評価を行う。
本稿では,APR-RPRタスクの改善と,航空機やハンドヘルド機器のRPR-RPRタスクの改善について述べる。
論文 参考訳（メタデータ） (2022-08-01T15:05:26Z) - DeepRM: Deep Recurrent Matching for 6D Pose Refinement [77.34726150561087]
DeepRMは、6Dポーズ改善のための新しいリカレントネットワークアーキテクチャである。
アーキテクチャにはLSTMユニットが組み込まれ、各改善ステップを通じて情報を伝達する。
DeepRMは、2つの広く受け入れられている課題データセットで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2022-05-28T16:18:08Z) - Uncertainty-Aware Camera Pose Estimation from Points and Lines [101.03675842534415]
Perspective-n-Point-and-Line (Pn$PL) は、2D-3D特徴座標の3Dモデルに関して、高速で正確で堅牢なカメラローカライゼーションを目指している。
論文 参考訳（メタデータ） (2021-07-08T15:19:36Z) - FasterPose: A Faster Simple Baseline for Human Pose Estimation [65.8413964785972]
本稿では,高速ポーズ推定のためのLR表現を用いた費用対効果ネットワークの設計パラダイムであるFasterPoseを提案する。
我々は,FasterPoseのトレーニング挙動について検討し,収束を加速する新しい回帰クロスエントロピー(RCE)損失関数を定式化する。
従来のポーズ推定ネットワークと比較すると,FLOPの58%が減少し,精度が1.3%向上した。
論文 参考訳（メタデータ） (2021-07-07T13:39:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。