論文の概要: Robust Localization with Visual-Inertial Odometry Constraints for Markerless Mobile AR

• arxiv url: http://arxiv.org/abs/2308.05394v2
• Date: Fri, 15 Sep 2023 07:20:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-18 17:56:19.999185
• Title: Robust Localization with Visual-Inertial Odometry Constraints for Markerless Mobile AR
• Title（参考訳）: マーカーレスモバイルARのための視覚慣性オドメトリー制約を用いたロバスト位置決め
• Authors: Changkun Liu, Yukun Zhao, Tristan Braud
• Abstract要約: 本稿では、絶対的なポーズ回帰器とローカルなVIOトラッキングシステムを組み合わせた、マーカーレスモバイルARのための新しいフレームワークであるVIO-APRを紹介する。 VIO-APRはVIOを用いてAPRとAPRの信頼性を評価し、VIOドリフトの識別と補償を行う。 私たちは、その能力を実証するためにUnityを使用してモバイルARアプリケーションにVIO-APRを実装します。
• 参考スコア（独自算出の注目度）: 2.856126556871729
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visual Inertial Odometry (VIO) is an essential component of modern Augmented Reality (AR) applications. However, VIO only tracks the relative pose of the device, leading to drift over time. Absolute pose estimation methods infer the device's absolute pose, but their accuracy depends on the input quality. This paper introduces VIO-APR, a new framework for markerless mobile AR that combines an absolute pose regressor (APR) with a local VIO tracking system. VIO-APR uses VIO to assess the reliability of the APR and the APR to identify and compensate for VIO drift. This feedback loop results in more accurate positioning and more stable AR experiences. To evaluate VIO-APR, we created a dataset that combines camera images with ARKit's VIO system output for six indoor and outdoor scenes of various scales. Over this dataset, VIO-APR improves the median accuracy of popular APR by up to 36\% in position and 29\% in orientation, increases the percentage of frames in the high ($0.25 m, 2^{\circ}$) accuracy level by up to 112\% and reduces the percentage of frames predicted below the low ($5 m, 10^\circ$) accuracy greatly. We implement VIO-APR into a mobile AR application using Unity to demonstrate its capabilities. VIO-APR results in noticeably more accurate localization and a more stable overall experience.
• Abstract（参考訳）: 視覚慣性オドメトリー(VIO)は、現代の拡張現実(AR)アプリケーションにおいて不可欠なコンポーネントである。 しかし、VIOはデバイスの相対的なポーズのみを追跡し、時間の経過とともにドリフトする。 絶対ポーズ推定手法はデバイスの絶対ポーズを推定するが、その精度は入力品質に依存する。 本稿では、絶対ポーズ回帰器(APR)とローカルVIOトラッキングシステムを組み合わせた、マーカーレスモバイルARのための新しいフレームワークであるVIO-APRを紹介する。 VIO-APRはVIOを用いてAPRとAPRの信頼性を評価し、VIOドリフトの識別と補償を行う。 このフィードバックループはより正確な位置決めとより安定したAR体験をもたらす。 VIO-APRを評価するために、さまざまなスケールの6つの屋内・屋外シーンに対して、カメラ画像とARKitのVIOシステム出力を組み合わせたデータセットを作成しました。 このデータセットを通して、VIO-APRは、一般的なAPRの中央値の精度を最大36\%、オリエンテーション29\%改善し、高い(0.25m, 2^{\circ}$)精度のフレームの割合を最大112\%向上させ、低い(5m, 10^\circ$)精度以下で予測されるフレームの割合を大幅に削減する。 私たちは、その能力を実証するためにUnityを使用してモバイルARアプリケーションにVIO-APRを実装します。 VIO-APRは明らかに精度が高く、全体的な経験も安定している。

関連論文リスト

• SRPose: Two-view Relative Pose Estimation with Sparse Keypoints [51.49105161103385]
  SRPoseは、カメラ・トゥ・ワールドおよびオブジェクト・トゥ・カメラシナリオにおける2ビュー相対ポーズ推定のためのスパースキーポイントベースのフレームワークである。 精度と速度の点で最先端の手法と比較して、競争力や優れた性能を達成する。 さまざまな画像サイズやカメラ固有の機能に対して堅牢であり、低コンピューティングリソースでデプロイすることができる。
  論文  参考訳（メタデータ） (2024-07-11T05:46:35Z)
• MobileARLoc: On-device Robust Absolute Localisation for Pervasive Markerless Mobile AR [2.856126556871729]
  本稿では,大規模マーカーレスモバイルARのための新しいフレームワークであるMobileARLocを紹介する。 MobileARLocは絶対ポーズ回帰器(APR)とローカルVIOトラッキングシステムを組み合わせる。 我々は,MobileARLocが基盤となるAPRと比較して誤差を半減し,デバイス上での高速(80,ms)の推論速度を実現することを示す。
  論文  参考訳（メタデータ） (2024-01-21T14:48:38Z)
• DINO-Mix: Enhancing Visual Place Recognition with Foundational Vision Model and Feature Mixing [4.053793612295086]
  本稿では,基礎的な視覚モデルと特徴集約を組み合わせた,DINO-Mixと呼ばれる新しいVPRアーキテクチャを提案する。 提案したDINO-Mixアーキテクチャは,現在最先端(SOTA)手法を著しく上回っていることを実験的に実証した。
  論文  参考訳（メタデータ） (2023-11-01T02:22:17Z)
• RD-VIO: Robust Visual-Inertial Odometry for Mobile Augmented Reality in Dynamic Environments [55.864869961717424]
  視覚的・視覚的慣性オドメトリーシステムでは、動的シーンや純粋な回転の問題に対処することが通常困難である。 我々はこれらの問題に対処するためにRD-VIOと呼ばれる新しい視覚-慣性オドメトリーシステム(VIO)を設計する。
  論文  参考訳（メタデータ） (2023-10-23T16:30:39Z)
• KS-APR: Keyframe Selection for Robust Absolute Pose Regression [2.541264438930729]
  Markerless Mobile Augmented Reality (AR)は、特定の2Dや3Dオブジェクトを使わずに、物理的な世界でデジタルコンテンツを固定することを目的としている。 エンドツーエンドの機械学習ソリューションは、単一の単眼画像からデバイスのポーズを推測する。 APR法は、トレーニングセットから遠すぎる入力画像に対して重大な不正確性をもたらす傾向がある。 本稿では,推定ポーズの信頼性を最小限のオーバーヘッドで評価するパイプラインKS-APRを紹介する。
  論文  参考訳（メタデータ） (2023-08-10T09:32:20Z)
• Enhanced Stable View Synthesis [86.69338893753886]
  本稿では,自由に動くカメラから撮影した画像から,新しいビュー合成を強化するアプローチを提案する。 導入されたアプローチは、正確な幾何学的足場とカメラのポーズの復元が困難な屋外シーンに焦点を当てている。
  論文  参考訳（メタデータ） (2023-03-30T01:53:14Z)
• LaMAR: Benchmarking Localization and Mapping for Augmented Reality [80.23361950062302]
  異種ARデバイスでキャプチャされたリアルな軌跡とセンサストリームを共登録する,包括的キャプチャとGTパイプラインを備えた新しいベンチマークであるLaMARを紹介する。 私たちは、ヘッドマウントとハンドヘルドARデバイスで記録された多様な大規模シーンのベンチマークデータセットを公開します。
  論文  参考訳（メタデータ） (2022-10-19T17:58:17Z)
• Benchmarking Visual-Inertial Deep Multimodal Fusion for Relative Pose Regression and Odometry-aided Absolute Pose Regression [6.557612703872671]
  視覚慣性ローカライゼーションは、仮想現実、自動運転車、航空機などのコンピュータビジョンやロボティクスアプリケーションにおいて重要な問題である。 本研究では,ポーズグラフの最適化とアテンションネットワークに基づく深層マルチモーダル融合の評価を行う。 本稿では,APR-RPRタスクの改善と,航空機やハンドヘルド機器のRPR-RPRタスクの改善について述べる。
  論文  参考訳（メタデータ） (2022-08-01T15:05:26Z)
• Towards Scale Consistent Monocular Visual Odometry by Learning from the Virtual World [83.36195426897768]
  仮想データから絶対スケールを取得するための新しいフレームワークであるVRVOを提案する。 まず、モノクロ実画像とステレオ仮想データの両方を用いて、スケール対応の異種ネットワークをトレーニングする。 結果として生じるスケール一貫性の相違は、直接VOシステムと統合される。
  論文  参考訳（メタデータ） (2022-03-11T01:51:54Z)
• Dense Label Encoding for Boundary Discontinuity Free Rotation Detection [69.75559390700887]
  本稿では,分類に基づく比較的研究の少ない方法論について検討する。 我々は2つの側面でフロンティアを推し進めるための新しい手法を提案する。 航空画像のための大規模公開データセットの実験と視覚解析は,我々のアプローチの有効性を示している。
  論文  参考訳（メタデータ） (2020-11-19T05:42:02Z)
• Object Detection in the Context of Mobile Augmented Reality [16.49070406578342]
  本稿では,VIOから得られる幾何学的情報とオブジェクト検出器からの意味情報を組み合わせて,モバイルデバイス上での物体検出性能を向上させる手法を提案する。 提案手法は,(1)画像配向補正法,(2)スケールベースフィルタリング法,(3)オンライン意味地図の3つの構成要素を含む。 その結果,汎用物体検出器の精度をデータセット上で12%向上できることがわかった。
  論文  参考訳（メタデータ） (2020-08-15T05:15:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。