論文の概要: Robust Digital-Twin Localization via An RGBD-based Transformer Network
and A Comprehensive Evaluation on a Mobile Dataset
- arxiv url: http://arxiv.org/abs/2309.13570v3
- Date: Tue, 10 Oct 2023 03:01:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-13 03:19:07.476317
- Title: Robust Digital-Twin Localization via An RGBD-based Transformer Network
and A Comprehensive Evaluation on a Mobile Dataset
- Title(参考訳): RGBD型変圧器ネットワークによるロバストディジタルツイン位置決めとモバイルデータに対する総合評価
- Authors: Zixun Huang, Keling Yao, Seth Z. Zhao, Chuanyu Pan, Tianjian Xu, Weiyu
Feng, Allen Y. Yang
- Abstract要約: 実世界の雑音データに基づいて,最先端の精度を実現するための変圧器ベースの6DoFポーズ推定器を提案する。
新しいデータセットでは、Apple iPhone 14 Pro上の最先端のモバイルRGBDセンサースイートを使用して、デジタルツインデータをキャプチャする。
- 参考スコア(独自算出の注目度): 2.190269031876989
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: The potential of digital-twin technology, involving the creation of precise
digital replicas of physical objects, to reshape AR experiences in 3D object
tracking and localization scenarios is significant. However, enabling robust 3D
object tracking in dynamic mobile AR environments remains a formidable
challenge. These scenarios often require a more robust pose estimator capable
of handling the inherent sensor-level measurement noise. In this paper,
recognizing the challenges of comprehensive solutions in existing literature,
we propose a transformer-based 6DoF pose estimator designed to achieve
state-of-the-art accuracy under real-world noisy data. To systematically
validate the new solution's performance against the prior art, we also
introduce a novel RGBD dataset called Digital Twin Tracking Dataset v2 (DTTD2),
which is focused on digital-twin object tracking scenarios. Expanded from an
existing DTTD v1 (DTTD1), the new dataset adds digital-twin data captured using
a cutting-edge mobile RGBD sensor suite on Apple iPhone 14 Pro, expanding the
applicability of our approach to iPhone sensor data. Through extensive
experimentation and in-depth analysis, we illustrate the effectiveness of our
methods under significant depth data errors, surpassing the performance of
existing baselines. Code and dataset are made publicly available at:
https://github.com/augcog/DTTD2
- Abstract(参考訳): 物理的オブジェクトの正確なデジタルレプリカを作成することを含むデジタルツイン技術のポテンシャルは、3DオブジェクトのトラッキングとローカライゼーションシナリオにおけるARエクスペリエンスを再形成する上で重要である。
しかし、動的なモバイルAR環境で堅牢な3Dオブジェクトトラッキングを可能にすることは、依然として大きな課題である。
これらのシナリオは、しばしば、固有のセンサーレベルの測定ノイズを扱うことができるより堅牢なポーズ推定器を必要とする。
本稿では,既存の文献における包括的解決の課題を認識し,実世界雑音データ下での最先端精度を実現するためのトランスフォーマティブ6dofポーズ推定器を提案する。
先行技術に対する新しいソリューションの性能を体系的に検証するために、デジタルツイントラッキングデータセットv2(dttd2)と呼ばれる新しいrgbdデータセットを導入し、デジタルツインオブジェクト追跡シナリオに焦点を当てた。
既存のdttd v1(dttd1)から拡張された新しいデータセットは、apple iphone 14 proの最先端のモバイルrgbdセンサースイートを使用してキャプチャされたデジタルトウィンデータを追加し、当社のアプローチをiphoneセンサーデータに適用可能にします。
大規模実験と奥行き解析により,既存のベースラインの性能を上回って,奥行きデータエラーによる手法の有効性を明らかにした。
コードとデータセットは、https://github.com/augcog/DTTD2で公開されている。
関連論文リスト
- UniMODE: Unified Monocular 3D Object Detection [76.77182583753051]
我々は,鳥眼視(BEV)検出パラダイムに基づく検出器を構築した。
本稿では,この課題に起因する収束不安定性に対応するために,不均一なBEVグリッド設計を提案する。
統一検出器UniMODEが導出され、挑戦的なOmni3Dデータセットの先行技術を上回る。
論文 参考訳(メタデータ) (2024-02-28T18:59:31Z) - Multi-Modal Dataset Acquisition for Photometrically Challenging Object [56.30027922063559]
本稿では,3次元視覚タスクにおける現在のデータセットの限界について,精度,サイズ,リアリズム,および光度に挑戦する対象に対する適切な画像モダリティの観点から検討する。
既存の3次元認識と6次元オブジェクトポーズデータセットを強化する新しいアノテーションと取得パイプラインを提案する。
論文 参考訳(メタデータ) (2023-08-21T10:38:32Z) - Digital Twin Tracking Dataset (DTTD): A New RGB+Depth 3D Dataset for
Longer-Range Object Tracking Applications [3.9776693020673677]
デジタルツイン(Digital twin)は、実際のオブジェクトをデジタルオブジェクトで拡張する問題である。
優れたデジタルツインシステムにおける重要なコンポーネントは、リアルタイムで正確な3Dオブジェクト追跡である。
この研究で、Digital Twin Tracking dataset(DTTD)と呼ばれる新しいRGB-Dデータセットを作成します。
論文 参考訳(メタデータ) (2023-02-12T20:06:07Z) - CXTrack: Improving 3D Point Cloud Tracking with Contextual Information [59.55870742072618]
3Dオブジェクトトラッキングは、自律運転など、多くのアプリケーションにおいて重要な役割を果たす。
CXTrackは3次元オブジェクト追跡のためのトランスフォーマーベースのネットワークである。
CXTrackは29FPSで動作しながら最先端のトラッキング性能を実現する。
論文 参考訳(メタデータ) (2022-11-12T11:29:01Z) - 3D Harmonic Loss: Towards Task-consistent and Time-friendly 3D Object
Detection on Edge for Intelligent Transportation System [28.55894241049706]
本稿では,ポイントクラウドに基づく不整合予測を緩和する3次元高調波損失関数を提案する。
提案手法はベンチマークモデルよりも性能が大幅に向上する。
私たちのコードはオープンソースで公開されています。
論文 参考訳(メタデータ) (2022-11-07T10:11:48Z) - Realtime 3D Object Detection for Headsets [19.096803385184174]
移動性に配慮し,軽量かつハイブリッドな3Dオブジェクト検出フレームワークであるDeepMixを提案する。
DeepMixは、エッジ支援の2Dオブジェクト検出と、デバイス上の新しい3Dバウンディングボックス推定をインテリジェントに組み合わせている。
これにより、エンドツーエンドのレイテンシが低くなり、モバイルシナリオにおける検出精度が大幅に向上する。
論文 参考訳(メタデータ) (2022-01-15T05:50:18Z) - ST3D: Self-training for Unsupervised Domain Adaptation on 3D
ObjectDetection [78.71826145162092]
点雲からの3次元物体検出における教師なし領域適応のための新しい領域適応型自己学習パイプラインST3Dを提案する。
当社のST3Dは、評価されたすべてのデータセットで最先端のパフォーマンスを達成し、KITTI 3Dオブジェクト検出ベンチマークで完全に監視された結果を超えます。
論文 参考訳(メタデータ) (2021-03-09T10:51:24Z) - Reinforced Axial Refinement Network for Monocular 3D Object Detection [160.34246529816085]
モノクロ3次元物体検出は、2次元入力画像から物体の位置と特性を抽出することを目的としている。
従来のアプローチでは、空間から3D境界ボックスをサンプリングし、対象オブジェクトと各オブジェクトの関係を推定するが、有効サンプルの確率は3D空間で比較的小さい。
我々は,まず最初の予測から始めて,各ステップで1つの3dパラメータだけを変えて,基礎的真理に向けて徐々に洗練することを提案する。
これは、いくつかのステップの後に報酬を得るポリシーを設計する必要があるため、最適化するために強化学習を採用します。
論文 参考訳(メタデータ) (2020-08-31T17:10:48Z) - 1st Place Solution for Waymo Open Dataset Challenge -- 3D Detection and
Domain Adaptation [7.807118356899879]
本研究では,一段式,アンカーフリー,NMSフリーの3Dポイント・クラウド・オブジェクト検出器AFDetを提案する。
AFDetは私たちの勝利ソリューションの強力なベースラインとして機能します。
我々は、より強力なネットワークを設計し、デンシフィケーションとポイントペインティングを用いてポイントクラウドデータを強化する。
論文 参考訳(メタデータ) (2020-06-28T04:49:39Z) - Transferable Active Grasping and Real Embodied Dataset [48.887567134129306]
ハンドマウント型RGB-Dカメラを用いて把握可能な視点を探索する方法を示す。
現実的な3段階の移動可能な能動把握パイプラインを開発し、未確認のクラッタシーンに適応する。
本研究のパイプラインでは,カテゴリ非関連行動の把握と確保において,スパース報酬問題を克服するために,新しいマスク誘導報酬を提案する。
論文 参考訳(メタデータ) (2020-04-28T08:15:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。