論文の概要: Towards Subcentimeter Accuracy Digital-Twin Tracking via An RGBD-based
Transformer Model and A Comprehensive Mobile Dataset
- arxiv url: http://arxiv.org/abs/2309.13570v1
- Date: Sun, 24 Sep 2023 07:06:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-26 18:50:52.179711
- Title: Towards Subcentimeter Accuracy Digital-Twin Tracking via An RGBD-based
Transformer Model and A Comprehensive Mobile Dataset
- Title(参考訳): RGBDを用いた変圧器モデルと包括的移動データを用いたサブセント精度デジタルツイントラッキング
- Authors: Zixun Huang, Keling Yao, Seth Z. Zhao, Chuanyu Pan, Tianjian Xu, Weiyu
Feng, Allen Y. Yang
- Abstract要約: 雑音深度データによる課題に対処するために,変圧器を用いた6DoFポーズ推定器を提案する。
我々は,最先端のモバイルセンサであるiPhone 14 Proを用いて,新しいRGBDデータセットを導入した。
- 参考スコア(独自算出の注目度): 2.190269031876989
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: The potential of digital twin technology, involving the creation of precise
digital replicas of physical objects, to reshape AR experiences in 3D object
tracking and localization scenarios is significant. However, enabling 3D object
tracking with subcentimeter accuracy in dynamic mobile AR environments remains
a formidable challenge. These scenarios often require a more robust pose
estimator capable of handling the inherent sensor-level measurement noise. In
this paper, recognizing the absence of comprehensive solutions in existing
literature, we build upon our previous work, the Digital Twin Tracking Dataset
(DTTD), to address these challenges in mobile AR settings. Specifically, we
propose a transformer-based 6DoF pose estimator designed to withstand the
challenges posed by noisy depth data. Simultaneously, we introduce a novel RGBD
dataset captured using a cutting-edge mobile sensor, the iPhone 14 Pro,
expanding the applicability of our approach to iPhone sensor data. Through
extensive experimentation and in-depth analysis, we illustrate the
effectiveness of our methods in the face of significant depth data errors,
surpassing the performance of existing baselines. Code will be made publicly
available.
- Abstract(参考訳): 3dオブジェクト追跡とローカライズシナリオでarエクスペリエンスを再構築する、物理的オブジェクトの正確なデジタルレプリカの作成を含むデジタルツイン技術の可能性は重要である。
しかし、ダイナミックなモバイルAR環境での3Dオブジェクトの追跡を可能にすることは、非常に難しい課題である。
これらのシナリオは、しばしば、固有のセンサーレベルの測定ノイズを扱うことができるより堅牢なポーズ推定器を必要とする。
本稿では,既存の文献に包括的ソリューションがないことを認識し,モバイルAR設定におけるこれらの課題に対処するため,これまでの研究であるDigital Twin Tracking Dataset(DTTD)に基づいて構築する。
具体的には,ノイズの深さデータによる課題に耐えるトランスベース6dofポーズ推定器を提案する。
同時に、最先端のモバイルセンサーであるiPhone 14 Proを用いて、新しいRGBDデータセットを導入し、我々のアプローチをiPhoneセンサーデータに適用可能にする。
広範囲な実験と詳細な分析を通じて,既存のベースラインの性能を上回っている奥行きデータエラーに対して,本手法の有効性を示す。
コードは公開される予定だ。
関連論文リスト
- Domain-Transferred Synthetic Data Generation for Improving Monocular Depth Estimation [9.812476193015488]
本稿では,3次元合成環境とCycleGANドメイン転送を用いたシミュレーションデータ生成手法を提案する。
本研究では,DenseDepth構造に基づく深度推定モデルを実データと模擬データの異なるトレーニングセットを用いて学習することにより,このデータ生成手法を,人気のNYUDepth V2データセットと比較する。
本稿では,Huskyロボットによる新たに収集した画像とLiDAR深度データを用いたモデルの性能評価を行い,GAN変換データを実世界のデータ,特に深度推定の有効な代替手段として有効であることを示す。
論文 参考訳(メタデータ) (2024-05-02T09:21:10Z) - UniMODE: Unified Monocular 3D Object Detection [70.27631528933482]
我々は,鳥眼視(BEV)検出パラダイムに基づく検出器を構築した。
本稿では,この課題に起因する収束不安定性に対応するために,不均一なBEVグリッド設計を提案する。
統一検出器UniMODEが導出され、挑戦的なOmni3Dデータセットの先行技術を上回る。
論文 参考訳(メタデータ) (2024-02-28T18:59:31Z) - Multi-Modal Dataset Acquisition for Photometrically Challenging Object [56.30027922063559]
本稿では,3次元視覚タスクにおける現在のデータセットの限界について,精度,サイズ,リアリズム,および光度に挑戦する対象に対する適切な画像モダリティの観点から検討する。
既存の3次元認識と6次元オブジェクトポーズデータセットを強化する新しいアノテーションと取得パイプラインを提案する。
論文 参考訳(メタデータ) (2023-08-21T10:38:32Z) - Digital Twin Tracking Dataset (DTTD): A New RGB+Depth 3D Dataset for
Longer-Range Object Tracking Applications [3.9776693020673677]
デジタルツイン(Digital twin)は、実際のオブジェクトをデジタルオブジェクトで拡張する問題である。
優れたデジタルツインシステムにおける重要なコンポーネントは、リアルタイムで正確な3Dオブジェクト追跡である。
この研究で、Digital Twin Tracking dataset(DTTD)と呼ばれる新しいRGB-Dデータセットを作成します。
論文 参考訳(メタデータ) (2023-02-12T20:06:07Z) - CXTrack: Improving 3D Point Cloud Tracking with Contextual Information [59.55870742072618]
3Dオブジェクトトラッキングは、自律運転など、多くのアプリケーションにおいて重要な役割を果たす。
CXTrackは3次元オブジェクト追跡のためのトランスフォーマーベースのネットワークである。
CXTrackは29FPSで動作しながら最先端のトラッキング性能を実現する。
論文 参考訳(メタデータ) (2022-11-12T11:29:01Z) - Realtime 3D Object Detection for Headsets [19.096803385184174]
移動性に配慮し,軽量かつハイブリッドな3Dオブジェクト検出フレームワークであるDeepMixを提案する。
DeepMixは、エッジ支援の2Dオブジェクト検出と、デバイス上の新しい3Dバウンディングボックス推定をインテリジェントに組み合わせている。
これにより、エンドツーエンドのレイテンシが低くなり、モバイルシナリオにおける検出精度が大幅に向上する。
論文 参考訳(メタデータ) (2022-01-15T05:50:18Z) - ST3D: Self-training for Unsupervised Domain Adaptation on 3D
ObjectDetection [78.71826145162092]
点雲からの3次元物体検出における教師なし領域適応のための新しい領域適応型自己学習パイプラインST3Dを提案する。
当社のST3Dは、評価されたすべてのデータセットで最先端のパフォーマンスを達成し、KITTI 3Dオブジェクト検出ベンチマークで完全に監視された結果を超えます。
論文 参考訳(メタデータ) (2021-03-09T10:51:24Z) - Reinforced Axial Refinement Network for Monocular 3D Object Detection [160.34246529816085]
モノクロ3次元物体検出は、2次元入力画像から物体の位置と特性を抽出することを目的としている。
従来のアプローチでは、空間から3D境界ボックスをサンプリングし、対象オブジェクトと各オブジェクトの関係を推定するが、有効サンプルの確率は3D空間で比較的小さい。
我々は,まず最初の予測から始めて,各ステップで1つの3dパラメータだけを変えて,基礎的真理に向けて徐々に洗練することを提案する。
これは、いくつかのステップの後に報酬を得るポリシーを設計する必要があるため、最適化するために強化学習を採用します。
論文 参考訳(メタデータ) (2020-08-31T17:10:48Z) - 1st Place Solution for Waymo Open Dataset Challenge -- 3D Detection and
Domain Adaptation [7.807118356899879]
本研究では,一段式,アンカーフリー,NMSフリーの3Dポイント・クラウド・オブジェクト検出器AFDetを提案する。
AFDetは私たちの勝利ソリューションの強力なベースラインとして機能します。
我々は、より強力なネットワークを設計し、デンシフィケーションとポイントペインティングを用いてポイントクラウドデータを強化する。
論文 参考訳(メタデータ) (2020-06-28T04:49:39Z) - Transferable Active Grasping and Real Embodied Dataset [48.887567134129306]
ハンドマウント型RGB-Dカメラを用いて把握可能な視点を探索する方法を示す。
現実的な3段階の移動可能な能動把握パイプラインを開発し、未確認のクラッタシーンに適応する。
本研究のパイプラインでは,カテゴリ非関連行動の把握と確保において,スパース報酬問題を克服するために,新しいマスク誘導報酬を提案する。
論文 参考訳(メタデータ) (2020-04-28T08:15:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。