論文の概要: Robust Digital-Twin Localization via An RGBD-based Transformer Network
and A Comprehensive Evaluation on a Mobile Dataset
- arxiv url: http://arxiv.org/abs/2309.13570v3
- Date: Tue, 10 Oct 2023 03:01:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-13 03:19:07.476317
- Title: Robust Digital-Twin Localization via An RGBD-based Transformer Network
and A Comprehensive Evaluation on a Mobile Dataset
- Title（参考訳）: RGBD型変圧器ネットワークによるロバストディジタルツイン位置決めとモバイルデータに対する総合評価
- Authors: Zixun Huang, Keling Yao, Seth Z. Zhao, Chuanyu Pan, Tianjian Xu, Weiyu
Feng, Allen Y. Yang
- Abstract要約: 実世界の雑音データに基づいて,最先端の精度を実現するための変圧器ベースの6DoFポーズ推定器を提案する。
新しいデータセットでは、Apple iPhone 14 Pro上の最先端のモバイルRGBDセンサースイートを使用して、デジタルツインデータをキャプチャする。
- 参考スコア（独自算出の注目度）: 2.190269031876989
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: The potential of digital-twin technology, involving the creation of precise
digital replicas of physical objects, to reshape AR experiences in 3D object
tracking and localization scenarios is significant. However, enabling robust 3D
object tracking in dynamic mobile AR environments remains a formidable
challenge. These scenarios often require a more robust pose estimator capable
of handling the inherent sensor-level measurement noise. In this paper,
recognizing the challenges of comprehensive solutions in existing literature,
we propose a transformer-based 6DoF pose estimator designed to achieve
state-of-the-art accuracy under real-world noisy data. To systematically
validate the new solution's performance against the prior art, we also
introduce a novel RGBD dataset called Digital Twin Tracking Dataset v2 (DTTD2),
which is focused on digital-twin object tracking scenarios. Expanded from an
existing DTTD v1 (DTTD1), the new dataset adds digital-twin data captured using
a cutting-edge mobile RGBD sensor suite on Apple iPhone 14 Pro, expanding the
applicability of our approach to iPhone sensor data. Through extensive
experimentation and in-depth analysis, we illustrate the effectiveness of our
methods under significant depth data errors, surpassing the performance of
existing baselines. Code and dataset are made publicly available at:
https://github.com/augcog/DTTD2
- Abstract（参考訳）: 物理的オブジェクトの正確なデジタルレプリカを作成することを含むデジタルツイン技術のポテンシャルは、3DオブジェクトのトラッキングとローカライゼーションシナリオにおけるARエクスペリエンスを再形成する上で重要である。
しかし、動的なモバイルAR環境で堅牢な3Dオブジェクトトラッキングを可能にすることは、依然として大きな課題である。
これらのシナリオは、しばしば、固有のセンサーレベルの測定ノイズを扱うことができるより堅牢なポーズ推定器を必要とする。
本稿では,既存の文献における包括的解決の課題を認識し,実世界雑音データ下での最先端精度を実現するためのトランスフォーマティブ6dofポーズ推定器を提案する。
先行技術に対する新しいソリューションの性能を体系的に検証するために、デジタルツイントラッキングデータセットv2(dttd2)と呼ばれる新しいrgbdデータセットを導入し、デジタルツインオブジェクト追跡シナリオに焦点を当てた。
既存のdttd v1(dttd1)から拡張された新しいデータセットは、apple iphone 14 proの最先端のモバイルrgbdセンサースイートを使用してキャプチャされたデジタルトウィンデータを追加し、当社のアプローチをiphoneセンサーデータに適用可能にします。
大規模実験と奥行き解析により,既存のベースラインの性能を上回って,奥行きデータエラーによる手法の有効性を明らかにした。
コードとデータセットは、https://github.com/augcog/DTTD2で公開されている。
関連論文リスト
- Robust Depth Enhancement via Polarization Prompt Fusion Tuning [112.88371907047396]
様々な深度センサによる不正確な深度測定を改善するために偏光イメージングを利用するフレームワークを提案する。
まず、偏光データとセンサ深度マップから高密度で完全な深度マップを推定するために、ニューラルネットワークを訓練した学習ベースの戦略を採用する。
大規模データセット上で事前学習したRGBモデルを有効に活用するためのPPFT(Polarization Prompt Fusion Tuning)戦略を提案する。
論文 参考訳（メタデータ） (2024-04-05T17:55:33Z) - RGB-based Category-level Object Pose Estimation via Decoupled Metric
Scale Recovery [72.13154206106259]
本研究では、6次元のポーズとサイズ推定を分離し、不完全なスケールが剛性変換に与える影響を緩和するパイプラインを提案する。
具体的には,事前学習した単分子推定器を用いて局所的な幾何学的情報を抽出する。
別個のブランチは、カテゴリレベルの統計に基づいてオブジェクトのメートル法スケールを直接復元するように設計されている。
論文 参考訳（メタデータ） (2023-09-19T02:20:26Z) - TransPose: A Transformer-based 6D Object Pose Estimation Network with
Depth Refinement [5.482532589225552]
深度修正モジュールを用いた改良型トランスフォーマーベースの6次元ポーズ推定法であるTransPoseを提案する。
アーキテクチャはRGB画像のみを入力として取り込むが、深度や熱画像などの追加の補正は行わない。
次に、予測された中心、6Dポーズ、および6Dポーズの精度を向上するために、新しい深度補正モジュールが使用される。
論文 参考訳（メタデータ） (2023-07-09T17:33:13Z) - Deep Metric Learning for Unsupervised Remote Sensing Change Detection [60.89777029184023]
リモートセンシング変化検出(RS-CD)は、マルチテンポラルリモートセンシング画像(MT-RSI)から関連する変化を検出することを目的とする。
既存のRS-CD法の性能は、大規模な注釈付きデータセットのトレーニングによるものである。
本稿では,これらの問題に対処可能なディープメトリック学習に基づく教師なしCD手法を提案する。
論文 参考訳（メタデータ） (2023-03-16T17:52:45Z) - Consistent Direct Time-of-Flight Video Depth Super-Resolution [9.173767380836852]
飛行時間(dToF)センサーは、次世代のオンデバイス3Dセンシングを約束している。
低分解能dToFイメージングによる空間的曖昧性を緩和する最初の多フレーム融合方式を提案する。
動的オブジェクトと現実的なdToFシミュレータを備えた,最初の合成RGB-dToFビデオデータセットであるDyDToFを紹介する。
論文 参考訳（メタデータ） (2022-11-16T04:16:20Z) - Det6D: A Ground-Aware Full-Pose 3D Object Detector for Improving Terrain
Robustness [1.4620086904601473]
空間的・姿勢的制約を伴わない初の完全自由度3次元物体検出器であるDet6Dを提案する。
ピッチやロールを含む全方向のポーズを予測するために,地上認識方向分岐を設計する。
異なる地形における本手法の有効性とロバスト性について実験を行った。
論文 参考訳（メタデータ） (2022-07-19T17:12:48Z) - M2TR: Multi-modal Multi-scale Transformers for Deepfake Detection [74.19291916812921]
Deepfake技術によって生成された鍛造画像は、デジタル情報の信頼性に深刻な脅威をもたらします。
本稿では,Deepfake検出のための微妙な操作アーチファクトを異なるスケールで捉えることを目的とする。
最先端の顔スワッピングと顔の再現方法によって生成された4000のDeepFakeビデオで構成される高品質のDeepFakeデータセットSR-DFを紹介します。
論文 参考訳（メタデータ） (2021-04-20T05:43:44Z) - PLUME: Efficient 3D Object Detection from Stereo Images [95.31278688164646]
既存の手法では、2つのステップでこの問題に対処する: 第一深度推定を行い、その深さ推定から擬似LiDAR点雲表現を計算し、3次元空間で物体検出を行う。
この2つのタスクを同一のメトリック空間で統一するモデルを提案する。
提案手法は,既存の手法と比較して推定時間を大幅に削減し,挑戦的なKITTIベンチマークの最先端性能を実現する。
論文 参考訳（メタデータ） (2021-01-17T05:11:38Z) - 3D Point-to-Keypoint Voting Network for 6D Pose Estimation [8.801404171357916]
3次元キーポイントの空間構造特性に基づくRGB-Dデータから6次元ポーズ推定のためのフレームワークを提案する。
提案手法は, LINEMOD と OCCLUSION LINEMOD の2つのベンチマークデータセットで検証する。
論文 参考訳（メタデータ） (2020-12-22T11:43:15Z) - Uncertainty-Aware Deep Calibrated Salient Object Detection [74.58153220370527]
既存のディープニューラルネットワークに基づくサルエントオブジェクト検出(SOD)手法は主に高いネットワーク精度の追求に重点を置いている。
これらの手法は、信頼不均衡問題として知られるネットワーク精度と予測信頼の間のギャップを見落としている。
我々は,不確実性を考慮した深部SODネットワークを導入し,深部SODネットワークの過信を防止するための2つの戦略を提案する。
論文 参考訳（メタデータ） (2020-12-10T23:28:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。