論文の概要: Digital Twin Tracking Dataset (DTTD): A New RGB+Depth 3D Dataset for
Longer-Range Object Tracking Applications
- arxiv url: http://arxiv.org/abs/2302.05991v2
- Date: Tue, 11 Apr 2023 20:31:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-13 17:59:47.874009
- Title: Digital Twin Tracking Dataset (DTTD): A New RGB+Depth 3D Dataset for
Longer-Range Object Tracking Applications
- Title（参考訳）: digital twin tracking dataset (dttd): 長距離オブジェクト追跡アプリケーションのための新しいrgb+depth 3dデータセット
- Authors: Weiyu Feng, Seth Z. Zhao, Chuanyu Pan, Adam Chang, Yichen Chen, Zekun
Wang, Allen Y. Yang
- Abstract要約: デジタルツイン(Digital twin)は、実際のオブジェクトをデジタルオブジェクトで拡張する問題である。
優れたデジタルツインシステムにおける重要なコンポーネントは、リアルタイムで正確な3Dオブジェクト追跡である。
この研究で、Digital Twin Tracking dataset(DTTD)と呼ばれる新しいRGB-Dデータセットを作成します。
- 参考スコア（独自算出の注目度）: 3.9776693020673677
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Digital twin is a problem of augmenting real objects with their digital
counterparts. It can underpin a wide range of applications in augmented reality
(AR), autonomy, and UI/UX. A critical component in a good digital-twin system
is real-time, accurate 3D object tracking. Most existing works solve 3D object
tracking through the lens of robotic grasping, employ older generations of
depth sensors, and measure performance metrics that may not apply to other
digital-twin applications such as in AR. In this work, we create a novel RGB-D
dataset, called Digital Twin Tracking Dataset (DTTD), to enable further
research of the problem and extend potential solutions towards longer ranges
and mm localization accuracy. To reduce point cloud noise from the input
source, we select the latest Microsoft Azure Kinect as the state-of-the-art
time-of-flight (ToF) camera. In total, 103 scenes of 10 common off-the-shelf
objects with rich textures are recorded, with each frame annotated with a
per-pixel semantic segmentation and ground-truth object poses provided by a
commercial motion capturing system. Through extensive experiments with
model-level and dataset-level analysis, we demonstrate that DTTD can help
researchers develop future object tracking methods and analyze new challenges.
The dataset, data generation, annotation, and model evaluation pipeline are
made publicly available as open source code at:
https://github.com/augcog/DTTDv1.
- Abstract（参考訳）: デジタルツイン(Digital twin)は、実際のオブジェクトをデジタルオブジェクトで拡張する問題である。
拡張現実(AR)、自律性、UI/UXにおいて、幅広いアプリケーションを支えることができる。
優れたデジタルツインシステムにおける重要なコンポーネントは、リアルタイムで正確な3Dオブジェクト追跡である。
既存のほとんどの研究は、ロボットグルーピングのレンズを通しての3Dオブジェクトのトラッキングを解決し、古い世代の深度センサーを採用し、ARのような他のデジタルツインアプリケーションには適用されないパフォーマンスメトリクスを測定している。
本研究では,この問題をさらに研究し,より長い範囲とmm位置推定精度に向けて潜在的なソリューションを拡張するために,新しいrgb-dデータセットであるdigital twin tracking dataset(dttd)を作成した。
入力源から点雲ノイズを低減するため、最新のMicrosoft Azure Kinectを最先端の飛行時間(ToF)カメラとして選択する。
総計103シーンは、多彩なテクスチャを持つ共通オフザシェルフオブジェクト103シーンを記録し、各フレームに画素ごとのセマンティックセグメンテーションと、商用モーションキャプチャーシステムによって提供される接地トラスポーズを付加する。
モデルレベルおよびデータセットレベルの分析による広範な実験を通じて、DTTDが将来のオブジェクト追跡手法の開発と新たな課題の分析に役立つことを実証する。
データセット、データ生成、アノテーション、モデル評価パイプラインはオープンソースコードとして、https://github.com/augcog/dttdv1で公開されている。
関連論文リスト
- Implicit-Zoo: A Large-Scale Dataset of Neural Implicit Functions for 2D Images and 3D Scenes [65.22070581594426]
Implicit-Zoo"は、この分野の研究と開発を容易にするために、数千のGPUトレーニング日を必要とする大規模なデータセットである。
1)トランスモデルのトークン位置を学習すること、(2)NeRFモデルに関して直接3Dカメラが2D画像のポーズを取ること、である。
これにより、画像分類、セマンティックセグメンテーション、および3次元ポーズ回帰の3つのタスクすべてのパフォーマンスが向上し、研究のための新たな道が開けることになる。
論文 参考訳（メタデータ） (2024-06-25T10:20:44Z) - Multi-Modal Dataset Acquisition for Photometrically Challenging Object [56.30027922063559]
本稿では,3次元視覚タスクにおける現在のデータセットの限界について,精度,サイズ,リアリズム,および光度に挑戦する対象に対する適切な画像モダリティの観点から検討する。
既存の3次元認識と6次元オブジェクトポーズデータセットを強化する新しいアノテーションと取得パイプラインを提案する。
論文 参考訳（メタデータ） (2023-08-21T10:38:32Z) - 3D Data Augmentation for Driving Scenes on Camera [50.41413053812315]
本稿では,Drive-3DAugと呼ばれる3次元データ拡張手法を提案する。
まずNeural Radiance Field(NeRF)を用いて,背景および前景の3次元モデルの再構成を行う。
そして、予め定義された背景の有効領域に適応した位置と向きの3Dオブジェクトを配置することにより、拡張駆動シーンを得ることができる。
論文 参考訳（メタデータ） (2023-03-18T05:51:05Z) - PC-DAN: Point Cloud based Deep Affinity Network for 3D Multi-Object
Tracking (Accepted as an extended abstract in JRDB-ACT Workshop at CVPR21) [68.12101204123422]
点雲は3次元座標における空間データの密集したコンパイルである。
我々は3次元多目的追跡(MOT)のためのPointNetベースのアプローチを提案する。
論文 参考訳（メタデータ） (2021-06-03T05:36:39Z) - Learnable Online Graph Representations for 3D Multi-Object Tracking [156.58876381318402]
3D MOT問題に対する統一型学習型アプローチを提案します。
我々は、完全にトレーニング可能なデータアソシエーションにNeural Message Passing Networkを使用します。
AMOTAの65.6%の最先端性能と58%のIDスウィッチを達成して、公開可能なnuScenesデータセットに対する提案手法のメリットを示す。
論文 参考訳（メタデータ） (2021-04-23T17:59:28Z) - Monocular Quasi-Dense 3D Object Tracking [99.51683944057191]
周囲の物体の将来の位置を予測し、自律運転などの多くのアプリケーションで観測者の行動を計画するためには、信頼性と正確な3D追跡フレームワークが不可欠である。
移動プラットフォーム上で撮影された2次元画像のシーケンスから,移動物体を時間とともに効果的に関連付け,その全3次元バウンディングボックス情報を推定するフレームワークを提案する。
論文 参考訳（メタデータ） (2021-03-12T15:30:02Z) - Relation3DMOT: Exploiting Deep Affinity for 3D Multi-Object Tracking
from View Aggregation [8.854112907350624]
3Dマルチオブジェクトトラッキングは、自律ナビゲーションにおいて重要な役割を果たす。
多くのアプローチでは、トラッキングのための2次元RGBシーケンス内のオブジェクトを検出するが、これは3次元空間内のオブジェクトをローカライズする際の信頼性の欠如である。
本稿では,隣接フレーム内の各オブジェクト間の相関をよりよく活用するために,RelationConvという新しい畳み込み演算を提案する。
論文 参考訳（メタデータ） (2020-11-25T16:14:40Z) - 1st Place Solution for Waymo Open Dataset Challenge -- 3D Detection and
Domain Adaptation [7.807118356899879]
本研究では,一段式,アンカーフリー,NMSフリーの3Dポイント・クラウド・オブジェクト検出器AFDetを提案する。
AFDetは私たちの勝利ソリューションの強力なベースラインとして機能します。
我々は、より強力なネットワークを設計し、デンシフィケーションとポイントペインティングを用いてポイントクラウドデータを強化する。
論文 参考訳（メタデータ） (2020-06-28T04:49:39Z) - JRMOT: A Real-Time 3D Multi-Object Tracker and a New Large-Scale Dataset [34.609125601292]
我々は,RGB画像と3Dポイントクラウドの情報を統合し,リアルタイムトラッキング性能を実現する新しい3DMOTシステムJRMOTを提案する。
我々の研究の一環として、新しい大規模2D+3DデータセットとベンチマークであるJRDBデータセットをリリースしました。
提案する3D MOTシステムは,一般的な2DトラッキングKITTIベンチマークにおいて,競合する手法に対する最先端性能を示す。
論文 参考訳（メタデータ） (2020-02-19T19:21:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。