論文の概要: Aria Digital Twin: A New Benchmark Dataset for Egocentric 3D Machine Perception

• arxiv url: http://arxiv.org/abs/2306.06362v1
• Date: Sat, 10 Jun 2023 06:46:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-13 19:22:32.748417
• Title: Aria Digital Twin: A New Benchmark Dataset for Egocentric 3D Machine Perception
• Title（参考訳）: Aria Digital Twin:エゴセントリックな3Dマシン知覚のためのベンチマークデータセット
• Authors: Xiaqing Pan, Nicholas Charron, Yongqian Yang, Scott Peters, Thomas Whelan, Chen Kong, Omkar Parkhi, Richard Newcombe, Carl (Yuheng) Ren
• Abstract要約: Aria Digital Twin (ADT) は、Aria メガネを用いてキャプチャしたエゴセントリックなデータセットである。 ADTには、アリアの着用者が屋内の2つのシーンで行う200の実際の活動が含まれている。
• 参考スコア（独自算出の注目度）: 5.952224408665015
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce the Aria Digital Twin (ADT) - an egocentric dataset captured using Aria glasses with extensive object, environment, and human level ground truth. This ADT release contains 200 sequences of real-world activities conducted by Aria wearers in two real indoor scenes with 398 object instances (324 stationary and 74 dynamic). Each sequence consists of: a) raw data of two monochrome camera streams, one RGB camera stream, two IMU streams; b) complete sensor calibration; c) ground truth data including continuous 6-degree-of-freedom (6DoF) poses of the Aria devices, object 6DoF poses, 3D eye gaze vectors, 3D human poses, 2D image segmentations, image depth maps; and d) photo-realistic synthetic renderings. To the best of our knowledge, there is no existing egocentric dataset with a level of accuracy, photo-realism and comprehensiveness comparable to ADT. By contributing ADT to the research community, our mission is to set a new standard for evaluation in the egocentric machine perception domain, which includes very challenging research problems such as 3D object detection and tracking, scene reconstruction and understanding, sim-to-real learning, human pose prediction - while also inspiring new machine perception tasks for augmented reality (AR) applications. To kick start exploration of the ADT research use cases, we evaluated several existing state-of-the-art methods for object detection, segmentation and image translation tasks that demonstrate the usefulness of ADT as a benchmarking dataset.
• Abstract（参考訳）: aria digital twin (adt) - 広範囲のオブジェクト、環境、人間レベルの根拠を備えたaraメガネでキャプチャされた、エゴセントリックなデータセットである。 このADTリリースは、Aria装着者が398のオブジェクトインスタンスを持つ2つの屋内シーンで実施する200の実世界のアクティビティを含む(324の定常および74の動的)。 各シーケンスは以下の通りである。 a) モノクロカメラストリーム2つ,RGBカメラストリーム1つ,IMUストリーム2つの生データ b) センサの完全な校正 c) aria装置の連続6自由度(6dof)ポーズ、対象6dofポーズ、3d視線ベクトル、3d人間のポーズ、2d画像分割、画像深度マップを含む地上真実データ d) フォトリアリスティックな合成レンダリング。 私たちの知る限りでは、ADTに匹敵する正確性、フォトリアリズム、包括性を備えた既存のエゴセントリックデータセットはありません。 これは3dオブジェクトの検出と追跡、シーンの再構築と理解、sim-to-real learning、人間のポーズ予測といった非常に困難な研究課題を含むと同時に、拡張現実(ar)アプリケーションのための新しい機械知覚タスクにも刺激を与えます。 ADT研究のユースケースの探索を開始するために,ADTのベンチマークデータセットとしての有用性を実証するオブジェクト検出,セグメンテーション,画像翻訳タスクの最先端手法をいくつか評価した。

関連論文リスト

• LWIRPOSE: A novel LWIR Thermal Image Dataset and Benchmark [9.679771580702258]
  このデータセットは、2400以上の高品質なLWIR(熱)画像で構成されている。 それぞれの画像には2Dの人間のポーズが刻まれており、研究者や実践者にとって貴重なリソースとなっている。 我々は、その可能性を示すために、データセットの最先端ポーズ推定手法をベンチマークする。
  論文  参考訳（メタデータ） (2024-04-16T01:49:35Z)
• VFMM3D: Releasing the Potential of Image by Vision Foundation Model for Monocular 3D Object Detection [80.62052650370416]
  モノクル3Dオブジェクト検出は、自律運転やロボティクスなど、さまざまなアプリケーションにおいて重要な役割を担っている。 本稿では,VFMM3Dを提案する。VFMM3Dは,ビジョンファウンデーションモデル(VFM)の機能を利用して,単一ビュー画像を正確にLiDARポイントクラウド表現に変換する,革新的なフレームワークである。
  論文  参考訳（メタデータ） (2024-04-15T03:12:12Z)
• Multi-Modal Dataset Acquisition for Photometrically Challenging Object [56.30027922063559]
  本稿では,3次元視覚タスクにおける現在のデータセットの限界について,精度,サイズ,リアリズム,および光度に挑戦する対象に対する適切な画像モダリティの観点から検討する。 既存の3次元認識と6次元オブジェクトポーズデータセットを強化する新しいアノテーションと取得パイプラインを提案する。
  論文  参考訳（メタデータ） (2023-08-21T10:38:32Z)
• 3D Data Augmentation for Driving Scenes on Camera [50.41413053812315]
  本稿では,Drive-3DAugと呼ばれる3次元データ拡張手法を提案する。 まずNeural Radiance Field(NeRF)を用いて,背景および前景の3次元モデルの再構成を行う。 そして、予め定義された背景の有効領域に適応した位置と向きの3Dオブジェクトを配置することにより、拡張駆動シーンを得ることができる。
  論文  参考訳（メタデータ） (2023-03-18T05:51:05Z)
• OmniObject3D: Large-Vocabulary 3D Object Dataset for Realistic Perception, Reconstruction and Generation [107.71752592196138]
  OmniObject3Dを提案する。OmniObject3Dは,大規模で高品質な3Dオブジェクトを持つ大語彙の3Dオブジェクトデータセットである。 190のカテゴリーで6,000のスキャン対象からなり、一般的な2Dデータセットと共通クラスを共有する。 それぞれの3Dオブジェクトは、2Dと3Dの両方のセンサーでキャプチャされ、テクスチャメッシュ、ポイントクラウド、マルチビューレンダリング画像、複数の実写ビデオを提供する。
  論文  参考訳（メタデータ） (2023-01-18T18:14:18Z)
• Aerial Monocular 3D Object Detection [46.26215100532241]
  本研究は,2次元画像空間と3次元物理空間の両方において,空中単分子物体検出を実現するために,DVDETというデュアルビュー検出システムを提案する。 この課題に対処するため,AirSIMとCARLAの共同シミュレーションによって生成されたAM3D-Simという新しい大規模シミュレーションデータセットと,DJI Matrice 300 RTKによって収集されたAM3D-Realという新しい実世界の空中データセットを提案する。
  論文  参考訳（メタデータ） (2022-08-08T08:32:56Z)
• A Multi-purpose Real Haze Benchmark with Quantifiable Haze Levels and Ground Truth [61.90504318229845]
  本稿では,ハズフリー画像とその場でのハズ密度測定を併用した,最初の実画像ベンチマークデータセットを提案する。 このデータセットはコントロールされた環境で生成され、プロの煙発生装置がシーン全体を覆っている。 このデータセットのサブセットは、CVPR UG2 2022 チャレンジの Haze Track における Object Detection に使用されている。
  論文  参考訳（メタデータ） (2022-06-13T19:14:06Z)
• 6-DoF Pose Estimation of Household Objects for Robotic Manipulation: An Accessible Dataset and Benchmark [17.493403705281008]
  本稿では,ロボット操作研究を中心に,既知の物体の6-DoFポーズ推定のための新しいデータセットを提案する。 我々は、おもちゃの食料品の3Dスキャンされたテクスチャモデルと、難解で散らかったシーンにおけるオブジェクトのRGBD画像を提供する。 半自動RGBD-to-modelテクスチャ対応を用いて、画像は数ミリ以内の精度で実証された地上の真実のポーズで注釈付けされる。 また,ADD-Hと呼ばれる新しいポーズ評価尺度を提案し,対象形状の対称性に頑健なハンガリー代入アルゴリズムについて,その明示的な列挙を必要とせず提案する。
  論文  参考訳（メタデータ） (2022-03-11T01:19:04Z)
• Ground material classification and for UAV-based photogrammetric 3D data A 2D-3D Hybrid Approach [1.3359609092684614]
  近年,物理環境を表す3次元仮想データを作成するために,多くの領域でフォトグラム法が広く用いられている。 これらの最先端技術は、迅速な3D戦場再建、仮想訓練、シミュレーションを目的として、アメリカ陸軍と海軍の注意を引き付けている。
  論文  参考訳（メタデータ） (2021-09-24T22:29:26Z)
• EAGLE: Large-scale Vehicle Detection Dataset in Real-World Scenarios using Aerial Imagery [3.8902657229395894]
  航空画像における物体方向情報を用いた多種多様な車両検出のための大規模データセットを提案する。 様々なカメラセンサー、解像度、飛行高度、天候、照明、ヘイズ、シャドウ、時間、都市、国、オクルージョン、カメラアングルを備えた、さまざまな現実世界の状況からなる高解像度の空中画像が特徴である。 215,986のインスタンスに4つのポイントと向きで定義された向き付きバウンディングボックスがアノテートされており、このタスクでこれまでで最大のデータセットとなっている。 また、ヘイズやシャドウ除去の研究や、超高解像度やインペイントの応用も支援している。
  論文  参考訳（メタデータ） (2020-07-12T23:00:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。