論文の概要: Nymeria: A Massive Collection of Multimodal Egocentric Daily Motion in the Wild

• arxiv url: http://arxiv.org/abs/2406.09905v1
• Date: Fri, 14 Jun 2024 10:23:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-17 14:14:45.450616
• Title: Nymeria: A Massive Collection of Multimodal Egocentric Daily Motion in the Wild
• Title（参考訳）: Nymeria: 野生におけるマルチモーダル・エゴセントリック・デイリー・ムーブメントの大量コレクション
• Authors: Lingni Ma, Yuting Ye, Fangzhou Hong, Vladimir Guzov, Yifeng Jiang, Rowan Postyeni, Luis Pesqueira, Alexander Gamino, Vijay Baiyya, Hyo Jin Kim, Kevin Bailey, David Soriano Fosas, C. Karen Liu, Ziwei Liu, Jakob Engel, Renzo De Nardi, Richard Newcombe,
• Abstract要約: ニメリアデータセット(Nymeria dataset)は、複数のマルチモーダル・エゴセントリックなデバイスで野生で収集された、大規模で多様な、多彩な注釈付けされた人間のモーションデータセットである。 合計で399Kmを走行し、50か所にわたる264人の参加者から毎日300時間の録音を1200件記録している。 動作言語記述は、語彙サイズ6545の8.64万語で310.5K文を提供する。
• 参考スコア（独自算出の注目度）: 66.34146236875822
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We introduce Nymeria - a large-scale, diverse, richly annotated human motion dataset collected in the wild with multiple multimodal egocentric devices. The dataset comes with a) full-body 3D motion ground truth; b) egocentric multimodal recordings from Project Aria devices with RGB, grayscale, eye-tracking cameras, IMUs, magnetometer, barometer, and microphones; and c) an additional "observer" device providing a third-person viewpoint. We compute world-aligned 6DoF transformations for all sensors, across devices and capture sessions. The dataset also provides 3D scene point clouds and calibrated gaze estimation. We derive a protocol to annotate hierarchical language descriptions of in-context human motion, from fine-grain pose narrations, to atomic actions and activity summarization. To the best of our knowledge, the Nymeria dataset is the world largest in-the-wild collection of human motion with natural and diverse activities; first of its kind to provide synchronized and localized multi-device multimodal egocentric data; and the world largest dataset with motion-language descriptions. It contains 1200 recordings of 300 hours of daily activities from 264 participants across 50 locations, travelling a total of 399Km. The motion-language descriptions provide 310.5K sentences in 8.64M words from a vocabulary size of 6545. To demonstrate the potential of the dataset we define key research tasks for egocentric body tracking, motion synthesis, and action recognition and evaluate several state-of-the-art baseline algorithms. Data and code will be open-sourced.
• Abstract（参考訳）: 我々はNymeriaを紹介した。Nymeriaは、複数のマルチモーダル・エゴセントリックなデバイスで野生で収集された、大規模で多様な、リッチに注釈付けされた人間のモーションデータセットである。 データセットが付属します a) フルボディ3次元運動基底真理 ロ プロジェクト・アリアのRGB、グレースケール、アイトラッキングカメラ、IMU、磁気計、バロメーター及びマイクロホンを備えた自家中心型マルチモーダル記録 c) 第三者の視点を提供する追加の「サーバ」装置 すべてのセンサ、デバイス、キャプチャセッションに対して、ワールドアラインな6DoF変換を計算します。 データセットはまた、3Dシーンポイントの雲とキャリブレーションされた視線推定も提供する。 我々は、微粒なポーズナレーションから原子行動やアクティビティの要約に至るまで、文脈内人間の動作の階層的な記述を注釈するプロトコルを導出する。 我々の知る限り、Nymeriaデータセットは、自然で多様な活動を伴う、世界最大規模の人間の動きの収集であり、第一に、同期化され、ローカライズされたマルチデバイス・マルチモーダル・エゴセントリックなデータ、そしてモーション言語記述を備えた世界最大なデータセットを提供する。 合計で399Kmを走行し、50か所にわたる264人の参加者から毎日300時間の録音を1200件記録している。 動作言語記述は、語彙サイズ6545の8.64万語で310.5K文を提供する。 データセットの可能性を実証するために、エゴセントリックな身体追跡、運動合成、行動認識のための重要な研究タスクを定義し、いくつかの最先端のベースラインアルゴリズムを評価する。 データとコードはオープンソースになる。

関連論文リスト

• MultiPLY: A Multisensory Object-Centric Embodied Large Language Model in 3D World [55.878173953175356]
  マルチ感覚を具現化した大規模言語モデルであるMultiPLYを提案する。 まず,500kデータからなる大規模マルチセンサインタラクションデータセットであるMultisensory Universeを収集する。 我々は,MultiPLYが多種多様な実施タスクを通じて,ベースラインを大きなマージンで上回ることを示す。
  論文  参考訳（メタデータ） (2024-01-16T18:59:45Z)
• Aria-NeRF: Multimodal Egocentric View Synthesis [17.0554791846124]
  ニューラルラジアンス場(NeRFs)にインスパイアされた可変体積線トレーシングに基づく、エゴセントリックなデータから訓練されたリッチでマルチモーダルなシーンモデルの開発における研究の加速を目指す。 このデータセットは、RGB画像、アイトラッキングカメラの映像、マイクからの音声記録、気圧計による気圧測定、GPSによる位置座標、デュアル周波数IMUデータセット(1kHzと800Hz)の情報を含む、総合的なセンサデータの収集を提供する。 このデータセットで捉えた多様なデータモダリティと現実世界のコンテキストは、人間の行動に対する理解を深め、より没入的でインテリジェントな体験を可能にするための堅牢な基盤となる。
  論文  参考訳（メタデータ） (2023-11-11T01:56:35Z)
• DNA-Rendering: A Diverse Neural Actor Repository for High-Fidelity Human-centric Rendering [126.00165445599764]
  ニューラルアクターレンダリングのための人間のパフォーマンスデータの大規模かつ高忠実なリポジトリであるDNAレンダリングを提案する。 我々のデータセットには、1500人以上の被験者、5000のモーションシーケンス、67.5Mのフレームのデータボリュームが含まれています。 我々は,最大解像度4096 x 3000の60個の同期カメラと15fpsの速度,ステルカメラキャリブレーションステップを含む,データをキャプチャするプロフェッショナルなマルチビューシステムを構築した。
  論文  参考訳（メタデータ） (2023-07-19T17:58:03Z)
• CIRCLE: Capture In Rich Contextual Environments [69.97976304918149]
  そこで我々は,アクターが仮想世界において知覚し,操作する新たな動き獲得システムを提案する。 9つのシーンにわたる5人の被験者から10時間のフルボディ到達動作を含むデータセットであるCIRCLEを提示する。 このデータセットを用いて、シーン情報に基づいて人間の動きを生成するモデルを訓練する。
  論文  参考訳（メタデータ） (2023-03-31T09:18:12Z)
• FLAG3D: A 3D Fitness Activity Dataset with Language Instruction [89.60371681477791]
  FLAG3Dは,60カテゴリの180Kシーケンスを含む言語命令付き大規模3Dフィットネスアクティビティデータセットである。 FLAG3Dは、クロスドメインなヒューマンアクション認識、動的ヒューマンメッシュリカバリ、言語誘導型ヒューマンアクション生成など、さまざまな課題に対して大きな研究価値を提供する。
  論文  参考訳（メタデータ） (2022-12-09T02:33:33Z)
• The IKEA ASM Dataset: Understanding People Assembling Furniture through Actions, Objects and Pose [108.21037046507483]
  IKEA ASMは300万フレーム、マルチビュー、家具組み立てビデオデータセットで、深さ、原子活動、オブジェクトセグメンテーション、人間のポーズを含む。 我々は,この課題のあるデータセット上で,映像行動認識,オブジェクトセグメンテーション,人間のポーズ推定タスクの顕著な手法をベンチマークする。 このデータセットは、マルチモーダルデータとマルチビューデータを統合してこれらのタスクをよりよく実行する、全体論的手法の開発を可能にする。
  論文  参考訳（メタデータ） (2020-07-01T11:34:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。