論文の概要: HuMMan: Multi-Modal 4D Human Dataset for Versatile Sensing and Modeling

• arxiv url: http://arxiv.org/abs/2204.13686v2
• Date: Sun, 16 Apr 2023 12:26:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-19 00:54:10.696052
• Title: HuMMan: Multi-Modal 4D Human Dataset for Versatile Sensing and Modeling
• Title（参考訳）: HuMMan:Versatile Sensing and Modelingのためのマルチモーダル4Dヒューマンデータセット
• Authors: Zhongang Cai, Daxuan Ren, Ailing Zeng, Zhengyu Lin, Tao Yu, Wenjia Wang, Xiangyu Fan, Yang Gao, Yifan Yu, Liang Pan, Fangzhou Hong, Mingyuan Zhang, Chen Change Loy, Lei Yang, Ziwei Liu
• Abstract要約: HuMManは、1000人の被験者、400kシーケンス、60Mフレームからなる大規模なマルチモーダル4Dデータセットである。 1)カラーイメージ、ポイントクラウド、キーポイント、SMPLパラメータ、テクスチャメッシュを含むマルチモーダルデータとアノテーション。
• 参考スコア（独自算出の注目度）: 83.57675975092496
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: 4D human sensing and modeling are fundamental tasks in vision and graphics with numerous applications. With the advances of new sensors and algorithms, there is an increasing demand for more versatile datasets. In this work, we contribute HuMMan, a large-scale multi-modal 4D human dataset with 1000 human subjects, 400k sequences and 60M frames. HuMMan has several appealing properties: 1) multi-modal data and annotations including color images, point clouds, keypoints, SMPL parameters, and textured meshes; 2) popular mobile device is included in the sensor suite; 3) a set of 500 actions, designed to cover fundamental movements; 4) multiple tasks such as action recognition, pose estimation, parametric human recovery, and textured mesh reconstruction are supported and evaluated. Extensive experiments on HuMMan voice the need for further study on challenges such as fine-grained action recognition, dynamic human mesh reconstruction, point cloud-based parametric human recovery, and cross-device domain gaps.
• Abstract（参考訳）: 4Dヒューマンセンシングとモデリングは多くのアプリケーションで視覚とグラフィックの基本的なタスクである。 新しいセンサーとアルゴリズムの進歩により、より汎用的なデータセットの需要が高まっている。 本研究では,1000人の被験者,400kシーケンス,60Mフレームからなる大規模マルチモーダル4DデータセットであるHummanを寄贈する。 HuMManにはいくつかの魅力的な特性がある。 1)色画像,点雲,キーポイント,SMPLパラメータ,テクスチャメッシュを含むマルチモーダルデータ及びアノテーション 2) 一般的なモバイルデバイスは,センサスイートに含まれている。 3) 基本運動をカバーするように設計された一連の500の行動 4) 行動認識, ポーズ推定, パラメトリック・ヒューマン・リカバリ, テクスチャメッシュ再構築などの複数のタスクをサポートし, 評価した。 hummanの広範な実験は、細粒度なアクション認識、ダイナミックなヒューマンメッシュ再構成、ポイントクラウドベースのパラメトリックなヒューマンリカバリ、クロスデバイスドメインギャップといった課題に関するさらなる研究の必要性を訴えている。

関連論文リスト

• Scaling Wearable Foundation Models [54.93979158708164]
  センサ基礎モデルのスケーリング特性を計算,データ,モデルサイズにわたって検討する。 最大4000万時間分の心拍数、心拍変動、心電図活動、加速度計、皮膚温度、および1分間のデータを用いて、私たちはLSMを作成します。 この結果から,LSMのスケーリング法則は,時間とセンサの両面において,計算や外挿などのタスクに対して確立されている。
  論文  参考訳（メタデータ） (2024-10-17T15:08:21Z)
• MVHumanNet: A Large-scale Dataset of Multi-view Daily Dressing Human Captures [44.172804112944625]
  MVHumanNetは4,500人の身元からなる多視点人間の行動系列からなるデータセットである。 我々のデータセットには、人のマスク、カメラパラメータ、2Dおよび3Dキーポイント、SMPL/SMPLXパラメータ、および対応するテキスト記述を含む、9000の日次服、6万のモーションシーケンス、645万の豊富なアノテーションが含まれています。
  論文  参考訳（メタデータ） (2023-12-05T18:50:12Z)
• DNA-Rendering: A Diverse Neural Actor Repository for High-Fidelity Human-centric Rendering [126.00165445599764]
  ニューラルアクターレンダリングのための人間のパフォーマンスデータの大規模かつ高忠実なリポジトリであるDNAレンダリングを提案する。 我々のデータセットには、1500人以上の被験者、5000のモーションシーケンス、67.5Mのフレームのデータボリュームが含まれています。 我々は,最大解像度4096 x 3000の60個の同期カメラと15fpsの速度,ステルカメラキャリブレーションステップを含む,データをキャプチャするプロフェッショナルなマルチビューシステムを構築した。
  論文  参考訳（メタデータ） (2023-07-19T17:58:03Z)
• MM-Fi: Multi-Modal Non-Intrusive 4D Human Dataset for Versatile Wireless Sensing [45.29593826502026]
  MM-Fiは、27の日常的またはリハビリテーション行動カテゴリを持つ最初のマルチモーダルな非侵襲的な4D人的データセットである。 MM-Fiは40人の被験者から5つのモードからなる320k以上の同期フレームで構成されている。
  論文  参考訳（メタデータ） (2023-05-12T05:18:52Z)
• SynBody: Synthetic Dataset with Layered Human Models for 3D Human Perception and Modeling [93.60731530276911]
  我々は3つの魅力的な特徴を持つ新しい合成データセット、SynBodyを紹介した。 データセットは、正確な3Dアノテーションを備えた1.2Mイメージで構成され、1万の人体モデル、1,187のアクション、さまざまな視点をカバーしている。
  論文  参考訳（メタデータ） (2023-03-30T13:30:12Z)
• HSPACE: Synthetic Parametric Humans Animated in Complex Environments [67.8628917474705]
  我々は、複雑な屋内および屋外環境に置かれたアニメーション人間による大規模な写真リアルデータセット、Human-SPACEを構築した。 年齢、性別、比率、民族性の異なる数百の個人と数百の動きとシーンを組み合わせて、100万フレームを超える最初のデータセットを生成します。 アセットは大規模に自動生成され、既存のリアルタイムレンダリングやゲームエンジンと互換性がある。
  論文  参考訳（メタデータ） (2021-12-23T22:27:55Z)
• HUMAN4D: A Human-Centric Multimodal Dataset for Motions and Immersive Media [16.711606354731533]
  HUMAN4Dは大規模かつマルチモーダルな4Dデータセットで、同時にキャプチャされたさまざまな人間の活動を含む。 我々はHUMAN4Dによる最新の人間のポーズ推定と3Dポーズ推定手法を用いてベンチマークを行う。
  論文  参考訳（メタデータ） (2021-10-14T09:03:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。