論文の概要: FreeMan: Towards Benchmarking 3D Human Pose Estimation under Real-World Conditions
- arxiv url: http://arxiv.org/abs/2309.05073v4
- Date: Wed, 3 Apr 2024 13:07:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-04 23:17:50.890712
- Title: FreeMan: Towards Benchmarking 3D Human Pose Estimation under Real-World Conditions
- Title（参考訳）: FreeMan: 実世界の条件下での3次元人文推定のベンチマークに向けて
- Authors: Jiong Wang, Fengyu Yang, Wenbo Gou, Bingliang Li, Danqi Yan, Ailing Zeng, Yijun Gao, Junle Wang, Yanqing Jing, Ruimao Zhang,
- Abstract要約: FreeManは、現実世界の条件下で収集された最初の大規模なマルチビューデータセットである。
8000のシーケンスから1100万フレームで構成され、異なる視点から見ることができます。
これらのシーケンスは、10の異なるシナリオにまたがって40の被験者をカバーし、それぞれ異なる照明条件を持つ。
- 参考スコア（独自算出の注目度）: 25.42369471193405
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Estimating the 3D structure of the human body from natural scenes is a fundamental aspect of visual perception. 3D human pose estimation is a vital step in advancing fields like AIGC and human-robot interaction, serving as a crucial technique for understanding and interacting with human actions in real-world settings. However, the current datasets, often collected under single laboratory conditions using complex motion capture equipment and unvarying backgrounds, are insufficient. The absence of datasets on variable conditions is stalling the progress of this crucial task. To facilitate the development of 3D pose estimation, we present FreeMan, the first large-scale, multi-view dataset collected under the real-world conditions. FreeMan was captured by synchronizing 8 smartphones across diverse scenarios. It comprises 11M frames from 8000 sequences, viewed from different perspectives. These sequences cover 40 subjects across 10 different scenarios, each with varying lighting conditions. We have also established an semi-automated pipeline containing error detection to reduce the workload of manual check and ensure precise annotation. We provide comprehensive evaluation baselines for a range of tasks, underlining the significant challenges posed by FreeMan. Further evaluations of standard indoor/outdoor human sensing datasets reveal that FreeMan offers robust representation transferability in real and complex scenes. Code and data are available at https://wangjiongw.github.io/freeman.
- Abstract（参考訳）: 自然界から人体の3次元構造を推定することは視覚知覚の基本的な側面である。
3Dの人間のポーズ推定は、AIGCや人間とロボットの相互作用のような分野を前進させるための重要なステップであり、現実世界の環境で人間のアクションを理解し、対話するための重要な技術として役立ちます。
しかし、複雑なモーションキャプチャー装置と未知の背景を用いて単一の実験条件下で収集される現在のデータセットは不十分である。
変動条件におけるデータセットの欠如は、この重要なタスクの進捗を停滞させています。
3次元ポーズ推定の開発を容易にするために,実世界の条件下で収集された最初の大規模マルチビューデータセットであるFreeManを提案する。
FreeManは、さまざまなシナリオで8つのスマートフォンを同期させることでキャプチャされた。
8000のシーケンスから1100万フレームで構成され、異なる視点から見ることができます。
これらのシーケンスは、10の異なるシナリオにまたがって40の被験者をカバーし、それぞれ異なる照明条件を持つ。
また,手動チェックの作業量を削減し,正確なアノテーションを確保するために,エラー検出を含む半自動パイプラインを構築した。
さまざまなタスクに対する総合的な評価基準を提供し、FreeManがもたらす重要な課題を概観する。
標準的な屋内/屋外の人間のセンシングデータセットのさらなる評価は、FreeManが実シーンと複雑なシーンで堅牢な表現転送性を提供することを示している。
コードとデータはhttps://wangjiongw.github.io/freeman.comで公開されている。
関連論文リスト
- HUNTER: Unsupervised Human-centric 3D Detection via Transferring Knowledge from Synthetic Instances to Real Scenes [21.2539366684941]
本研究では,人間中心のシナリオに対する教師なし3次元検出手法を提案する。
注目に値することに,本手法は現在の最先端技術と比較して優れた性能を示す。
論文 参考訳（メタデータ） (2024-03-05T08:37:05Z) - LiveHPS: LiDAR-based Scene-level Human Pose and Shape Estimation in Free
Environment [59.320414108383055]
シーンレベルの人間のポーズと形状推定のための単一LiDARに基づく新しいアプローチであるLiveHPSを提案する。
多様な人間のポーズを伴う様々なシナリオで収集される巨大な人間の動きデータセットFreeMotionを提案する。
論文 参考訳（メタデータ） (2024-02-27T03:08:44Z) - LiCamPose: Combining Multi-View LiDAR and RGB Cameras for Robust Single-frame 3D Human Pose Estimation [31.651300414497822]
LiCamPoseは、マルチビューRGBとスパースポイントクラウド情報を統合して、単一のフレームで堅牢な3Dポーズを推定するパイプラインである。
LiCamPoseは、2つの公開データセット、1つの合成データセット、1つの挑戦的な自己収集データセットを含む4つのデータセットで評価されている。
論文 参考訳（メタデータ） (2023-12-11T14:30:11Z) - Habitat Synthetic Scenes Dataset (HSSD-200): An Analysis of 3D Scene
Scale and Realism Tradeoffs for ObjectGoal Navigation [70.82403156865057]
本研究では,合成3次元シーン・データセット・スケールとリアリズムが,オブジェクトの探索とナビゲートを行う具体的エージェントの訓練作業に与える影響について検討する。
我々の実験によると、我々の小規模データセットで訓練されたエージェントは、はるかに大きなデータセットで訓練されたエージェントと一致するか、より優れています。
論文 参考訳（メタデータ） (2023-06-20T05:07:23Z) - JRDB-Pose: A Large-scale Dataset for Multi-Person Pose Estimation and
Tracking [6.789370732159177]
マルチパーソンポーズ推定と追跡のための大規模データセットであるJRDB-Poseを紹介する。
データセットには、屋内と屋外の混雑したチャレンジシーンが含まれています。
JRDB-Poseは、キーポイント単位のオクルージョンラベルと、シーン全体で一貫性のあるトラックIDを備えたヒューマンポーズアノテーションを提供する。
論文 参考訳（メタデータ） (2022-10-20T07:14:37Z) - Decanus to Legatus: Synthetic training for 2D-3D human pose lifting [26.108023246654646]
10個の手作り3Dポーズ(Decanus)に基づく3Dポーズ分布から無限個の合成人間のポーズ(Legatus)を生成するアルゴリズムを提案する。
この結果から,特定データセットの実際のデータを用いた手法に匹敵する3次元ポーズ推定性能を,ゼロショット設定で実現し,フレームワークの可能性を示した。
論文 参考訳（メタデータ） (2022-10-05T13:10:19Z) - Towards Multimodal Multitask Scene Understanding Models for Indoor
Mobile Agents [49.904531485843464]
本稿では,現実世界の屋内環境におけるラベル付きデータの不十分,あるいは不可能,といった主な課題について論じる。
MMISM (Multi-modality input Multi-task output Indoor Scene Understanding Model) について述べる。
MMISMは、RGB画像だけでなく、スパースライダーポイントを入力と3Dオブジェクト検出、深さ完了、人間のポーズ推定、セマンティックセグメンテーションを出力タスクとみなしている。
MMISMはシングルタスクモデルよりも同等かそれ以上の性能を示す。
論文 参考訳（メタデータ） (2022-09-27T04:49:19Z) - BEHAVE: Dataset and Method for Tracking Human Object Interactions [105.77368488612704]
マルチビューのRGBDフレームとそれに対応する3D SMPLとオブジェクトをアノテートしたアノテートコンタクトに適合させる。
このデータを用いて、自然環境における人間と物体を、容易に使用可能なマルチカメラで共同で追跡できるモデルを学ぶ。
論文 参考訳（メタデータ） (2022-04-14T13:21:19Z) - HSPACE: Synthetic Parametric Humans Animated in Complex Environments [67.8628917474705]
我々は、複雑な屋内および屋外環境に置かれたアニメーション人間による大規模な写真リアルデータセット、Human-SPACEを構築した。
年齢、性別、比率、民族性の異なる数百の個人と数百の動きとシーンを組み合わせて、100万フレームを超える最初のデータセットを生成します。
アセットは大規模に自動生成され、既存のリアルタイムレンダリングやゲームエンジンと互換性がある。
論文 参考訳（メタデータ） (2021-12-23T22:27:55Z) - SelfPose: 3D Egocentric Pose Estimation from a Headset Mounted Camera [97.0162841635425]
頭部装着型VR装置の縁に設置した下向きの魚眼カメラから撮影した単眼画像から,エゴセントリックな3Dボディポーズ推定法を提案する。
この特異な視点は、厳密な自己閉塞と視点歪みを伴う、独特の視覚的な外観のイメージに繋がる。
本稿では,2次元予測の不確実性を考慮した新しいマルチブランチデコーダを用いたエンコーダデコーダアーキテクチャを提案する。
論文 参考訳（メタデータ） (2020-11-02T16:18:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。