論文の概要: MEBOW: Monocular Estimation of Body Orientation In the Wild
- arxiv url: http://arxiv.org/abs/2011.13688v1
- Date: Fri, 27 Nov 2020 11:56:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-20 02:23:53.196784
- Title: MEBOW: Monocular Estimation of Body Orientation In the Wild
- Title(参考訳): MEBOW: 野生における体配向の単分子的推定
- Authors: Chenyan Wu, Yukun Chen, Jiajia Luo, Che-Chun Su, Anuja Dawane,
Bikramjot Hanzra, Zhuo Deng, Bilan Liu, James Wang, Cheng-Hao Kuo
- Abstract要約: COCO-MEBOWは、単一の線内画像から向きを推定するための新しい大規模データセットである。
COCOデータセットから55K画像内の約130K人の身体の向きのラベルが収集された。
本研究では,3次元ポーズラベル,2次元ポーズラベル,我々の身体指向ラベルを共同訓練に用いる3次元ポーズ推定のための新しい3次元ソースソリューションを提案する。
- 参考スコア(独自算出の注目度): 5.263895817502272
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Body orientation estimation provides crucial visual cues in many
applications, including robotics and autonomous driving. It is particularly
desirable when 3-D pose estimation is difficult to infer due to poor image
resolution, occlusion or indistinguishable body parts. We present COCO-MEBOW
(Monocular Estimation of Body Orientation in the Wild), a new large-scale
dataset for orientation estimation from a single in-the-wild image. The
body-orientation labels for around 130K human bodies within 55K images from the
COCO dataset have been collected using an efficient and high-precision
annotation pipeline. We also validated the benefits of the dataset. First, we
show that our dataset can substantially improve the performance and the
robustness of a human body orientation estimation model, the development of
which was previously limited by the scale and diversity of the available
training data. Additionally, we present a novel triple-source solution for 3-D
human pose estimation, where 3-D pose labels, 2-D pose labels, and our
body-orientation labels are all used in joint training. Our model significantly
outperforms state-of-the-art dual-source solutions for monocular 3-D human pose
estimation, where training only uses 3-D pose labels and 2-D pose labels. This
substantiates an important advantage of MEBOW for 3-D human pose estimation,
which is particularly appealing because the per-instance labeling cost for body
orientations is far less than that for 3-D poses. The work demonstrates high
potential of MEBOW in addressing real-world challenges involving understanding
human behaviors. Further information of this work is available at
https://chenyanwu.github.io/MEBOW/.
- Abstract(参考訳): 身体の向きの推定は、ロボット工学や自律運転を含む多くのアプリケーションにおいて重要な視覚的手がかりを提供する。
特に3次元ポーズ推定が画像分解能の低下、咬合、身体部位の識別が困難である場合には望ましい。
そこで本研究では,広視野画像からの方向推定のための大規模データセットであるCOCO-MEBOW(Monocular Estimation of Body Orientation in the Wild)を提案する。
COCOデータセットからの55K画像内の約130K人の身体の向き付けラベルは、効率的で高精度なアノテーションパイプラインを使用して収集されている。
また、データセットのメリットも検証しました。
まず,本データセットは人体方向推定モデルの性能と頑健性を大幅に向上させることができることを示す。
さらに,3次元ポーズラベル,2次元ポーズラベル,我々の身体指向ラベルを共同訓練に用いる3次元ポーズ推定のための新しい3次元ソースソリューションを提案する。
本モデルは,3次元ポーズラベルと2次元ポーズラベルのみを用いた単眼3次元ポーズ推定において,最先端のデュアルソースソリューションよりも優れる。
これは、3次元のポーズ推定においてmebowの重要な利点であり、特に3次元のポーズではボディオリエンテーションに対する個人ごとのラベリングコストがはるかに低いため魅力的である。
この研究は、人間の行動を理解することに関わる現実的な課題に対処する上で、MEBOWの高い可能性を示している。
この研究の詳細はhttps://chenyanwu.github.io/MEBOW/.comで確認できる。
関連論文リスト
- UniHPE: Towards Unified Human Pose Estimation via Contrastive Learning [29.037799937729687]
2次元と3次元の人間の姿勢推定(HPE)はコンピュータビジョンにおける2つの重要な知覚的タスクである。
提案するUniHPEは,3つのモードの全ての特徴を整列する,統一されたヒューマンポーズ推定パイプラインである。
提案手法は,コンピュータビジョンの分野を前進させ,様々な応用に寄与する大きな可能性を秘めている。
論文 参考訳(メタデータ) (2023-11-24T21:55:34Z) - Decanus to Legatus: Synthetic training for 2D-3D human pose lifting [26.108023246654646]
10個の手作り3Dポーズ(Decanus)に基づく3Dポーズ分布から無限個の合成人間のポーズ(Legatus)を生成するアルゴリズムを提案する。
この結果から,特定データセットの実際のデータを用いた手法に匹敵する3次元ポーズ推定性能を,ゼロショット設定で実現し,フレームワークの可能性を示した。
論文 参考訳(メタデータ) (2022-10-05T13:10:19Z) - An Empirical Study of Pseudo-Labeling for Image-based 3D Object
Detection [72.30883544352918]
異なる条件下で,擬似ラベルがベースラインモデルに対して効果的に監視できるかどうかを検討する。
ベルとホイッスルを使わずにKITTI-3Dテストセットの適度なレベルを20.23 APで達成し、ベースラインモデルを6.03 APで改善した。
この研究が、半教師付き環境下で画像に基づく3D検出コミュニティに洞察を与えてくれることを願っている。
論文 参考訳(メタデータ) (2022-08-15T12:17:46Z) - UnrealEgo: A New Dataset for Robust Egocentric 3D Human Motion Capture [70.59984501516084]
UnrealEgoは、エゴセントリックな3Dポーズ推定のための、新しい大規模博物学データセットである。
これは、2台の魚眼カメラを備えた高度な眼鏡のコンセプトに基づいており、制約のない環境で使用することができる。
本稿では,ステレオ入力のための2次元キーポイント推定モジュールを考案し,人間のポーズ推定を改善するための簡易かつ効果的なベンチマーク手法を提案する。
論文 参考訳(メタデータ) (2022-08-02T17:59:54Z) - PedRecNet: Multi-task deep neural network for full 3D human pose and
orientation estimation [0.0]
マルチタスクネットワークは、様々なディープニューラルネットワークベースの歩行者検出機能をサポートしている。
ネットワークアーキテクチャは比較的単純だが強力であり、さらなる研究や応用にも容易に適応できる。
論文 参考訳(メタデータ) (2022-04-25T10:47:01Z) - Kinematic-Structure-Preserved Representation for Unsupervised 3D Human
Pose Estimation [58.72192168935338]
大規模インスタディオデータセットの監視を用いて開発された人間のポーズ推定モデルの一般化可能性については疑問が残る。
本稿では,2対あるいは2対の弱い監督者によって抑制されない,新しいキネマティック構造保存型非教師付き3次元ポーズ推定フレームワークを提案する。
提案モデルでは,前方運動学,カメラ投影,空間マップ変換という3つの連続的な微分可能変換を用いる。
論文 参考訳(メタデータ) (2020-06-24T23:56:33Z) - Cascaded deep monocular 3D human pose estimation with evolutionary
training data [76.3478675752847]
深層表現学習は単眼の3次元ポーズ推定において顕著な精度を達成した。
本稿では,大量のトレーニングデータに対してスケーラブルな新しいデータ拡張手法を提案する。
本手法は,先行知識に触発された階層的人体表現と合成に基づいて,未知の3次元人体骨格を合成する。
論文 参考訳(メタデータ) (2020-06-14T03:09:52Z) - Self-Supervised 3D Human Pose Estimation via Part Guided Novel Image
Synthesis [72.34794624243281]
ラベルのないビデオフレームからバリエーションを分離する自己教師付き学習フレームワークを提案する。
3Dポーズと空間部分マップの表現ギャップを埋める、微分可能な形式化により、多様なカメラの動きを持つビデオで操作できる。
論文 参考訳(メタデータ) (2020-04-09T07:55:01Z) - Weakly-Supervised 3D Human Pose Learning via Multi-view Images in the
Wild [101.70320427145388]
本稿では、3Dアノテーションを必要としない弱教師付きアプローチを提案し、ラベルのないマルチビューデータから3Dポーズを推定する。
提案手法を2つの大規模データセット上で評価する。
論文 参考訳(メタデータ) (2020-03-17T08:47:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。