論文の概要: Domain Adaptive 3D Pose Augmentation for In-the-wild Human Mesh Recovery
- arxiv url: http://arxiv.org/abs/2206.10457v1
- Date: Tue, 21 Jun 2022 15:02:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-22 17:42:11.300882
- Title: Domain Adaptive 3D Pose Augmentation for In-the-wild Human Mesh Recovery
- Title(参考訳): 領域適応型3Dモデルによる人間のメッシュ回復
- Authors: Zhenzhen Weng, Kuan-Chieh Wang, Angjoo Kanazawa, Serena Yeung
- Abstract要約: Domain Adaptive 3D Pose Augmentation (DAPA)は、Wildのシナリオにおけるモデルの一般化能力を向上するデータ拡張手法である。
DAPAによる微調整が3DPWとAGORAのベンチマークの結果を効果的に改善できることを定量的に示す。
- 参考スコア(独自算出の注目度): 32.73513554145019
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The ability to perceive 3D human bodies from a single image has a multitude
of applications ranging from entertainment and robotics to neuroscience and
healthcare. A fundamental challenge in human mesh recovery is in collecting the
ground truth 3D mesh targets required for training, which requires burdensome
motion capturing systems and is often limited to indoor laboratories. As a
result, while progress is made on benchmark datasets collected in these
restrictive settings, models fail to generalize to real-world ``in-the-wild''
scenarios due to distribution shifts. We propose Domain Adaptive 3D Pose
Augmentation (DAPA), a data augmentation method that enhances the model's
generalization ability in in-the-wild scenarios. DAPA combines the strength of
methods based on synthetic datasets by getting direct supervision from the
synthesized meshes, and domain adaptation methods by using ground truth 2D
keypoints from the target dataset. We show quantitatively that finetuning with
DAPA effectively improves results on benchmarks 3DPW and AGORA. We further
demonstrate the utility of DAPA on a challenging dataset curated from videos of
real-world parent-child interaction.
- Abstract(参考訳): 一つの画像から3d人体を知覚する能力は、エンターテイメントやロボティクスから神経科学や医療に至るまで、さまざまな応用がある。
人間のメッシュ回復における根本的な課題は、トレーニングに必要な3Dメッシュターゲットを収集することである。
結果として、これらの制限された設定で収集されたベンチマークデータセットで進歩する一方で、モデルは分散シフトのために実世界の ``in-the-wild''' シナリオに一般化できない。
本研究では,データ拡張手法であるDomain Adaptive 3D Pose Augmentation (DAPA)を提案する。
DAPAは、合成メッシュから直接監視することで、合成データセットに基づく手法の強度と、ターゲットデータセットから真理2Dキーポイントを使用してドメイン適応手法を組み合わせる。
DAPAによる微調整は,ベンチマーク3DPWとAGORAの結果を効果的に改善することを示す。
さらに、実世界の親子間相互作用のビデオから算出した、挑戦的なデータセット上でのDAPAの有用性を実証する。
関連論文リスト
- CMDA: Cross-Modal and Domain Adversarial Adaptation for LiDAR-Based 3D
Object Detection [14.063365469339812]
LiDARベースの3Dオブジェクト検出法は、ソース(またはトレーニング)データ配布の外部のターゲットドメインにうまく一般化しないことが多い。
画像のモダリティから視覚的セマンティックキューを活用する,CMDA (unsupervised domain adaptation) と呼ばれる新しい手法を提案する。
また、自己学習に基づく学習戦略を導入し、モデルが逆向きに訓練され、ドメイン不変の機能を生成する。
論文 参考訳(メタデータ) (2024-03-06T14:12:38Z) - Source-Free and Image-Only Unsupervised Domain Adaptation for Category
Level Object Pose Estimation [18.011044932979143]
3DUDAは、3Dや深度データを使わずに、ニュアンスドライデンのターゲットドメインに適応できる手法である。
対象のカテゴリを単純な立方体メッシュとして表現し、ニューラル特徴活性化の生成モデルを利用する。
本手法は,グローバルな擬似ラベル付きデータセットの微調整を軽度な仮定でシミュレートする。
論文 参考訳(メタデータ) (2024-01-19T17:48:05Z) - Robust Category-Level 3D Pose Estimation from Synthetic Data [17.247607850702558]
CADモデルから生成されたオブジェクトポーズ推定のための新しい合成データセットであるSyntheticP3Dを紹介する。
逆レンダリングによるポーズ推定を行うニューラルネットワークモデルをトレーニングするための新しいアプローチ(CC3D)を提案する。
論文 参考訳(メタデータ) (2023-05-25T14:56:03Z) - Progressive Multi-view Human Mesh Recovery with Self-Supervision [68.60019434498703]
既存のソリューションは通常、新しい設定への一般化性能の低下に悩まされる。
マルチビューヒューマンメッシュリカバリのためのシミュレーションに基づく新しいトレーニングパイプラインを提案する。
論文 参考訳(メタデータ) (2022-12-10T06:28:29Z) - Unsupervised Domain Adaptation for Monocular 3D Object Detection via
Self-Training [57.25828870799331]
我々は、Mono3D上での教師なしドメイン適応のための新しい自己学習フレームワークSTMono3Dを提案する。
対象ドメイン上で適応的な擬似ラベルを生成するための教師学生パラダイムを開発する。
STMono3Dは、評価されたすべてのデータセットで顕著なパフォーマンスを達成し、KITTI 3Dオブジェクト検出データセットの完全な教師付き結果を超えています。
論文 参考訳(メタデータ) (2022-04-25T12:23:07Z) - Uncertainty-Aware Adaptation for Self-Supervised 3D Human Pose
Estimation [70.32536356351706]
本稿では、2つの出力ヘッドを2つの異なる構成にサブスクライブする共通のディープネットワークバックボーンを構成するMPP-Netを紹介する。
ポーズと関節のレベルで予測の不確実性を定量化するための適切な尺度を導出する。
本稿では,提案手法の総合評価を行い,ベンチマークデータセット上での最先端性能を示す。
論文 参考訳(メタデータ) (2022-03-29T07:14:58Z) - THUNDR: Transformer-based 3D HUmaN Reconstruction with Markers [67.8628917474705]
THUNDRは、人の3Dポーズと形状を再構築するトランスフォーマーベースのディープニューラルネットワーク手法である。
完全教師付きモデルと自己教師型モデルの両方に対して,Human3.6Mと3DPWの最先端結果を示す。
野生で収集された難易度の高い人間のポーズに対して, 非常に堅固な3次元再構成性能を観察した。
論文 参考訳(メタデータ) (2021-06-17T09:09:24Z) - Adapted Human Pose: Monocular 3D Human Pose Estimation with Zero Real 3D
Pose Data [14.719976311208502]
トレーニングとテストデータドメインのギャップは、しばしばモデルのパフォーマンスに悪影響を及ぼします。
本稿では、外見とポーズ空間の両方における適応問題に対処する適応的ヒューマンポーズ(AHuP)アプローチを提案する。
AHuPは、実際のアプリケーションでは、ターゲットドメインからのデータはアクセスできないか、限られた情報しか取得できないという現実的な前提に基づいて構築されている。
論文 参考訳(メタデータ) (2021-05-23T01:20:40Z) - Reinforced Axial Refinement Network for Monocular 3D Object Detection [160.34246529816085]
モノクロ3次元物体検出は、2次元入力画像から物体の位置と特性を抽出することを目的としている。
従来のアプローチでは、空間から3D境界ボックスをサンプリングし、対象オブジェクトと各オブジェクトの関係を推定するが、有効サンプルの確率は3D空間で比較的小さい。
我々は,まず最初の予測から始めて,各ステップで1つの3dパラメータだけを変えて,基礎的真理に向けて徐々に洗練することを提案する。
これは、いくつかのステップの後に報酬を得るポリシーを設計する必要があるため、最適化するために強化学習を採用します。
論文 参考訳(メタデータ) (2020-08-31T17:10:48Z) - Cascaded deep monocular 3D human pose estimation with evolutionary
training data [76.3478675752847]
深層表現学習は単眼の3次元ポーズ推定において顕著な精度を達成した。
本稿では,大量のトレーニングデータに対してスケーラブルな新しいデータ拡張手法を提案する。
本手法は,先行知識に触発された階層的人体表現と合成に基づいて,未知の3次元人体骨格を合成する。
論文 参考訳(メタデータ) (2020-06-14T03:09:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。