論文の概要: AGORA: Avatars in Geography Optimized for Regression Analysis
- arxiv url: http://arxiv.org/abs/2104.14643v1
- Date: Thu, 29 Apr 2021 20:33:25 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-03 13:43:41.392098
- Title: AGORA: Avatars in Geography Optimized for Regression Analysis
- Title（参考訳）: AGORA: 回帰分析に最適化された地理のアバター
- Authors: Priyanka Patel, Chun-Hao P. Huang, Joachim Tesch, David T. Hoffmann,
Shashank Tripathi, Michael J. Black
- Abstract要約: AGORAは、高いリアリズムと高精度な地上真実を持つ合成データセットである。
SMPL-Xのボディモデル(顔と手)を3Dスキャンに合わせることで、参照3Dポーズと体形を作成する。
このデータセットを用いて既存の3次元ポーズ推定手法の評価を行い、ほとんどの手法が子供の画像に悪影響を及ぼすことを見出した。
- 参考スコア（独自算出の注目度）: 35.22486186509372
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While the accuracy of 3D human pose estimation from images has steadily
improved on benchmark datasets, the best methods still fail in many real-world
scenarios. This suggests that there is a domain gap between current datasets
and common scenes containing people. To obtain ground-truth 3D pose, current
datasets limit the complexity of clothing, environmental conditions, number of
subjects, and occlusion. Moreover, current datasets evaluate sparse 3D joint
locations corresponding to the major joints of the body, ignoring the hand pose
and the face shape. To evaluate the current state-of-the-art methods on more
challenging images, and to drive the field to address new problems, we
introduce AGORA, a synthetic dataset with high realism and highly accurate
ground truth. Here we use 4240 commercially-available, high-quality, textured
human scans in diverse poses and natural clothing; this includes 257 scans of
children. We create reference 3D poses and body shapes by fitting the SMPL-X
body model (with face and hands) to the 3D scans, taking into account clothing.
We create around 14K training and 3K test images by rendering between 5 and 15
people per image using either image-based lighting or rendered 3D environments,
taking care to make the images physically plausible and photoreal. In total,
AGORA consists of 173K individual person crops. We evaluate existing
state-of-the-art methods for 3D human pose estimation on this dataset and find
that most methods perform poorly on images of children. Hence, we extend the
SMPL-X model to better capture the shape of children. Additionally, we
fine-tune methods on AGORA and show improved performance on both AGORA and
3DPW, confirming the realism of the dataset. We provide all the registered 3D
reference training data, rendered images, and a web-based evaluation site at
https://agora.is.tue.mpg.de/.
- Abstract（参考訳）: ベンチマークデータセットでは,画像からの3次元ポーズ推定の精度が着実に向上しているが,実世界のシナリオでは依然として最善の方法が失われている。
これは、現在のデータセットと人を含む一般的なシーンの間にはドメインギャップがあることを示している。
地味な3Dポーズを得るために、現在のデータセットは、衣服の複雑さ、環境条件、被写体数、閉塞を制限する。
さらに、現在のデータセットは、手ポーズや顔の形状を無視して、体の主関節に対応するスパース3D関節位置を評価する。
より難解な画像に対する現在の最先端の手法を評価し,新しい問題に対処するための分野を開拓するために,高リアリズムかつ高精度な基盤真理を持つ合成データセットである agora を紹介する。
ここでは4240の市販品、高品質、テクスチャ化された人間のスキャンをさまざまなポーズや自然の衣服に使用しています。
SMPL-Xボディモデル(顔と手)を3Dスキャンに装着し,衣服を考慮した基準3Dポーズと体形を作成する。
画像ベースの照明やレンダリングされた3D環境を使って、1枚あたり5～15人の画像をレンダリングすることで、約14Kのトレーニングと3Kテスト画像を作成します。
AGORAは合計173万個体の作物から構成されている。
このデータセットを用いて既存の3次元ポーズ推定手法の評価を行い、ほとんどの手法が子供の画像に悪影響を及ぼすことを示した。
したがって、SMPL-Xモデルを拡張して、子供の形状をよりよく把握する。
さらに,AGORA上での微調整を行い,AGORAと3DPWの両方の性能向上を示し,データセットの現実性を確認した。
登録された3D参照トレーニングデータ、レンダリング画像、およびWebベースの評価サイトをhttps://agora.is.tue.mpg.de/.comで提供します。
関連論文リスト
- AG3D: Learning to Generate 3D Avatars from 2D Image Collections [96.28021214088746]
本稿では,2次元画像から現実的な3次元人物の新たな逆生成モデルを提案する。
本手法は, 全身型3Dジェネレータを用いて, 体の形状と変形を捉える。
提案手法は, 従来の3次元・調音認識手法よりも幾何的, 外観的に優れていた。
論文 参考訳（メタデータ） (2023-05-03T17:56:24Z) - Decanus to Legatus: Synthetic training for 2D-3D human pose lifting [26.108023246654646]
10個の手作り3Dポーズ(Decanus)に基づく3Dポーズ分布から無限個の合成人間のポーズ(Legatus)を生成するアルゴリズムを提案する。
この結果から,特定データセットの実際のデータを用いた手法に匹敵する3次元ポーズ推定性能を,ゼロショット設定で実現し,フレームワークの可能性を示した。
論文 参考訳（メタデータ） (2022-10-05T13:10:19Z) - Accurate 3D Body Shape Regression using Metric and Semantic Attributes [55.58629009876271]
画像からの3次元身体形状の回帰は、人文計測や言語的形状特性から訓練できることを示す。
これは、画像から3次元の身体形状の回帰を、容易に測定できる人文計測と言語的形状特性から訓練できる最初の実演である。
論文 参考訳（メタデータ） (2022-06-14T17:54:49Z) - Single-view 3D Body and Cloth Reconstruction under Complex Poses [37.86174829271747]
既存の暗黙の関数ベースモデルを拡張して、任意のポーズと自己排他的な手足を持つ人間の画像を扱う。
入力画像を低精細度で3次元のボディ形状にマッピングする暗黙の関数を学習する。
次に、スムーズな表面を条件とした変位マップを学習し、衣服や身体の高周波の詳細を符号化する。
論文 参考訳（メタデータ） (2022-05-09T07:34:06Z) - DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance
Fields for Articulated Avatars [92.37436369781692]
フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。
2Dと3Dのニューラルレンダリング技術の利点を利用する。
挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
論文 参考訳（メタデータ） (2022-03-29T17:59:15Z) - Learning Realistic Human Reposing using Cyclic Self-Supervision with 3D
Shape, Pose, and Appearance Consistency [55.94908688207493]
画像品質のギャップを教師付き手法で埋める自己教師型フレームワークSPICEを提案する。
自己超越を可能にする重要な洞察は、様々な方法で人体に関する3D情報を活用することである。
SPICEはDeepFashionデータセット上で最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2021-10-11T17:48:50Z) - Heuristic Weakly Supervised 3D Human Pose Estimation [13.82540778667711]
弱教師付き3D人間のポーズ(HW-HuP)ソリューションは、3Dのポーズデータが入手できない場合に3Dのポーズを推定する。
HW-HuPは,ヒトのベッドでのポーズと野生での幼児のポーズという,3次元のポーズデータが得られにくい2つの実践的な環境で,最先端のモデルにおいて有意義に改善されていることを示す。
論文 参考訳（メタデータ） (2021-05-23T18:40:29Z) - Neural 3D Clothes Retargeting from a Single Image [91.5030622330039]
本稿では,1枚のRGB画像で人物にフィットする3次元衣料テンプレートモデルの潜在的なポーズと変形を生成する方法を提案する。
この問題は、地上の真実データを取得することは不可能である、すなわち、異なる3D衣料品テンプレートモデルを全く同じポーズで身に着けている人々の画像として、基本的には不適切である。
そこで本研究では,3次元変形の物理的妥当性を検証するための半教師付き学習フレームワークを提案する。
論文 参考訳（メタデータ） (2021-01-29T20:50:34Z) - SMPLy Benchmarking 3D Human Pose Estimation in the Wild [14.323219585166573]
Mannequin Challengeのデータセットには、彫像のようなアクションで凍った人々の野生の映像が含まれている。
登録されたボディモデルを持つ合計24,428フレームは、ほぼ無償で567シーンから選択される。
我々は,このデータセット上で,最先端のSMPLに基づく人間のポーズ推定手法をベンチマークする。
論文 参考訳（メタデータ） (2020-12-04T17:48:32Z) - Towards Generalization of 3D Human Pose Estimation In The Wild [73.19542580408971]
3DBodyTex.Poseは、3Dの人間のポーズ推定のタスクに対処するデータセットである。
3DBodyTex.Poseは、さまざまな衣服やポーズで405種類の実際の被写体を含む高品質でリッチなデータを提供する。
論文 参考訳（メタデータ） (2020-04-21T13:31:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。