論文の概要: Diffusion-HPC: Synthetic Data Generation for Human Mesh Recovery in
Challenging Domains
- arxiv url: http://arxiv.org/abs/2303.09541v2
- Date: Sun, 31 Dec 2023 00:17:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-03 02:42:01.676297
- Title: Diffusion-HPC: Synthetic Data Generation for Human Mesh Recovery in
Challenging Domains
- Title(参考訳): 拡散HPC:混在領域における人間のメッシュ回復のための合成データ生成
- Authors: Zhenzhen Weng, Laura Bravo-S\'anchez, Serena Yeung-Levy
- Abstract要約: 本研究では,人体構造に関する事前の知識を注入することにより,人体を用いた写真リアルな画像を生成するテキスト条件付き手法を提案する。
生成した画像には3Dメッシュが伴い、ヒューマンメッシュ回復タスクを改善するための土台となる。
- 参考スコア(独自算出の注目度): 2.7624021966289605
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent text-to-image generative models have exhibited remarkable abilities in
generating high-fidelity and photo-realistic images. However, despite the
visually impressive results, these models often struggle to preserve plausible
human structure in the generations. Due to this reason, while generative models
have shown promising results in aiding downstream image recognition tasks by
generating large volumes of synthetic data, they are not suitable for improving
downstream human pose perception and understanding. In this work, we propose a
Diffusion model with Human Pose Correction (Diffusion-HPC), a text-conditioned
method that generates photo-realistic images with plausible posed humans by
injecting prior knowledge about human body structure. Our generated images are
accompanied by 3D meshes that serve as ground truths for improving Human Mesh
Recovery tasks, where a shortage of 3D training data has long been an issue.
Furthermore, we show that Diffusion-HPC effectively improves the realism of
human generations under varying conditioning strategies.
- Abstract(参考訳): 近年のテキストから画像への生成モデルは、高忠実度およびフォトリアリスティックな画像を生成する優れた能力を発揮している。
しかし、視覚的に印象的な結果にもかかわらず、これらのモデルはしばしば、世代でもっともらしい人間の構造を維持するのに苦労する。
このため、生成モデルは大量の合成データを生成して下流画像認識タスクを支援するという有望な結果を示しているが、下流人間のポーズ認識と理解を改善するには適していない。
本研究では,人間の身体構造に関する事前知識を注入して,適切なポーズを持つ写真実像を生成するテキストコンディショニング手法である,ヒューマンポーズ補正(diffusion-hpc)を用いた拡散モデルを提案する。
私たちの生成した画像には、3dトレーニングデータの不足が長年問題となっているヒューマンメッシュのリカバリタスクを改善するための基盤となる3dメッシュが添付されています。
さらに,Diffusion-HPCは,異なる条件下での人間世代の現実性を効果的に改善することを示した。
関連論文リスト
- 3D Human Reconstruction in the Wild with Synthetic Data Using Generative Models [52.96248836582542]
本稿では,人間の画像とそれに対応する3Dメッシュアノテーションをシームレスに生成できるHumanWildという,最近の拡散モデルに基づく効果的なアプローチを提案する。
生成モデルを排他的に活用することにより,大規模な人体画像と高品質なアノテーションを生成し,実世界のデータ収集の必要性を解消する。
論文 参考訳(メタデータ) (2024-03-17T06:31:16Z) - Template-Free Single-View 3D Human Digitalization with Diffusion-Guided LRM [29.13412037370585]
本稿では,拡散誘導フィードフォワードモデルであるHuman-LRMを提案する。
本手法は,例えばSMPLなどのテンプレートを使わずにヒトを捕獲し,リッチでリアルなディテールで咬合部を効果的に増強することができる。
論文 参考訳(メタデータ) (2024-01-22T18:08:22Z) - Deceptive-Human: Prompt-to-NeRF 3D Human Generation with 3D-Consistent
Synthetic Images [67.31920821192323]
Deceptive-Humanは、最先端の制御拡散モデル(ControlNetなど)を利用して高品質な制御可能な3D NeRFを生成する新しいフレームワークである。
提案手法は,テキストプロンプトや3Dメッシュ,ポーズ,シード画像などの付加データを含む,汎用的で容易に収容できる。
結果として得られる3D人間のNeRFモデルは、360度の視点から高光写実性ビューの合成を促進する。
論文 参考訳(メタデータ) (2023-11-27T15:49:41Z) - HyperHuman: Hyper-Realistic Human Generation with Latent Structural Diffusion [114.15397904945185]
本稿では,高リアリズムと多彩なレイアウトの人体画像を生成する統一的なフレームワークHyperHumanを提案する。
本モデルは,統合ネットワークにおける画像の外観,空間的関係,幾何学の連成学習を強制する。
我々のフレームワークは最先端の性能を生み出し、多様なシナリオ下で超現実的な人間の画像を生成する。
論文 参考訳(メタデータ) (2023-10-12T17:59:34Z) - Exploring the Robustness of Human Parsers Towards Common Corruptions [99.89886010550836]
我々は,LIP-C,ATR-C,Pascal-Person-Part-Cという3つの汚職堅牢性ベンチマークを構築し,人間の解析モデルのリスク許容度を評価する。
データ強化戦略に触発されて、一般に破損した条件下で頑健性を高めるための新しい異種強化機構を提案する。
論文 参考訳(メタデータ) (2023-09-02T13:32:14Z) - Augmenting medical image classifiers with synthetic data from latent
diffusion models [12.077733447347592]
我々は,潜伏拡散モデルが皮膚疾患の画像を生成することを実証した。
我々は,複数の生成戦略を用いて生成した458,920個の合成画像の新しいデータセットを生成し,解析する。
論文 参考訳(メタデータ) (2023-08-23T22:34:49Z) - DreamAvatar: Text-and-Shape Guided 3D Human Avatar Generation via
Diffusion Models [55.71306021041785]
高品質な3Dアバターを作成するためのテキスト・アンド・シェイプ・ガイドフレームワークであるDreamAvatarについて紹介する。
SMPLモデルを利用して、生成のための形状とポーズのガイダンスを提供する。
また、全体とズームインした3Dヘッドから計算した損失を共同で最適化し、一般的なマルチフェイス「Janus」問題を緩和する。
論文 参考訳(メタデータ) (2023-04-03T12:11:51Z) - Brain Imaging Generation with Latent Diffusion Models [2.200720122706913]
本研究では,高分解能3次元脳画像から合成画像を生成するために潜在拡散モデルを用いて検討する。
我々のモデルは現実的なデータを作成し、条件変数を使ってデータ生成を効果的に制御できることがわかった。
論文 参考訳(メタデータ) (2022-09-15T09:16:21Z) - LatentHuman: Shape-and-Pose Disentangled Latent Representation for Human
Bodies [78.17425779503047]
本稿では,人体に対する新しい暗黙の表現法を提案する。
完全に微分可能で、非交叉形状で最適化可能であり、潜在空間を映し出す。
我々のモデルは、よく設計された損失を伴う、水密でない生データを直接訓練し、微調整することができる。
論文 参考訳(メタデータ) (2021-11-30T04:10:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。