論文の概要: Diffusion-HPC: Generating Synthetic Images with Realistic Humans
- arxiv url: http://arxiv.org/abs/2303.09541v1
- Date: Thu, 16 Mar 2023 17:53:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-17 14:08:20.146837
- Title: Diffusion-HPC: Generating Synthetic Images with Realistic Humans
- Title(参考訳): 拡散HPC:リアルな人間による合成画像の生成
- Authors: Zhenzhen Weng, Laura Bravo-S\'anchez, Serena Yeung
- Abstract要約: 拡散HPCは、人体構造に関する事前の知識を注入することにより、可視なポーズを持つ写真リアリスティック画像を生成する。
拡散HPCは,人間の世代におけるリアリズムを効果的に改善することを示す。
世代には地上の真実として機能する3Dメッシュが伴うため、Diffusion HPCの生成したイメージ-メッシュペアは、下流のヒューマンメッシュリカバリタスクに適している。
- 参考スコア(独自算出の注目度): 15.535861566051237
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent text-to-image generative models have exhibited remarkable abilities in
generating high-fidelity and photo-realistic images. However, despite the
visually impressive results, these models often struggle to preserve plausible
human structure in the generations. Due to this reason, while generative models
have shown promising results in aiding downstream image recognition tasks by
generating large volumes of synthetic data, they remain infeasible for
improving downstream human pose perception and understanding. In this work, we
propose Diffusion model with Human Pose Correction (Diffusion HPC), a
text-conditioned method that generates photo-realistic images with plausible
posed humans by injecting prior knowledge about human body structure. We show
that Diffusion HPC effectively improves the realism of human generations.
Furthermore, as the generations are accompanied by 3D meshes that serve as
ground truths, Diffusion HPC's generated image-mesh pairs are well-suited for
downstream human mesh recovery task, where a shortage of 3D training data has
long been an issue.
- Abstract(参考訳): 近年のテキストから画像への生成モデルは、高忠実度およびフォトリアリスティックな画像を生成する優れた能力を発揮している。
しかし、視覚的に印象的な結果にもかかわらず、これらのモデルはしばしば、世代でもっともらしい人間の構造を維持するのに苦労する。
このため、大量の合成データを生成して下流画像認識タスクを支援する有望な結果が得られたが、下流の人間のポーズ知覚や理解を改善するには至っていない。
本研究では,人体構造に関する事前知識を注入することにより,人体に提示可能な写真実写画像を生成するテキスト条件付きDiffusion Model with Human Pose Correction (Diffusion HPC)を提案する。
拡散hpcは人間の世代のリアリズムを効果的に改善することを示す。
さらに、世代が基盤となる3dメッシュを伴っているため、3dトレーニングデータの不足が長年問題となっている下流のヒューマンメッシュリカバリタスクには、ディフュージョンhpcが生成したイメージメッシュペアが適している。
関連論文リスト
- Deceptive-Human: Prompt-to-NeRF 3D Human Generation with 3D-Consistent
Synthetic Images [67.31920821192323]
Deceptive-Humanは、最先端の制御拡散モデル(ControlNetなど)を利用して高品質な制御可能な3D NeRFを生成する新しいフレームワークである。
提案手法は,テキストプロンプトや3Dメッシュ,ポーズ,シード画像などの付加データを含む,汎用的で容易に収容できる。
結果として得られる3D人間のNeRFモデルは、360度の視点から高光写実性ビューの合成を促進する。
論文 参考訳(メタデータ) (2023-11-27T15:49:41Z) - SiTH: Single-view Textured Human Reconstruction with Image-Conditioned
Diffusion [40.16197757961096]
SiTHは、イメージ条件付き拡散モデルと3Dメッシュ再構築ワークフローを統合する、新しいパイプラインである。
入力画像から背面の外観を幻覚させるために,強力な生成拡散モデルを用いる。
インプットおよびバックビュー画像から全身のテクスチャメッシュを復元するために,スキン付きボディーメッシュをガイダンスとして活用する。
論文 参考訳(メタデータ) (2023-11-27T14:22:07Z) - HyperHuman: Hyper-Realistic Human Generation with Latent Structural
Diffusion [117.95224531331142]
本稿では,高リアリズムと多彩なレイアウトの人体画像を生成する統一的なフレームワークHyperHumanを提案する。
本モデルは,統合ネットワークにおける画像の外観,空間的関係,幾何学の連成学習を強制する。
我々のフレームワークは最先端の性能を生み出し、多様なシナリオ下で超現実的な人間の画像を生成する。
論文 参考訳(メタデータ) (2023-10-12T17:59:34Z) - Exploring the Robustness of Human Parsers Towards Common Corruptions [99.89886010550836]
我々は,LIP-C,ATR-C,Pascal-Person-Part-Cという3つの汚職堅牢性ベンチマークを構築し,人間の解析モデルのリスク許容度を評価する。
データ強化戦略に触発されて、一般に破損した条件下で頑健性を高めるための新しい異種強化機構を提案する。
論文 参考訳(メタデータ) (2023-09-02T13:32:14Z) - Augmenting medical image classifiers with synthetic data from latent
diffusion models [12.077733447347592]
我々は,潜伏拡散モデルが皮膚疾患の画像を生成することを実証した。
我々は,複数の生成戦略を用いて生成した458,920個の合成画像の新しいデータセットを生成し,解析する。
論文 参考訳(メタデータ) (2023-08-23T22:34:49Z) - StyleAvatar3D: Leveraging Image-Text Diffusion Models for High-Fidelity
3D Avatar Generation [103.88928334431786]
高品質な3Dアバターを製作するための新しい手法を提案する。
データ生成には事前学習した画像テキスト拡散モデルとGANベースの3次元生成ネットワークを用いて訓練を行う。
提案手法は、生産されたアバターの視覚的品質と多様性の観点から、現在の最先端手法よりも優れた性能を示す。
論文 参考訳(メタデータ) (2023-05-30T13:09:21Z) - DreamAvatar: Text-and-Shape Guided 3D Human Avatar Generation via
Diffusion Models [55.71306021041785]
高品質な3Dアバターを作成するためのテキスト・アンド・シェイプ・ガイドフレームワークであるDreamAvatarについて紹介する。
SMPLモデルを利用して、生成のための形状とポーズのガイダンスを提供する。
また、全体とズームインした3Dヘッドから計算した損失を共同で最適化し、一般的なマルチフェイス「Janus」問題を緩和する。
論文 参考訳(メタデータ) (2023-04-03T12:11:51Z) - Brain Imaging Generation with Latent Diffusion Models [2.200720122706913]
本研究では,高分解能3次元脳画像から合成画像を生成するために潜在拡散モデルを用いて検討する。
我々のモデルは現実的なデータを作成し、条件変数を使ってデータ生成を効果的に制御できることがわかった。
論文 参考訳(メタデータ) (2022-09-15T09:16:21Z) - LatentHuman: Shape-and-Pose Disentangled Latent Representation for Human
Bodies [78.17425779503047]
本稿では,人体に対する新しい暗黙の表現法を提案する。
完全に微分可能で、非交叉形状で最適化可能であり、潜在空間を映し出す。
我々のモデルは、よく設計された損失を伴う、水密でない生データを直接訓練し、微調整することができる。
論文 参考訳(メタデータ) (2021-11-30T04:10:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。