論文の概要: Diffusion-HPC: Generating Synthetic Images with Realistic Humans

• arxiv url: http://arxiv.org/abs/2303.09541v1
• Date: Thu, 16 Mar 2023 17:53:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-17 14:08:20.146837
• Title: Diffusion-HPC: Generating Synthetic Images with Realistic Humans
• Title（参考訳）: 拡散HPC:リアルな人間による合成画像の生成
• Authors: Zhenzhen Weng, Laura Bravo-S\'anchez, Serena Yeung
• Abstract要約: 拡散HPCは、人体構造に関する事前の知識を注入することにより、可視なポーズを持つ写真リアリスティック画像を生成する。 拡散HPCは,人間の世代におけるリアリズムを効果的に改善することを示す。 世代には地上の真実として機能する3Dメッシュが伴うため、Diffusion HPCの生成したイメージ-メッシュペアは、下流のヒューマンメッシュリカバリタスクに適している。
• 参考スコア（独自算出の注目度）: 15.535861566051237
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent text-to-image generative models have exhibited remarkable abilities in generating high-fidelity and photo-realistic images. However, despite the visually impressive results, these models often struggle to preserve plausible human structure in the generations. Due to this reason, while generative models have shown promising results in aiding downstream image recognition tasks by generating large volumes of synthetic data, they remain infeasible for improving downstream human pose perception and understanding. In this work, we propose Diffusion model with Human Pose Correction (Diffusion HPC), a text-conditioned method that generates photo-realistic images with plausible posed humans by injecting prior knowledge about human body structure. We show that Diffusion HPC effectively improves the realism of human generations. Furthermore, as the generations are accompanied by 3D meshes that serve as ground truths, Diffusion HPC's generated image-mesh pairs are well-suited for downstream human mesh recovery task, where a shortage of 3D training data has long been an issue.
• Abstract（参考訳）: 近年のテキストから画像への生成モデルは、高忠実度およびフォトリアリスティックな画像を生成する優れた能力を発揮している。 しかし、視覚的に印象的な結果にもかかわらず、これらのモデルはしばしば、世代でもっともらしい人間の構造を維持するのに苦労する。 このため、大量の合成データを生成して下流画像認識タスクを支援する有望な結果が得られたが、下流の人間のポーズ知覚や理解を改善するには至っていない。 本研究では,人体構造に関する事前知識を注入することにより,人体に提示可能な写真実写画像を生成するテキスト条件付きDiffusion Model with Human Pose Correction (Diffusion HPC)を提案する。 拡散hpcは人間の世代のリアリズムを効果的に改善することを示す。 さらに、世代が基盤となる3dメッシュを伴っているため、3dトレーニングデータの不足が長年問題となっている下流のヒューマンメッシュリカバリタスクには、ディフュージョンhpcが生成したイメージメッシュペアが適している。

関連論文リスト

• 3DHumanGAN: Towards Photo-Realistic 3D-Aware Human Image Generation [68.60140183018457]
  3DHumanGAN(3D-Aware Generative Adversarial Network, GAN)は, 視角と体位置の異なる一貫した外見を持つフルボディヒトの画像を合成する3DHumanGANを提案する。 我々のモデルは、手動のアノテーションが不要なWeb画像の集合から逆向きに学習されている。
  論文  参考訳（メタデータ） (2022-12-14T17:59:03Z)
• Person Image Synthesis via Denoising Diffusion Model [116.34633988927429]
  本研究では,高忠実度人物画像合成に拡散モデルをいかに応用できるかを示す。 2つの大規模ベンチマークとユーザスタディの結果は、挑戦的なシナリオ下で提案したアプローチのフォトリアリズムを実証している。
  論文  参考訳（メタデータ） (2022-11-22T18:59:50Z)
• HDHumans: A Hybrid Approach for High-fidelity Digital Humans [107.19426606778808]
  HDHumansは、正確な時間的コヒーレントな3D変形面を共同で生成する、HDヒューマン文字合成の最初の方法である。 我々の手法は、古典的表面変形とニューラル放射場(NeRF)の相乗効果を達成するために慎重に設計されている。
  論文  参考訳（メタデータ） (2022-10-21T14:42:11Z)
• Is synthetic data from generative models ready for image recognition? [69.42645602062024]
  本研究では,最新のテキスト・画像生成モデルから生成した合成画像が,画像認識タスクにどのように利用できるかを検討した。 本稿では,既存の生成モデルからの合成データの強大さと欠点を示し,認識タスクに合成データを適用するための戦略を提案する。
  論文  参考訳（メタデータ） (2022-10-14T06:54:24Z)
• Brain Imaging Generation with Latent Diffusion Models [2.200720122706913]
  本研究では,高分解能3次元脳画像から合成画像を生成するために潜在拡散モデルを用いて検討する。 我々のモデルは現実的なデータを作成し、条件変数を使ってデータ生成を効果的に制御できることがわかった。
  論文  参考訳（メタデータ） (2022-09-15T09:16:21Z)
• Morphology-preserving Autoregressive 3D Generative Modelling of the Brain [2.6498965891119397]
  この研究は、人間の脳の正確で高解像度で現実的な画像を生成するためにスケールできる生成モデルを提案する。 潜在的に無制限な量のデータを生成する能力は、患者のプライバシーを損なうことなく、人間の解剖学と病理学の大規模な研究を可能にするだけでなく、異常検出、モダリティ合成、限られたデータによる学習、公正で倫理的なAIの研究を著しく前進させる。
  論文  参考訳（メタデータ） (2022-09-07T14:17:42Z)
• 3D-Aware Semantic-Guided Generative Model for Human Synthesis [67.86621343494998]
  本稿では,人間の画像合成のための3D-SGAN(Semantic-Guided Generative Model)を提案する。 DeepFashionデータセットに関する我々の実験は、3D-SGANが最新のベースラインを大きく上回っていることを示している。
  論文  参考訳（メタデータ） (2021-12-02T17:10:53Z)
• LatentHuman: Shape-and-Pose Disentangled Latent Representation for Human Bodies [78.17425779503047]
  本稿では,人体に対する新しい暗黙の表現法を提案する。 完全に微分可能で、非交叉形状で最適化可能であり、潜在空間を映し出す。 我々のモデルは、よく設計された損失を伴う、水密でない生データを直接訓練し、微調整することができる。
  論文  参考訳（メタデータ） (2021-11-30T04:10:57Z)
• Multi-View Consistency Loss for Improved Single-Image 3D Reconstruction of Clothed People [36.30755368202957]
  本稿では,1枚の画像から3次元人物形状復元の精度を向上させるための新しい手法を提案する。 衣服、髪、体の大きさ、ポーズ、カメラの視点などによる形状の変化が大きいため、衣服の復元の正確さと完全性は限られている。
  論文  参考訳（メタデータ） (2020-09-29T17:18:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。