論文の概要: Improving face generation quality and prompt following with synthetic captions

• arxiv url: http://arxiv.org/abs/2405.10864v1
• Date: Fri, 17 May 2024 15:50:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-20 15:43:48.220256
• Title: Improving face generation quality and prompt following with synthetic captions
• Title（参考訳）: 合成キャプションによる顔の質向上とプロンプト追従
• Authors: Michail Tarasiou, Stylianos Moschoglou, Jiankang Deng, Stefanos Zafeiriou,
• Abstract要約: 画像から正確な外観記述を生成するために,トレーニング不要のパイプラインを導入する。 次に、これらの合成キャプションを使用して、テキストから画像への拡散モデルを微調整する。 提案手法は,高品質で現実的な人間の顔を生成するモデルの能力を大幅に向上させることを示す。
• 参考スコア（独自算出の注目度）: 57.47448046728439
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Recent advancements in text-to-image generation using diffusion models have significantly improved the quality of generated images and expanded the ability to depict a wide range of objects. However, ensuring that these models adhere closely to the text prompts remains a considerable challenge. This issue is particularly pronounced when trying to generate photorealistic images of humans. Without significant prompt engineering efforts models often produce unrealistic images and typically fail to incorporate the full extent of the prompt information. This limitation can be largely attributed to the nature of captions accompanying the images used in training large scale diffusion models, which typically prioritize contextual information over details related to the person's appearance. In this paper we address this issue by introducing a training-free pipeline designed to generate accurate appearance descriptions from images of people. We apply this method to create approximately 250,000 captions for publicly available face datasets. We then use these synthetic captions to fine-tune a text-to-image diffusion model. Our results demonstrate that this approach significantly improves the model's ability to generate high-quality, realistic human faces and enhances adherence to the given prompts, compared to the baseline model. We share our synthetic captions, pretrained checkpoints and training code.
• Abstract（参考訳）: 拡散モデルを用いたテキスト・画像生成の最近の進歩は、生成画像の品質を大幅に向上させ、幅広い物体を描写する能力を拡大した。 しかし、これらのモデルがテキストのプロンプトに密着することを保証することは、依然として大きな課題である。 この問題は、人間のフォトリアリスティック画像を生成しようとするときに特に顕著である。 重要なプロンプトエンジニアリングの努力がなければ、モデルはしばしば非現実的なイメージを生成し、通常、プロンプト情報の完全な範囲を組み込むことができない。 この制限は主に、大規模な拡散モデルの訓練に使用される画像に付随するキャプションの性質に起因する。 本稿では、人物画像から正確な外観記述を生成するための訓練不要パイプラインを導入することにより、この問題に対処する。 この手法を用いて、公開顔データセットの約25万キャプションを作成する。 次に、これらの合成キャプションを使用して、テキストから画像への拡散モデルを微調整する。 その結果,本手法は,高品質で現実的な人間の顔を生成する能力を大幅に向上し,ベースラインモデルと比較して,与えられたプロンプトへの付着性を高めることが示唆された。 合成キャプション、事前訓練されたチェックポイント、トレーニングコードを共有します。

関連論文リスト

• Conditional Text-to-Image Generation with Reference Guidance [81.99538302576302]
  本稿では,拡散モデルを生成するために,特定の対象の視覚的ガイダンスを提供する画像の追加条件を用いて検討する。 我々は、異なる参照を取る能力を持つ安定拡散モデルを効率的に支持する、小規模のエキスパートプラグインを複数開発する。 専門的なプラグインは、すべてのタスクにおいて既存のメソッドよりも優れた結果を示し、それぞれ28.55Mのトレーニング可能なパラメータしか含まない。
  論文  参考訳（メタデータ） (2024-11-22T21:38:51Z)
• ARTIST: Improving the Generation of Text-rich Images with Disentangled Diffusion Models [52.23899502520261]
  テキスト構造学習に焦点を当てたARTISTという新しいフレームワークを提案する。 我々は、事前訓練されたテキスト構造モデルからテキスト構造情報を同化できるように、視覚拡散モデルを微調整する。 MARIO-Evalベンチマークの実証結果は,提案手法の有効性を裏付けるものであり,様々な指標において最大15%の改善が見られた。
  論文  参考訳（メタデータ） (2024-06-17T19:31:24Z)
• Fair Text-to-Image Diffusion via Fair Mapping [32.02815667307623]
  本稿では,事前学習したテキスト・画像拡散モデルを修正する,フレキシブルでモデルに依存しない,軽量なアプローチを提案する。 暗黙的言語バイアスの問題を効果的に解決することにより、より公平で多様な画像出力を生成する。
  論文  参考訳（メタデータ） (2023-11-29T15:02:01Z)
• Image Captions are Natural Prompts for Text-to-Image Models [70.30915140413383]
  本研究では,合成データの学習効果とプロンプトによる合成データ分布の関係を解析した。 本稿では,テキストから画像への生成モデルにより,より情報的で多様な学習データを合成する簡易かつ効果的な手法を提案する。 本手法は,合成学習データに基づいて訓練したモデルの性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2023-07-17T14:38:11Z)
• Improving Image Captioning Descriptiveness by Ranking and LLM-based Fusion [17.99150939602917]
  State-of-The-Art (SoTA)イメージキャプションモデルは、トレーニングのためにMicrosoft COCO(MS-COCO)データセットに依存することが多い。 本稿では,異なるSoTAモデルから生成されたキャプションを効果的に融合させる方法を示すことによって,従来の課題に対処する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-06-20T15:13:02Z)
• SUR-adapter: Enhancing Text-to-Image Pre-trained Diffusion Models with Large Language Models [56.88192537044364]
  本研究では,事前学習拡散モデルに対するセマンティック・アダプタ (SUR-adapter) と呼ばれる簡易なパラメータ効率の良い微調整手法を提案する。 ユーザエクスペリエンスの向上により,テキストから画像への拡散モデルの使いやすさが向上する。
  論文  参考訳（メタデータ） (2023-05-09T05:48:38Z)
• Language Does More Than Describe: On The Lack Of Figurative Speech in Text-To-Image Models [63.545146807810305]
  テキスト・ツー・イメージ拡散モデルでは、テキスト入力プロンプトから高品質な画像を生成することができる。 これらのモデルは、コンテンツベースのラベル付けプロトコルから収集されたテキストデータを用いて訓練されている。 本研究では,現在使用されているテキスト・画像拡散モデルのトレーニングに使用されている公開テキストデータの感情性,目的性,抽象化の程度を特徴付ける。
  論文  参考訳（メタデータ） (2022-10-19T14:20:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。