論文の概要: How to Train your Text-to-Image Model: Evaluating Design Choices for Synthetic Training Captions

• arxiv url: http://arxiv.org/abs/2506.16679v1
• Date: Fri, 20 Jun 2025 01:52:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-23 19:00:05.303936
• Title: How to Train your Text-to-Image Model: Evaluating Design Choices for Synthetic Training Captions
• Title（参考訳）: テキスト・トゥ・イメージ・モデルのトレーニング方法:合成訓練用キャプションの設計選択の評価
• Authors: Manuel Brack, Sudeep Katakol, Felix Friedrich, Patrick Schramowski, Hareesh Ravi, Kristian Kersting, Ajinkya Kale,
• Abstract要約: テキスト・ツー・イメージ・モデルの下流性能に異なる合成キャプション戦略がどのような影響を及ぼすかを検討する。 実験の結果,高品位な字幕はテキストアライメントを高めるが,出力美学や多様性にトレードオフをもたらす可能性が示唆された。 本研究は,最適なモデル性能を実現する上で,キャプション設計の重要性を浮き彫りにした。
• 参考スコア（独自算出の注目度）: 29.52344052330828
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Training data is at the core of any successful text-to-image models. The quality and descriptiveness of image text are crucial to a model's performance. Given the noisiness and inconsistency in web-scraped datasets, recent works shifted towards synthetic training captions. While this setup is generally believed to produce more capable models, current literature does not provide any insights into its design choices. This study closes this gap by systematically investigating how different synthetic captioning strategies impact the downstream performance of text-to-image models. Our experiments demonstrate that dense, high-quality captions enhance text alignment but may introduce trade-offs in output aesthetics and diversity. Conversely, captions of randomized lengths yield balanced improvements across aesthetics and alignment without compromising sample diversity. We also demonstrate that varying caption distributions introduce significant shifts in the output bias of a trained model. Our findings underscore the importance of caption design in achieving optimal model performance and provide practical insights for more effective training data strategies in text-to-image generation.
• Abstract（参考訳）: トレーニングデータは、成功しているテキスト-画像モデルの中核にある。 画像テキストの品質と記述性は、モデルの性能に不可欠である。 ウェブスクラッドデータセットのノイズと矛盾を考えると、最近の研究は合成トレーニングキャプションに移行した。 この設定は一般的により有能なモデルを生み出すと考えられているが、現在の文献では設計選択に関する洞察を与えていない。 本研究は,テキスト・ツー・イメージ・モデルの下流性能に異なる合成キャプション戦略がどう影響するかを体系的に検討することによって,このギャップを埋めるものである。 実験の結果,高品位な字幕はテキストアライメントを高めるが,出力美学や多様性にトレードオフをもたらす可能性が示唆された。 逆に、ランダム化された長さのキャプションは、サンプルの多様性を損なうことなく、美学とアライメントのバランスよく改善される。 また、様々なキャプション分布が訓練されたモデルの出力バイアスに大きな変化をもたらすことを示した。 本研究は,テキスト・ツー・イメージ・ジェネレーションにおいて,最適なモデル性能を実現する上でのキャプション設計の重要性を強調し,より効果的なトレーニングデータ戦略の実践的洞察を提供するものである。

関連論文リスト

• Precision or Recall? An Analysis of Image Captions for Training Text-to-Image Generation Model [32.14771853421448]
  テキスト・ツー・イメージ・モデルトレーニングにおけるキャプション精度とリコールの重要な役割について分析する。 我々は、大規模視覚言語モデルを用いて、学習のための合成キャプションを生成する。
  論文  参考訳（メタデータ） (2024-11-07T19:00:37Z)
• ARTIST: Improving the Generation of Text-rich Images with Disentangled Diffusion Models and Large Language Models [52.23899502520261]
  本稿では,テキスト構造の学習に特化するために,専用のテキスト拡散モデルを組み込んだARTISTという新しいフレームワークを紹介する。 我々は、事前訓練されたテキスト構造モデルからテキスト構造情報を同化できるように、視覚拡散モデルを微調整する。 この歪んだアーキテクチャ設計とトレーニング戦略は、テキストリッチな画像生成のための拡散モデルのテキストレンダリング能力を著しく向上させる。
  論文  参考訳（メタデータ） (2024-06-17T19:31:24Z)
• Improving Text Generation on Images with Synthetic Captions [2.1175632266708733]
  SDXLやSD 1.5のような潜伏拡散モデルは、現実的な画像を生成する上で重要な能力を示している。 本稿では,SDXLを大規模データセット上でのトレーニングに要しない,低コストなアプローチを提案する。 提案手法は,異なるシナリオにおけるテキスト生成の精度向上に有効であることを示す。
  論文  参考訳（メタデータ） (2024-06-01T17:27:34Z)
• Image Captions are Natural Prompts for Text-to-Image Models [70.30915140413383]
  本研究では,合成データの学習効果とプロンプトによる合成データ分布の関係を解析した。 本稿では,テキストから画像への生成モデルにより,より情報的で多様な学習データを合成する簡易かつ効果的な手法を提案する。 本手法は,合成学習データに基づいて訓練したモデルの性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2023-07-17T14:38:11Z)
• WordStylist: Styled Verbatim Handwritten Text Generation with Latent Diffusion Models [8.334487584550185]
  単語レベルに基づくテキスト・テキスト・コンテンツ・イメージ生成のための遅延拡散に基づく手法を提案する。 提案手法は,異なる書き手スタイルからリアルな単語画像のサンプルを生成することができる。 提案モデルでは,美的満足度の高いサンプルを作成し,テキスト認識性能の向上に寄与し,類似の文字検索スコアを実データとして得られることを示す。
  論文  参考訳（メタデータ） (2023-03-29T10:19:26Z)
• Generating More Pertinent Captions by Leveraging Semantics and Style on Multi-Source Datasets [56.018551958004814]
  本稿では,データソースの非一様結合をトレーニングすることで,流動的な記述を生成するタスクに対処する。 ノイズの多い画像とテキストのペアを持つ大規模データセットは、サブ最適の監視源を提供する。 本稿では,検索コンポーネントから抽出したスタイルトークンとキーワードを組み込むことにより,セマンティクスと記述スタイルを活用・分離することを提案する。
  論文  参考訳（メタデータ） (2021-11-24T19:00:05Z)
• Improving Generation and Evaluation of Visual Stories via Semantic Consistency [72.00815192668193]
  一連の自然言語キャプションが与えられた場合、エージェントはキャプションに対応する一連の画像を生成する必要がある。 それまでの作業では、このタスクで合成テキスト・画像モデルより優れた繰り返し生成モデルを導入してきた。 従来のモデリング手法には、デュアルラーニングフレームワークの追加など、いくつかの改善点を提示する。
  論文  参考訳（メタデータ） (2021-05-20T20:42:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。