論文の概要: How to Train your Text-to-Image Model: Evaluating Design Choices for Synthetic Training Captions

• arxiv url: http://arxiv.org/abs/2506.16679v1
• Date: Fri, 20 Jun 2025 01:52:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-23 19:00:05.303936
• Title: How to Train your Text-to-Image Model: Evaluating Design Choices for Synthetic Training Captions
• Title（参考訳）: テキスト・トゥ・イメージ・モデルのトレーニング方法:合成訓練用キャプションの設計選択の評価
• Authors: Manuel Brack, Sudeep Katakol, Felix Friedrich, Patrick Schramowski, Hareesh Ravi, Kristian Kersting, Ajinkya Kale,
• Abstract要約: テキスト・ツー・イメージ・モデルの下流性能に異なる合成キャプション戦略がどのような影響を及ぼすかを検討する。 実験の結果,高品位な字幕はテキストアライメントを高めるが,出力美学や多様性にトレードオフをもたらす可能性が示唆された。 本研究は,最適なモデル性能を実現する上で,キャプション設計の重要性を浮き彫りにした。
• 参考スコア（独自算出の注目度）: 29.52344052330828
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Training data is at the core of any successful text-to-image models. The quality and descriptiveness of image text are crucial to a model's performance. Given the noisiness and inconsistency in web-scraped datasets, recent works shifted towards synthetic training captions. While this setup is generally believed to produce more capable models, current literature does not provide any insights into its design choices. This study closes this gap by systematically investigating how different synthetic captioning strategies impact the downstream performance of text-to-image models. Our experiments demonstrate that dense, high-quality captions enhance text alignment but may introduce trade-offs in output aesthetics and diversity. Conversely, captions of randomized lengths yield balanced improvements across aesthetics and alignment without compromising sample diversity. We also demonstrate that varying caption distributions introduce significant shifts in the output bias of a trained model. Our findings underscore the importance of caption design in achieving optimal model performance and provide practical insights for more effective training data strategies in text-to-image generation.
• Abstract（参考訳）: トレーニングデータは、成功しているテキスト-画像モデルの中核にある。 画像テキストの品質と記述性は、モデルの性能に不可欠である。 ウェブスクラッドデータセットのノイズと矛盾を考えると、最近の研究は合成トレーニングキャプションに移行した。 この設定は一般的により有能なモデルを生み出すと考えられているが、現在の文献では設計選択に関する洞察を与えていない。 本研究は,テキスト・ツー・イメージ・モデルの下流性能に異なる合成キャプション戦略がどう影響するかを体系的に検討することによって,このギャップを埋めるものである。 実験の結果,高品位な字幕はテキストアライメントを高めるが,出力美学や多様性にトレードオフをもたらす可能性が示唆された。 逆に、ランダム化された長さのキャプションは、サンプルの多様性を損なうことなく、美学とアライメントのバランスよく改善される。 また、様々なキャプション分布が訓練されたモデルの出力バイアスに大きな変化をもたらすことを示した。 本研究は,テキスト・ツー・イメージ・ジェネレーションにおいて,最適なモデル性能を実現する上でのキャプション設計の重要性を強調し,より効果的なトレーニングデータ戦略の実践的洞察を提供するものである。

関連論文リスト

• EDITOR: Effective and Interpretable Prompt Inversion for Text-to-Image Diffusion Models [31.31018600797305]
  本稿では,テキストから画像への拡散モデルに対するsysと呼ばれるプロンプトインバージョン手法を提案する。 本手法は,画像の類似性,テキストのアライメント,解釈可能性,一般化可能性の観点から,既存の手法よりも優れる。
  論文  参考訳（メタデータ） (2025-06-03T16:44:15Z)
• Precision or Recall? An Analysis of Image Captions for Training Text-to-Image Generation Model [32.14771853421448]
  テキスト・ツー・イメージ・モデルトレーニングにおけるキャプション精度とリコールの重要な役割について分析する。 我々は、大規模視覚言語モデルを用いて、学習のための合成キャプションを生成する。
  論文  参考訳（メタデータ） (2024-11-07T19:00:37Z)
• Revisit Large-Scale Image-Caption Data in Pre-training Multimodal Foundation Models [63.01630478059315]
  マルチモーダルモデルの最近の進歩は、性能向上のための書き直しキャプションの価値を強調している。 プレトレーニングにおける合成キャプションとオリジナルのWebcrawled AltTextsとの相互作用が、まだよく理解されていないかどうかは不明だ。 様々なマルチモーダルモデルに適した多様なキャプションフォーマットを生成するために,新しい,制御可能な,スケーラブルなキャプションパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-10-03T17:54:52Z)
• Removing Distributional Discrepancies in Captions Improves Image-Text Alignment [76.31530836622694]
  画像テキストアライメントの予測を改善するためのモデルを提案する。 このアプローチでは、アライメントタスクのための高品質なトレーニングデータセットの生成に重点を置いています。 また,テキストアライメントに基づくテキスト・ツー・イメージ・モデルによる画像のランク付けにより,本モデルの適用性を示す。
  論文  参考訳（メタデータ） (2024-10-01T17:50:17Z)
• ARTIST: Improving the Generation of Text-rich Images with Disentangled Diffusion Models and Large Language Models [52.23899502520261]
  本稿では,テキスト構造の学習に特化するために,専用のテキスト拡散モデルを組み込んだARTISTという新しいフレームワークを紹介する。 我々は、事前訓練されたテキスト構造モデルからテキスト構造情報を同化できるように、視覚拡散モデルを微調整する。 この歪んだアーキテクチャ設計とトレーニング戦略は、テキストリッチな画像生成のための拡散モデルのテキストレンダリング能力を著しく向上させる。
  論文  参考訳（メタデータ） (2024-06-17T19:31:24Z)
• Improving Text Generation on Images with Synthetic Captions [2.1175632266708733]
  SDXLやSD 1.5のような潜伏拡散モデルは、現実的な画像を生成する上で重要な能力を示している。 本稿では,SDXLを大規模データセット上でのトレーニングに要しない,低コストなアプローチを提案する。 提案手法は,異なるシナリオにおけるテキスト生成の精度向上に有効であることを示す。
  論文  参考訳（メタデータ） (2024-06-01T17:27:34Z)
• Training-Free Consistent Text-to-Image Generation [80.4814768762066]
  テキスト・ツー・イメージ・モデルは様々なプロンプトで同じ主題を表現できる。 既存のアプローチは、特定のユーザが提供する主題を記述する新しい単語を教えるためにモデルを微調整する。 本研究では、事前学習モデルの内部アクティベーションを共有することによって、一貫した主題生成を可能にする、トレーニング不要なアプローチであるConsiStoryを提案する。
  論文  参考訳（メタデータ） (2024-02-05T18:42:34Z)
• Improving Cross-modal Alignment with Synthetic Pairs for Text-only Image Captioning [13.357749288588039]
  以前の作業では、教師なし設定下でのテキスト情報のみに依存して、画像キャプションのためのCLIPのクロスモーダルアソシエーション機能を活用していた。 本稿では,合成画像とテキストのペアを組み込むことにより,これらの問題に対処する新しい手法を提案する。 テキストデータに対応する画像を得るために、事前訓練されたテキスト・ツー・イメージモデルが配置され、CLIP埋め込み空間の実際の画像に対して、生成された画像の擬似特徴を最適化する。
  論文  参考訳（メタデータ） (2023-12-14T12:39:29Z)
• Image Captions are Natural Prompts for Text-to-Image Models [70.30915140413383]
  本研究では,合成データの学習効果とプロンプトによる合成データ分布の関係を解析した。 本稿では,テキストから画像への生成モデルにより,より情報的で多様な学習データを合成する簡易かつ効果的な手法を提案する。 本手法は,合成学習データに基づいて訓練したモデルの性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2023-07-17T14:38:11Z)
• WordStylist: Styled Verbatim Handwritten Text Generation with Latent Diffusion Models [8.334487584550185]
  単語レベルに基づくテキスト・テキスト・コンテンツ・イメージ生成のための遅延拡散に基づく手法を提案する。 提案手法は,異なる書き手スタイルからリアルな単語画像のサンプルを生成することができる。 提案モデルでは,美的満足度の高いサンプルを作成し,テキスト認識性能の向上に寄与し,類似の文字検索スコアを実データとして得られることを示す。
  論文  参考訳（メタデータ） (2023-03-29T10:19:26Z)
• Generating More Pertinent Captions by Leveraging Semantics and Style on Multi-Source Datasets [56.018551958004814]
  本稿では,データソースの非一様結合をトレーニングすることで,流動的な記述を生成するタスクに対処する。 ノイズの多い画像とテキストのペアを持つ大規模データセットは、サブ最適の監視源を提供する。 本稿では,検索コンポーネントから抽出したスタイルトークンとキーワードを組み込むことにより,セマンティクスと記述スタイルを活用・分離することを提案する。
  論文  参考訳（メタデータ） (2021-11-24T19:00:05Z)
• Improving Generation and Evaluation of Visual Stories via Semantic Consistency [72.00815192668193]
  一連の自然言語キャプションが与えられた場合、エージェントはキャプションに対応する一連の画像を生成する必要がある。 それまでの作業では、このタスクで合成テキスト・画像モデルより優れた繰り返し生成モデルを導入してきた。 従来のモデリング手法には、デュアルラーニングフレームワークの追加など、いくつかの改善点を提示する。
  論文  参考訳（メタデータ） (2021-05-20T20:42:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。