論文の概要: Discriminative Probing and Tuning for Text-to-Image Generation

• arxiv url: http://arxiv.org/abs/2403.04321v2
• Date: Thu, 14 Mar 2024 08:02:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-16 01:11:34.066440
• Title: Discriminative Probing and Tuning for Text-to-Image Generation
• Title（参考訳）: テキスト・画像生成のための識別的探索とチューニング
• Authors: Leigang Qu, Wenjie Wang, Yongqi Li, Hanwang Zhang, Liqiang Nie, Tat-Seng Chua,
• Abstract要約: テキスト・ツー・イメージ生成(T2I)は、しばしば、生成された画像における関係の混乱のようなテキスト・イメージの誤調整問題に直面している。 本稿では,T2Iモデルの識別能力を向上し,より正確なテキストと画像のアライメントを実現することを提案する。 本稿では,T2Iモデル上に構築された識別アダプターを用いて,2つの代表課題における識別能力を探索し,テキスト画像のアライメントを改善するために識別微調整を利用する。
• 参考スコア（独自算出の注目度）: 129.39674951747412
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite advancements in text-to-image generation (T2I), prior methods often face text-image misalignment problems such as relation confusion in generated images. Existing solutions involve cross-attention manipulation for better compositional understanding or integrating large language models for improved layout planning. However, the inherent alignment capabilities of T2I models are still inadequate. By reviewing the link between generative and discriminative modeling, we posit that T2I models' discriminative abilities may reflect their text-image alignment proficiency during generation. In this light, we advocate bolstering the discriminative abilities of T2I models to achieve more precise text-to-image alignment for generation. We present a discriminative adapter built on T2I models to probe their discriminative abilities on two representative tasks and leverage discriminative fine-tuning to improve their text-image alignment. As a bonus of the discriminative adapter, a self-correction mechanism can leverage discriminative gradients to better align generated images to text prompts during inference. Comprehensive evaluations across three benchmark datasets, including both in-distribution and out-of-distribution scenarios, demonstrate our method's superior generation performance. Meanwhile, it achieves state-of-the-art discriminative performance on the two discriminative tasks compared to other generative models.
• Abstract（参考訳）: テキスト・ツー・イメージ・ジェネレーション(T2I)の進歩にもかかわらず、従来の手法では、生成された画像間の関係の混乱のような、テキスト・イメージの誤調整問題に直面することが多い。 既存のソリューションには、クロスアテンション操作による構成理解の改善や、レイアウト計画の改善のための大規模言語モデルの統合が含まれる。 しかし、T2Iモデル固有のアライメント能力はまだ不十分である。 生成モデルと識別モデルの関係をレビューすることにより、T2Iモデルの識別能力は、生成中のテキスト画像のアライメント能力を反映する可能性があると仮定する。 本稿では,T2Iモデルの識別能力を向上し,より正確なテキストと画像のアライメントを実現することを提唱する。 本稿では,T2Iモデル上に構築された識別アダプターを用いて,2つの代表課題における識別能力を探索し,テキスト画像のアライメントを改善するために識別微調整を利用する。 識別アダプタのボーナスとして、自己補正機構は、識別勾配を利用して、推論中に生成された画像をテキストプロンプトに整合させる。 分布内および分布外の両方のシナリオを含む3つのベンチマークデータセットの総合的な評価は,本手法の優れた世代性能を実証する。 一方,2つの識別課題における最先端の識別性能を,他の生成モデルと比較して達成する。

関連論文リスト

• YINYANG-ALIGN: Benchmarking Contradictory Objectives and Proposing Multi-Objective Optimization based DPO for Text-to-Image Alignment [6.120756739633247]
  YinYangAlignは、テキスト・トゥ・イメージ(T2I)システムのアライメント忠実度を体系的に定量化するフレームワークである。 6つの基本的かつ本質的に矛盾する設計目標に対処する。 YinYangAlignには、人間のプロンプト、アライメントされた(コセン)応答、AI生成出力のミスアライメント(拒絶)、根底にある矛盾の説明を含む詳細なデータセットが含まれている。
  論文  参考訳（メタデータ） (2025-02-05T18:46:20Z)
• EvalMuse-40K: A Reliable and Fine-Grained Benchmark with Comprehensive Human Annotations for Text-to-Image Generation Model Evaluation [29.176750442205325]
  本研究では,EvalMuse-40Kベンチマークにコントリビュートし,画像テキストアライメントに関連するタスクに対して,微粒な人間のアノテーションを用いた40K画像テキストペアを収集する。 本稿では,T2Iモデルの画像テキストアライメント機能を評価するための2つの新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-12-24T04:08:25Z)
• Discriminative Image Generation with Diffusion Models for Zero-Shot Learning [53.44301001173801]
  ゼロショット学習のための新たな識別画像生成フレームワークであるDIG-ZSLを提案する。 我々は、事前学習されたカテゴリー識別モデル(CDM)の指導のもと、各未確認クラスの識別クラストークン(DCT)を学習する。 本稿では,4つのデータセットに対する広範な実験と可視化を行い,(1)多彩で高品質な画像を生成すること,(2)最先端の非人間アノテーション型セマンティックプロトタイプ手法を大きなマージンで上回ること,(3)人間アノテーションを利用したベースラインよりも同等あるいは優れた性能を実現すること,の4つが示される。
  論文  参考訳（メタデータ） (2024-12-23T02:18:54Z)
• Removing Distributional Discrepancies in Captions Improves Image-Text Alignment [76.31530836622694]
  画像テキストアライメントの予測を改善するためのモデルを提案する。 このアプローチでは、アライメントタスクのための高品質なトレーニングデータセットの生成に重点を置いています。 また,テキストアライメントに基づくテキスト・ツー・イメージ・モデルによる画像のランク付けにより,本モデルの適用性を示す。
  論文  参考訳（メタデータ） (2024-10-01T17:50:17Z)
• Information Theoretic Text-to-Image Alignment [49.396917351264655]
  相互情報(MI)は、モデルアライメントのガイドに使用される。 本手法は,自己教師型微調整を用いて,プロンプトと画像間のポイントワイド(MI)推定に依存する。 解析の結果,本手法は最先端の手法よりも優れているが,MIを推定するにはT2Iモデル自体の事前学習されたデノナイジングネットワークが必要であることが示唆された。
  論文  参考訳（メタデータ） (2024-05-31T12:20:02Z)
• Beyond Inserting: Learning Identity Embedding for Semantic-Fidelity Personalized Diffusion Generation [21.739328335601716]
  本稿では,パーソナライズされた生成のための安定拡散モデルに,正確でインタラクティブなIDを挿入することに焦点を当てる。 顔のレイアウトや背景などのIDに依存しない情報を絡み合わせるのではなく、顔領域にフィットする顔の注意損失を提案する。 その結果,従来の手法と比較して,IDの精度,テキストベースの操作能力,一般化性が向上した。
  論文  参考訳（メタデータ） (2024-01-31T11:52:33Z)
• DiffDis: Empowering Generative Diffusion Model with Cross-Modal Discrimination Capability [75.9781362556431]
  本稿では,拡散過程下での1つのフレームワークに,モダクティブと差別的事前学習を統一するDiffDisを提案する。 DiffDisは画像生成タスクと画像テキスト識別タスクの両方において単一タスクモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-18T05:03:48Z)
• Discffusion: Discriminative Diffusion Models as Few-shot Vision and Language Learners [88.07317175639226]
  本稿では,事前学習したテキストと画像の拡散モデルを数ショットの識別学習者に変換する新しい手法,DSDを提案する。 本手法は, 安定拡散モデルにおいて, 視覚情報とテキスト情報の相互影響を捉えるために, クロスアテンションスコアを用いている。
  論文  参考訳（メタデータ） (2023-05-18T05:41:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。