論文の概要: Aligning Text to Image in Diffusion Models is Easier Than You Think

• arxiv url: http://arxiv.org/abs/2503.08250v3
• Date: Fri, 21 Mar 2025 07:28:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-24 11:33:37.020103
• Title: Aligning Text to Image in Diffusion Models is Easier Than You Think
• Title（参考訳）: 拡散モデルでテキストを画像に合わせるのは、思ったより簡単
• Authors: Jaa-Yeon Lee, Byunghee Cha, Jeongsol Kim, Jong Chul Ye,
• Abstract要約: ソフトテキストトークンを用いたSoftREPAと呼ばれる軽量なコントラスト微調整方式を導入する。 本手法は,テキストと画像表現間の相互情報を明示的に増大させ,意味的一貫性を向上させる。
• 参考スコア（独自算出の注目度）: 47.623236425067326
• License:
• Abstract: While recent advancements in generative modeling have significantly improved text-image alignment, some residual misalignment between text and image representations still remains. Although many approaches have attempted to address this issue by fine-tuning models using various reward models, etc., we revisit the challenge from the perspective of representation alignment-an approach that has gained popularity with the success of REPresentation Alignment (REPA). We first argue that conventional text-to-image (T2I) diffusion models, typically trained on paired image and text data (i.e., positive pairs) by minimizing score matching or flow matching losses, is suboptimal from the standpoint of representation alignment. Instead, a better alignment can be achieved through contrastive learning that leverages both positive and negative pairs. To achieve this efficiently even with pretrained models, we introduce a lightweight contrastive fine tuning strategy called SoftREPA that uses soft text tokens. This approach improves alignment with minimal computational overhead by adding fewer than 1M trainable parameters to the pretrained model. Our theoretical analysis demonstrates that our method explicitly increases the mutual information between text and image representations, leading to enhanced semantic consistency. Experimental results across text-to-image generation and text-guided image editing tasks validate the effectiveness of our approach in improving the semantic consistency of T2I generative models.
• Abstract（参考訳）: 生成的モデリングの最近の進歩はテキスト画像のアライメントを著しく改善しているが、テキストと画像の表現の間には若干の相違が残っている。 様々な報酬モデル等を用いて微調整モデルを用いてこの問題に対処するアプローチは数多くあるが,REPA(RePresentation Alignment)の成功により普及したアライメント・アライメント・アプローチ(Represententation Alignment)の観点から,課題を再考する。 まず、従来のテキスト・ツー・イメージ拡散モデル(T2I)は、通常、スコアマッチングやフローマッチングの損失を最小限に抑えて、ペア画像とテキストデータ(正のペア)で訓練されるが、表現アライメントの観点からは最適ではない、と論じる。 むしろ、より優れたアライメントは、正対と負のペアの両方を活用する対照的な学習によって達成できる。 事前訓練したモデルでも効率的にこれを実現するために,ソフトテキストトークンを用いたSoftREPAと呼ばれる軽量なコントラスト微調整方式を導入する。 このアプローチは、事前訓練されたモデルに1M未満のトレーニング可能なパラメータを追加することで、最小限の計算オーバーヘッドでアライメントを改善する。 提案手法は,テキストと画像表現間の相互情報を明示的に向上し,セマンティック一貫性が向上することを示す。 T2I生成モデルのセマンティック一貫性を向上させるために,テキスト・ツー・イメージ生成タスクとテキスト・ガイド画像編集タスクを用いた実験結果の有効性を検証した。

関連論文リスト

• Removing Distributional Discrepancies in Captions Improves Image-Text Alignment [76.31530836622694]
  画像テキストアライメントの予測を改善するためのモデルを提案する。 このアプローチでは、アライメントタスクのための高品質なトレーニングデータセットの生成に重点を置いています。 また,テキストアライメントに基づくテキスト・ツー・イメージ・モデルによる画像のランク付けにより,本モデルの適用性を示す。
  論文  参考訳（メタデータ） (2024-10-01T17:50:17Z)
• Information Theoretic Text-to-Image Alignment [49.396917351264655]
  相互情報(MI)は、モデルアライメントのガイドに使用される。 本手法は,自己教師型微調整を用いて,プロンプトと画像間のポイントワイド(MI)推定に依存する。 解析の結果,本手法は最先端の手法よりも優れているが,MIを推定するにはT2Iモデル自体の事前学習されたデノナイジングネットワークが必要であることが示唆された。
  論文  参考訳（メタデータ） (2024-05-31T12:20:02Z)
• DEADiff: An Efficient Stylization Diffusion Model with Disentangled Representations [64.43387739794531]
  現在のエンコーダベースのアプローチは、スタイルの転送中にテキスト・ツー・イメージモデルのテキスト制御性を著しく損なう。 この問題に対処するために、以下の2つの戦略を用いてDEADiffを紹介します。 DeAiffは、テキスト・ツー・イメージモデルに固有のテキスト制御性と、参照画像とスタイルの類似性との間の最適な視覚的スタイリング結果と最適なバランスを得る。
  論文  参考訳（メタデータ） (2024-03-11T17:35:23Z)
• Improving Compositional Text-to-image Generation with Large Vision-Language Models [26.202725136839632]
  合成テキスト画像モデルは、入力テキストと整合した高品質な画像を生成するのにしばしば困難に直面する。 生成した画像と対応する入力テキストのアライメントの多次元評価には,大規模視覚言語モデル(LVLM)を用いる。 提案手法は,合成画像生成におけるテキスト画像のアライメントを大幅に改善することを確認した。
  論文  参考訳（メタデータ） (2023-10-10T05:09:05Z)
• RealignDiff: Boosting Text-to-Image Diffusion Model with Coarse-to-fine Semantic Re-alignment [112.45442468794658]
  本稿では,RealignDiffという2段階の粗大なセマンティックアライメント手法を提案する。 粗いセマンティックリアライメントフェーズにおいて、生成された画像キャプションと与えられたテキストプロンプトとのセマンティックな相違を評価するために、新しいキャプション報酬を提案する。 微妙なセマンティックリアライメントステージは、局所的な密集キャプション生成モジュールと再重み付けアテンション変調モジュールを用いて、局所的なセマンティックビューから生成された画像を洗練する。
  論文  参考訳（メタデータ） (2023-05-31T06:59:21Z)
• If at First You Don't Succeed, Try, Try Again: Faithful Diffusion-based Text-to-Image Generation by Selection [53.320946030761796]
  拡散ベースのテキスト・トゥ・イメージ(T2I)モデルは、テキスト・プロンプトへの忠実さを欠く可能性がある。 大規模なT2I拡散モデルは通常想定されるよりも忠実であり、複雑なプロンプトに忠実な画像を生成することができることを示す。 本稿では,テキストプロンプトの候補画像を生成するパイプラインを導入し,自動スコアリングシステムにより最適な画像を選択する。
  論文  参考訳（メタデータ） (2023-05-22T17:59:41Z)
• GLIDE: Towards Photorealistic Image Generation and Editing with Text-Guided Diffusion Models [16.786221846896108]
  テキスト条件画像合成問題に対する拡散モデルについて検討し、2つの異なるガイダンス戦略を比較した。 後者は、フォトリアリズムとキャプションの類似性の両方において、人間の評価者によって好まれており、しばしばフォトリアリスティックなサンプルを生成する。 我々のモデルは、画像のインペイントを行うように微調整することができ、強力なテキスト駆動画像編集を可能にします。
  論文  参考訳（メタデータ） (2021-12-20T18:42:55Z)
• Text to Image Generation with Semantic-Spatial Aware GAN [41.73685713621705]
  テキストから画像生成(T2I)モデルは、テキスト記述と意味的に一致するフォトリアリズム画像を生成することを目的としている。 本稿では,テキストエンコーダがより良いテキスト情報を活用できるように,エンドツーエンドで訓練された新しいフレームワークSemantic-Spatial Aware GANを提案する。
  論文  参考訳（メタデータ） (2021-04-01T15:48:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。