論文の概要: Alignment-Guided Score Matching for Text-to-Image Alignment in Diffusion Models

• arxiv url: http://arxiv.org/abs/2605.30038v1
• Date: Thu, 28 May 2026 14:57:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:56.407045
• Title: Alignment-Guided Score Matching for Text-to-Image Alignment in Diffusion Models
• Title（参考訳）: 拡散モデルにおけるテキストと画像のアライメントのためのアライメント誘導スコアマッチング
• Abstract要約: 拡散モデルは、非常にリアルなイメージを生成するが、しばしば正確なテキストイメージアライメントに苦労する。 コントラッシブアライメントガイダンスを統合することで,ソフトトークンを改良する軽量で報酬のないポストトレーニング手法を提案する。 提案手法はGenEvalベンチマークの精度を35%以上向上させる。
• 参考スコア（独自算出の注目度）: 46.98979357654374
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Diffusion models generate highly realistic images but often struggle with precise text-image alignment. While recent post-training methods improve alignment using external rewards or human preference signals, their performance heavily depends on reward quality and does not directly address alignment within the diffusion process itself. Recent reward-free approaches such as SoftREPA demonstrate that optimizing soft text tokens via contrastive learning can effectively improve text-image representation alignment, outperforming standard parameter-efficient fine-tuning baselines. However, the contrastive formulation can excessively penalize negative pairs, which manifests as characteristic failure cases such as over-counting and repetition. To address this issue, we propose a lightweight, reward-free post-training method that refines soft tokens by integrating contrastive alignment guidance directly into the score-matching objective of diffusion models. By assigning alignment directions at the score level, our approach mitigates these limitations and yields more coherent and semantically faithful generations. Experiments show that our method matches SoftREPA while substantially improving its failure cases, achieving over 35% improvement in counting accuracy on the GenEval benchmark. Our method is seamlessly applicable to existing diffusion backbones (SD1.5, SDXL, and SD3), and is complementary to existing RL-based diffusion post-training methods. Project page: https://jaayeon.github.io/AGSM
• Abstract（参考訳）: 拡散モデルは、非常にリアルなイメージを生成するが、しばしば正確なテキストイメージアライメントに苦労する。 最近のポストトレーニング手法では、外部報酬や人間の嗜好信号を用いてアライメントを改善するが、その性能は報酬の品質に大きく依存し、拡散プロセス自体のアライメントに直接対応しない。 SoftREPAのような最近の報酬のないアプローチは、コントラスト学習によるソフトテキストトークンの最適化が、テキスト画像の表現アライメントを効果的に改善し、標準パラメータ効率の微調整ベースラインを上回ることを実証している。 しかし、対照的な定式化は負のペアを過度に罰し、過剰カウントや反復のような特徴的な障害ケースとして現れる。 そこで本研究では,拡散モデルのスコアマッチング対象に直接コントラストアライメントガイダンスを組み込むことにより,ソフトトークンを改良する軽量で報酬のないポストトレーニング手法を提案する。 スコアレベルでアライメントの方向を割り当てることで、これらの制限を緩和し、一貫性とセマンティックに忠実な世代を生み出す。 実験の結果,本手法はSoftREPAと一致し,故障事例を大幅に改善し,GenEvalベンチマークの精度を35%以上向上した。 本手法は既存の拡散バックボーン (SD1.5, SDXL, SD3) にシームレスに適用でき, 既存のRLに基づく拡散後訓練法と相補的である。 プロジェクトページ:https://jaayeon.github.io/AGSM

関連論文リスト

• DebFilter: Eradicating Biases Stashed in Value [4.060731229044571]
  テキスト・ツー・イメージ・モデルにおける社会的・意味的バイアスを軽減するために,DebFilterを提案する。 我々は,クロスアテンション内の値成分を調整するバイアス補正戦略を適用した。 本手法は,生成した画像の社会的バイアスを効果的に再構成することを示した。
  論文  参考訳（メタデータ） (2026-05-27T08:49:41Z)
• Beyond Pairwise Preferences: Listwise Reward-Aware Alignment for Diffusion Models [73.08789211016567]
  Diffusion LAIRは、拡散モデルに対する報酬を考慮したリストワイズ選好最適化手法である。 実験により、テキスト・ツー・イメージ生成、合成生成、画像編集ベンチマークにおいて、強い優先最適化ベースラインを上回ります。
  論文  参考訳（メタデータ） (2026-05-26T03:09:24Z)
• FAIL: Flow Matching Adversarial Imitation Learning for Image Generation [52.643484089126844]
  フローマッチングモデルのポストトレーニング-高品質な目標値による出力分布の調整-数学的にはImitation Learningと等価である。 本研究では,明示的な報酬やペア比較を伴わずに,対人訓練による政策-専門的差異を最小限に抑えるフローマッチング・アドリアラーニング(FAIL)を提案する。
  論文  参考訳（メタデータ） (2026-02-12T16:36:33Z)
• Direct Diffusion Score Preference Optimization via Stepwise Contrastive Policy-Pair Supervision [14.612317970237436]
  拡散モデルは、テキスト・ツー・イメージ合成のような生成タスクにおいて印象的な結果を得た。 彼らはしばしば、アウトプットを曖昧なユーザ意図と完全に整合させ、一貫した美的品質を維持するのに苦労する。 既存の嗜好ベースのトレーニング手法は、これらの問題に対処するのに役立つが、コストが高く、潜在的にノイズの多い人間のデータセットに依存している。
  論文  参考訳（メタデータ） (2025-12-29T12:46:07Z)
• LightFair: Towards an Efficient Alternative for Fair T2I Diffusion via Debiasing Pre-trained Text Encoders [84.39846443122853]
  本稿では,テキストエンコーダの悪影響に対処して,公平なテキスト・画像拡散モデル(T2I DM)を実現するための,新しい軽量なアプローチを提案する。 T2I DMは複数のコンポーネントから構成されており、テキストエンコーダは最も微調整可能なフロントエンドモジュールである。 本手法は,SOTA脱バイアスをトレーニング負荷のわずか1/4ドルで達成し,サンプリング負荷がほぼ増加しない。
  論文  参考訳（メタデータ） (2025-09-28T04:46:39Z)
• SAGA: Learning Signal-Aligned Distributions for Improved Text-to-Image Generation [9.212970624261272]
  最先端のテキスト画像モデルは視覚的に印象的な結果をもたらすが、しばしばテキストプロンプトへの正確なアライメントに苦慮する。 本稿では,ターゲットプロンプトに条件付き高精度分布を学習する手法を提案する。 提案手法は,過度な最適化を緩和する微粒化制御を実現することで,デノナイズプロセス中の信号成分を明示的にモデル化する。
  論文  参考訳（メタデータ） (2025-08-19T14:31:15Z)
• Towards Better Alignment: Training Diffusion Models with Reinforcement Learning Against Sparse Rewards [52.90573877727541]
  拡散モデル微調整では強化学習(RL)が検討されている。 RLの有効性はスパース報酬の挑戦によって制限される。 $textB2text-DiffuRL$は既存の最適化アルゴリズムと互換性がある。
  論文  参考訳（メタデータ） (2025-03-14T09:45:19Z)
• Aligning Text to Image in Diffusion Models is Easier Than You Think [47.623236425067326]
  SoftREPAは、表現アライメントにソフトテキストトークンを活用する軽量でコントラスト的な微調整戦略である。 本手法は,テキストと画像表現間の相互情報を明示的に増大させ,意味的一貫性を向上させる。
  論文  参考訳（メタデータ） (2025-03-11T10:14:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。