論文の概要: Free Lunch Alignment of Text-to-Image Diffusion Models without Preference Image Pairs

• arxiv url: http://arxiv.org/abs/2509.25771v1
• Date: Tue, 30 Sep 2025 04:32:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-01 17:09:04.428035
• Title: Free Lunch Alignment of Text-to-Image Diffusion Models without Preference Image Pairs
• Title（参考訳）: 優先画像ペアのないテキスト・画像拡散モデルの自由ランチアライメント
• Authors: Jia Jun Cheng Xian, Muchen Li, Haotian Yang, Xin Tao, Pengfei Wan, Leonid Sigal, Renjie Liao,
• Abstract要約: 本稿では,T2Iモデルの"フリーランチ"アライメントを可能にするフレームワークであるText Preference Optimization (TPO)を紹介する。 TPOは、ミスマッチしたプロンプトよりもマッチしたプロンプトを好むようにモデルを訓練することで機能する。 我々のフレームワークは汎用的で、既存の嗜好ベースのアルゴリズムと互換性がある。
• 参考スコア（独自算出の注目度）: 36.42060582800515
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in diffusion-based text-to-image (T2I) models have led to remarkable success in generating high-quality images from textual prompts. However, ensuring accurate alignment between the text and the generated image remains a significant challenge for state-of-the-art diffusion models. To address this, existing studies employ reinforcement learning with human feedback (RLHF) to align T2I outputs with human preferences. These methods, however, either rely directly on paired image preference data or require a learned reward function, both of which depend heavily on costly, high-quality human annotations and thus face scalability limitations. In this work, we introduce Text Preference Optimization (TPO), a framework that enables "free-lunch" alignment of T2I models, achieving alignment without the need for paired image preference data. TPO works by training the model to prefer matched prompts over mismatched prompts, which are constructed by perturbing original captions using a large language model. Our framework is general and compatible with existing preference-based algorithms. We extend both DPO and KTO to our setting, resulting in TDPO and TKTO. Quantitative and qualitative evaluations across multiple benchmarks show that our methods consistently outperform their original counterparts, delivering better human preference scores and improved text-to-image alignment. Our Open-source code is available at https://github.com/DSL-Lab/T2I-Free-Lunch-Alignment.
• Abstract（参考訳）: 近年の拡散型テキスト・ツー・イメージ(T2I)モデルの発展により,テキスト・プロンプトから高品質な画像を生成することに成功した。 しかし、テキストと生成された画像の正確なアライメントを確保することは、最先端の拡散モデルにとって重要な課題である。 これを解決するために、既存の研究では強化学習と人間のフィードバック(RLHF)を用いて、T2I出力を人間の好みに合わせる。 しかし、これらの手法は、ペア画像の好みデータに直接依存するか、学習された報酬関数を必要とする。 本研究では、T2Iモデルの「フリーランチ」アライメントを可能にするフレームワークであるテキスト優先最適化(TPO)を導入し、ペア画像優先データを必要としないアライメントを実現する。 TPOは、マッチしたプロンプトよりもマッチしたプロンプトを好むようにモデルを訓練することで機能する。 我々のフレームワークは汎用的で、既存の嗜好ベースのアルゴリズムと互換性がある。 我々はDPOとKTOの両方を設定に拡張し、結果としてTDPOとTKTOとなる。 複数のベンチマークで定量的、質的な評価を行った結果、我々の手法は元の手法よりも一貫して優れており、人間の好みのスコアが向上し、テキストと画像のアライメントが改善されていることがわかった。 オープンソースコードはhttps://github.com/DSL-Lab/T2I-Free-Lunch-Alignmentで公開しています。

関連論文リスト

• Aligning Text to Image in Diffusion Models is Easier Than You Think [47.623236425067326]
  SoftREPAは、表現アライメントにソフトテキストトークンを活用する軽量でコントラスト的な微調整戦略である。 本手法は,テキストと画像表現間の相互情報を明示的に増大させ,意味的一貫性を向上させる。
  論文  参考訳（メタデータ） (2025-03-11T10:14:22Z)
• Information Theoretic Text-to-Image Alignment [49.396917351264655]
  相互情報(MI)は、モデルアライメントのガイドに使用される。 本手法は,自己教師型微調整を用いて,プロンプトと画像間のポイントワイド(MI)推定に依存する。 解析の結果,本手法は最先端の手法よりも優れているが,MIを推定するにはT2Iモデル自体の事前学習されたデノナイジングネットワークが必要であることが示唆された。
  論文  参考訳（メタデータ） (2024-05-31T12:20:02Z)
• Direct Consistency Optimization for Robust Customization of Text-to-Image Diffusion Models [67.68871360210208]
  テキスト・ツー・イメージ(T2I)拡散モデルは、いくつかの個人画像に微調整された場合、高い一貫性で視覚を生成することができる。 本稿では,微調整モデルと事前学習モデルとの偏差を制御し,直接整合性最適化(Direct Consistency Optimization)と呼ばれる新たな微調整対象を提案する。 提案手法は, 通常の微調整モデルとのマージに最適化したモデルよりも, 高速な忠実度と主観的忠実度が得られることを示す。
  論文  参考訳（メタデータ） (2024-02-19T09:52:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。