論文の概要: TILT: Improving Compositional Generation in Diffusion Models with a Model-Intrinsic Reward
- arxiv url: http://arxiv.org/abs/2607.21606v1
- Date: Sat, 16 May 2026 16:56:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-02 22:55:38.935723
- Title: TILT: Improving Compositional Generation in Diffusion Models with a Model-Intrinsic Reward
- Title(参考訳): TILT:モデル固有の逆流を伴う拡散モデルにおける構成生成の改善
- Abstract要約: テスト時間報酬アライメントによる合成テキスト・画像生成のためのトレーニングフリーフレームワークであるTILTを提案する。
構成失敗を結合分布と単一概念分布の重複モードとして解釈し、すべての概念が共同に存在するサンプルを好む報酬を定義する。
T2ICompBenchによるプロンプト実験により,従来のベースラインに比べて画質を保ちながらコンポジションアライメントを改善した。
- 参考スコア(独自算出の注目度): 7.47572316039482
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in powerful text-to-image generation models have made it increasingly important to develop test-time methods that modify the sampling trajectory to produce images more faithful to complex compositional prompts. We present TILT, a training-free framework for compositional text-to-image generation via test-time reward alignment. We interpret compositional failures as overlap modes between joint and single-concept distributions, and define a reward that favors samples where all concepts are jointly present. This reward is intrinsic to the base model and does not require any external supervision or reward models. This yields a KL-constrained objective with a closed-form tilted target distribution and principled guiding steps for diffusion sampling. The interaction of concept distributions together with the above reward naturally leads to two different guidance strategies while a hybrid approach that balances their respective benefits produces stronger performance. Experiments on prompts from T2ICompBench show that our method improves compositional alignment while preserving image quality compared to previous baselines.
- Abstract(参考訳): 近年の強力なテキスト・画像生成モデルの発展により、複雑な合成プロンプトに忠実な画像を生成するためにサンプリング軌道を変更するテスト時間法の開発がますます重要になっている。
テスト時間報酬アライメントによる合成テキスト・画像生成のためのトレーニングフリーフレームワークであるTILTを提案する。
構成失敗を結合分布と単一概念分布の重複モードとして解釈し、すべての概念が共同に存在するサンプルを好む報酬を定義する。
この報酬はベースモデルに固有のものであり、外部の監督や報酬モデルを必要としない。
これにより、KL制約対象を閉形式傾斜目標分布とし、拡散サンプリングの原理的導出ステップを導出する。
概念分布と上記の報酬の相互作用は、自然に2つの異なるガイダンス戦略をもたらす一方、それぞれの利点のバランスをとるハイブリッドアプローチは、より強力なパフォーマンスをもたらす。
T2ICompBenchによるプロンプト実験により,従来のベースラインに比べて画質を保ちながらコンポジションアライメントを改善した。
関連論文リスト
- Coevolving Representations in Joint Image-Feature Diffusion [13.292849179066993]
拡散を導く表現空間は、それ自体が生成タスクに適応すべきである。
学習中に意味表現空間が進化するフレームワークであるCoevolving Diffusion Representation (CoReDi)を提案する。
実験により、CoReDiは、固定表現空間で動作する連成拡散モデルと比較して、より高速な収束とより高いサンプル品質を実現することが示された。
論文 参考訳(メタデータ) (2026-04-19T15:29:15Z) - Reward Score Matching: Unifying Reward-based Fine-tuning for Flow and Diffusion Models [54.597200388738656]
Reward-based fine-tuningは、事前訓練された拡散またはフローベース生成モデルを、より高い逆サンプルに向けて操ることを目的としている。
報酬スコアマッチング (RSM) と呼ばれる共通フレームワークで記述できることが示される。
論文 参考訳(メタデータ) (2026-04-19T12:47:52Z) - UniGRPO: Unified Policy Optimization for Reasoning-Driven Visual Generation [51.41441081823758]
インターリーブドジェネレーションが可能な統一モデルが有望なパラダイムとして登場している。
インターリーブ・ジェネレーションに適した統合強化学習フレームワークを提案する。
実験により,この統合学習レシピは推論による画像生成品質を著しく向上させることが示された。
論文 参考訳(メタデータ) (2026-03-24T17:59:17Z) - Alignment of Diffusion Model and Flow Matching for Text-to-Image Generation [39.484148941369234]
拡散モデルとフローマッチングは、テキスト・画像生成において顕著な成功を収めた。
本稿では,アライメント問題の根底にある性質を活用することで,新しいアライメントフレームワークを提案する。
計算コストを60%以上削減した1ステップ生成のファインタニングモデルに匹敵する性能を実現する。
論文 参考訳(メタデータ) (2026-01-31T00:06:55Z) - Fast, faithful and photorealistic diffusion-based image super-resolution with enhanced Flow Map models [8.773008452897791]
FlowMapSRは、効率的な推論のために明示的に設計された画像超解像のための新しい拡散ベースのフレームワークである。
FlowMapSRは、最近のx4およびx8アップスケーリングの最先端手法よりも、再構築忠実度とフォトリアリズムのバランスが良いことを示す。
論文 参考訳(メタデータ) (2026-01-23T11:25:04Z) - HiCoGen: Hierarchical Compositional Text-to-Image Generation in Diffusion Models via Reinforcement Learning [66.99487505369254]
HiCoGenは、新しいChain of Synthesisパラダイムに基づいて構築されている。
複雑なプロンプトを最小の意味単位に分解する。
その後、これらのユニットを反復的に合成し、各ステップで生成された画像が次に重要な視覚的コンテキストを提供する。
実験により,提案手法は概念カバレッジと構成精度の両方において,既存手法よりも有意に優れていた。
論文 参考訳(メタデータ) (2025-11-25T06:24:25Z) - Composition and Alignment of Diffusion Models using Constrained Learning [79.36736636241564]
拡散モデルは、複雑な分布からサンプルを採取する能力により、生成的モデリングにおいて普及している。
i) 拡散モデルを微調整して報酬と整合させるアライメントと、(ii) 予め訓練された拡散モデルを組み合わせて、それぞれが生成した出力に望ましい属性を強調する合成である。
本稿では,共役モデルが報酬制約を満たすこと,あるいは(潜在的に複数の)事前学習モデルに近づき続けることを強制することによって,拡散モデルのアライメントと構成を統一する制約付き最適化フレームワークを提案する。
論文 参考訳(メタデータ) (2025-08-26T15:06:30Z) - IterComp: Iterative Composition-Aware Feedback Learning from Model Gallery for Text-to-Image Generation [70.8833857249951]
IterCompは、複数のモデルから合成対応モデルの好みを集約する新しいフレームワークである。
クローズドループ方式で構成性を向上する反復的フィードバック学習法を提案する。
IterCompは、拡散モデルと合成生成のための報酬フィードバック学習の新たな研究の道を開く。
論文 参考訳(メタデータ) (2024-10-09T17:59:13Z) - JoReS-Diff: Joint Retinex and Semantic Priors in Diffusion Model for Low-light Image Enhancement [69.6035373784027]
低照度画像強調(LLIE)は条件付き拡散モデルを用いて有望な性能を実現している。
従来手法は、タスク固有の条件戦略の十分な定式化の重要性を無視するものであった。
本稿では,Retinex および semantic-based pre-processing condition を付加した新しいアプローチである JoReS-Diff を提案する。
論文 参考訳(メタデータ) (2023-12-20T08:05:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。