Fugu-MT 論文翻訳(概要): Distribution-Based Regularization for Reward Fine-Tuning Diffusion and Flow Models

論文の概要: Distribution-Based Regularization for Reward Fine-Tuning Diffusion and Flow Models

arxiv url: http://arxiv.org/abs/2610.24897v1
Date: Sat, 17 Oct 2026 22:36:17 GMT
ステータス: 情報取得中
システム内更新日: 2026-10-20 22:39:26.676604
Title: Distribution-Based Regularization for Reward Fine-Tuning Diffusion and Flow Models
Title（参考訳）: 逆微調整拡散と流れモデルのための分布ベース正規化
Abstract要約: 本稿では,DFR(Distributional Functional Rewards)を提案する。 DFRはテキスト・ツー・イメージの微調整タスク全体にわたって、KL調整ベースラインのピーク報酬と一致し、同じまたは低いドリフトで最大29%まで多様性を増大させる。
参考スコア（独自算出の注目度）: 125.59725212365646
License:
Abstract: Reward fine-tuning is an effective way to adapt pretrained diffusion and flow-matching models to downstream objectives, but aggressive optimization often leads to mode collapse and distributional drift. Existing methods attempt to control this drift with reverse-KL regularization, implemented as an $\ell_2$ penalty on the velocity field; however, this functions by indirectly constraining sampling dynamics rather than directly acting on the generated distribution. To address this, we propose DFR (Distributional Functional Rewards), which augments the task reward with a distribution-dependent, per-sample reward that acts explicitly on the generated distribution. Formally, we generalize the KL-regularized objective from expected rewards, which are linear in the model's distribution, to convex functionals of it. The first variation of this objective defines an effective, distribution-dependent reward that directly penalizes deviation from the pretrained distribution. This formulation yields additive per-sample rewards for the Fréchet distance (FD), maximum mean discrepancy (MMD), and DreamSim diversity, recovering several recently proposed rewards as special cases. Across various text-to-image fine-tuning tasks, DFR matches the peak reward of KL-tuned baselines while increasing diversity by up to 29% at equal or lower drift.
Abstract（参考訳）: リワード微調整は、事前訓練された拡散とフローマッチングモデルを下流の目的に適応させる効果的な方法であるが、アグレッシブな最適化はしばしばモード崩壊と分布のドリフトをもたらす。既存の手法では、速度場上で$\ell_2$のペナルティとして実装された逆KL正規化でこのドリフトを制御しようとするが、これは生成した分布に直接作用するのではなく、間接的にサンプリングダイナミクスを制約することによって機能する。そこで本研究では,DFR(Distributional Functional Rewards)を提案する。形式的には、KL-正則化対象を、モデル分布において線形である期待報酬から、その関数の凸関数へと一般化する。この目的の最初のバリエーションは、事前訓練された分布からの偏差を直接罰する効果的な分布依存報酬を定義する。この定式化はフレシェ距離(Fréchet distance, FD)、最大平均誤差(MMD)、およびドリームシムの多様性に対して加法的な1サンプル当たりの報酬を与える。 DFRはテキスト・ツー・イメージの微調整タスク全体にわたって、KL調整ベースラインのピーク報酬と一致し、同じまたは低いドリフトで最大29%まで多様性を増大させる。

論文の概要: Distribution-Based Regularization for Reward Fine-Tuning Diffusion and Flow Models

関連論文リスト