Fugu-MT 論文翻訳(概要): Plug-and-Play Prompt Refinement via Latent Feedback for Diffusion Model Alignment

論文の概要: Plug-and-Play Prompt Refinement via Latent Feedback for Diffusion Model Alignment

arxiv url: http://arxiv.org/abs/2510.00430v1
Date: Wed, 01 Oct 2025 02:18:58 GMT
ステータス: 翻訳完了
システム内更新日: 2025-10-03 16:59:20.332853
Title: Plug-and-Play Prompt Refinement via Latent Feedback for Diffusion Model Alignment
Title（参考訳）: 拡散モデルアライメントのための遅延フィードバックによるプラグアンドプレイプロンプト微細化
Authors: Suhyeon Lee, Jong Chul Ye,
Abstract要約: PromptLoopはプラグインとプレイの強化学習フレームワークで、遅延フィードバックをステップワイドな即興改善に組み込む。この設計は、プロンプトベースのアライメントの柔軟性と一般性を維持しながら、拡散RLアプローチと構造的な類似性を実現する。
参考スコア（独自算出の注目度）: 54.17386822940477
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Despite the recent progress, reinforcement learning (RL)-based fine-tuning of diffusion models often struggles with generalization, composability, and robustness against reward hacking. Recent studies have explored prompt refinement as a modular alternative, but most adopt a feed-forward approach that applies a single refined prompt throughout the entire sampling trajectory, thereby failing to fully leverage the sequential nature of reinforcement learning. To address this, here we introduce PromptLoop, a plug-and-play RL framework that incorporates latent feedback into step-wise prompt refinement. Rather than modifying diffusion model weights, a multimodal large language model (MLLM) is trained with RL to iteratively update prompts based on intermediate latent states of diffusion models. This design achieves a structural analogy to the Diffusion RL approach, while retaining the flexibility and generality of prompt-based alignment. Extensive experiments across diverse reward functions and diffusion backbones demonstrate that PromptLoop (i) achieves effective reward optimization, (ii) generalizes seamlessly to unseen models, (iii) composes orthogonally with existing alignment methods, and (iv) mitigates over-optimization and reward hacking.
Abstract（参考訳）: 近年の進歩にもかかわらず、強化学習(RL)に基づく拡散モデルの微調整は、一般化、構成可能性、報酬ハッキングに対する堅牢性に苦慮することが多い。近年の研究では、モジュール的な代替手段としての迅速な改良が検討されているが、ほとんどの場合、サンプリング軌道全体を通して単一の改良されたプロンプトを適用するフィードフォワードアプローチを採用しており、これにより強化学習のシーケンシャルな性質を完全に活用できない。これに対処するために、PmptLoopというプラグイン・アンド・プレイのRLフレームワークを紹介します。拡散モデルの重みを変更する代わりに、拡散モデルの中間潜時状態に基づくプロンプトを反復的に更新するために、マルチモーダル大言語モデル(MLLM)をRLで訓練する。この設計は、プロンプトベースのアライメントの柔軟性と一般性を維持しながら、拡散RLアプローチと構造的な類似性を実現する。多様な報酬関数と拡散バックボーンの広汎な実験によるPromptLoopの証明 i) 効果的な報酬最適化を実現する。 (ii) 目に見えないモデルにシームレスに一般化する。三既存のアライメント方法と直交して構成し、 (iv)過度な最適化と報酬のハッキングを緩和する。

関連論文リスト

Prompt Optimization Via Diffusion Language Models [73.9599434962714]
本稿では,迅速な最適化のための拡散型フレームワークを提案する。本手法は,下流言語モデルへのアクセスや変更を必要とせずに,フレキシブルかつスパンレベルのプロンプト更新を可能にする。適度な拡散ステップ数によって、精製品質と安定性のバランスが良くなることを示す。
論文参考訳（メタデータ） (2026-01-30T00:00:54Z)
Reasoning Palette: Modulating Reasoning via Latent Contextualization for Controllable Exploration for (V)LMs [49.66344956133349]
推論能力は、大規模な(ビジョン)言語モデルのための推論時間性能と強化学習(RL)トレーニングの両方を形作る。本稿では,戦略的文脈化のための潜在変数をモデルに付与する新しい潜在変調フレームワークであるReasoning Paletteを提案する。
論文参考訳（メタデータ） (2025-12-19T03:32:53Z)
Fine-Tuning Diffusion-Based Recommender Systems via Reinforcement Learning with Reward Function Optimization [21.769717387197943]
拡散モデルは、ユーザ・イテム相互作用の生成過程をモデル化することによって、最先端のパフォーマンスを提供する。 ReFiTはReinforcement Learning(RL)ベースのFin-Tuningを拡散型レコメンデータシステムに統合する新しいフレームワークである。
論文参考訳（メタデータ） (2025-11-10T10:38:16Z)
Enhancing Diffusion-based Restoration Models via Difficulty-Adaptive Reinforcement Learning with IQA Reward [93.04811239892852]
強化学習(Reinforcement Learning, RL)は近年, 拡散モデルに組み入れられている。本稿では,拡散型修復モデルにRLを効果的に組み込む方法について検討する。
論文参考訳（メタデータ） (2025-11-03T14:57:57Z)
Divergence Minimization Preference Optimization for Diffusion Model Alignment [58.651951388346525]
Divergence Minimization Preference Optimization (DMPO) は、逆KL分散を最小化して拡散モデルを整列する原理的手法である。その結果,DMPOで微調整した拡散モデルは,既存の手法よりも常に優れるか,一致しているかが示唆された。 DMPOは、優先順位調整のための堅牢でエレガントな経路を解き、拡散モデルにおいて実用的な性能を持つ原理的理論をブリッジする。
論文参考訳（メタデータ） (2025-07-10T07:57:30Z)
VARD: Efficient and Dense Fine-Tuning for Diffusion Models with Value-based RL [28.95582264086289]
VAlue-based Reinforced Diffusion (VARD) は、中間状態から報酬の期待を予測する値関数を初めて学習する新しい手法である。提案手法は,バックプロパゲーションによる効果的な,安定したトレーニングを可能にしつつ,事前訓練されたモデルに近づき続ける。
論文参考訳（メタデータ） (2025-05-21T17:44:37Z)
Generalized Interpolating Discrete Diffusion [65.74168524007484]
仮面拡散はその単純さと有効性のために一般的な選択である。ノイズ発生過程の設計において、より柔軟性の高い離散拡散(GIDD)を補間する新しいファミリを一般化する。 GIDDの柔軟性をエクスプロイトし、マスクと均一ノイズを組み合わせたハイブリッドアプローチを探索し、サンプル品質を向上する。
論文参考訳（メタデータ） (2025-03-06T14:30:55Z)
Score as Action: Fine-Tuning Diffusion Generative Models by Continuous-time Reinforcement Learning [15.789898162610529]
人間のフィードバックからの強化学習(RLHF)は、信頼できる生成AIモデルを構築する上で重要なステップとなっている。本研究は、連続時間RLを用いた微動拡散モデルに対する規律付きアプローチを開発することを目的とする。
論文参考訳（メタデータ） (2025-02-03T20:50:05Z)
Prompt Tuning with Diffusion for Few-Shot Pre-trained Policy Generalization [55.14484317645865]
我々は,オフライン強化学習タスクにおいて,例外的な品質向上を促す条件拡散モデルを構築した。本稿では,Promptディフューザがプロンプトチューニングプロセスの堅牢かつ効果的なツールであることを示し,メタRLタスクにおいて高い性能を示す。
論文参考訳（メタデータ） (2024-11-02T07:38:02Z)
Training-free Diffusion Model Alignment with Sampling Demons [15.400553977713914]
提案手法は,報酬関数やモデル再学習を介さずに,推論時の復調過程を導出するための最適化手法である。提案手法は,高報酬に対応する領域の密度を最適化することにより,雑音分布の制御を行う。実験の結果,提案手法は平均的美学のテキスト・ツー・イメージ生成を著しく改善することがわかった。
論文参考訳（メタデータ） (2024-10-08T07:33:49Z)
Understanding Reinforcement Learning-Based Fine-Tuning of Diffusion Models: A Tutorial and Review [63.31328039424469]
このチュートリアルは、下流の報酬関数を最適化するための微調整拡散モデルのための方法を網羅的に調査する。 PPO,微分可能最適化,報酬重み付きMLE,値重み付きサンプリング,経路整合性学習など,様々なRLアルゴリズムの適用について説明する。
論文参考訳（メタデータ） (2024-07-18T17:35:32Z)
Diffusion Spectral Representation for Reinforcement Learning [17.701625371409644]
本稿では,表現学習の観点からの強化学習に拡散モデルの柔軟性を活用することを提案する。拡散モデルとエネルギーベースモデルとの接続を利用して拡散スペクトル表現(Diff-SR)を開発する。 Diff-SRは、拡散モデルからのサンプリングの難易度と推論コストを明示的に回避しつつ、効率的なポリシー最適化と実用的なアルゴリズムを実現する方法を示す。
論文参考訳（メタデータ） (2024-06-23T14:24:14Z)
When to Update Your Model: Constrained Model-based Reinforcement Learning [50.74369835934703]
モデルベースRL(MBRL)の非遅延性能保証のための新規で一般的な理論スキームを提案する。続いて導いた境界は、モデルシフトとパフォーマンス改善の関係を明らかにします。さらなる例では、動的に変化する探索からの学習モデルが、最終的なリターンの恩恵をもたらすことが示されている。
論文参考訳（メタデータ） (2022-10-15T17:57:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。