論文の概要: Explore or Converge? Stage-Guided Per-Step Optimization for Diffusion Models

• arxiv url: http://arxiv.org/abs/2608.06768v1
• Date: Fri, 07 Aug 2026 03:41:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-10 16:21:25.341127
• Title: Explore or Converge? Stage-Guided Per-Step Optimization for Diffusion Models
• Title（参考訳）: 探索か収束か? 拡散モデルのためのステージガイド付きステップごとの最適化
• Abstract要約: 拡散モデルにおける選好アライメントのための強化学習は有望だが、報酬空間によって制限される。 拡散モデルのためのステージ誘導パーステップ最適化(SGPO)を提案する。 本手法は, 生成品質が26.7%, 収束速度が36.7%向上した。
• 参考スコア（独自算出の注目度）: 11.180362540642689
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Diffusion models have strong generative capabilities. However, their maximum likelihood training objective only focuses on reconstructing the data distribution, making it difficult to align with specific preferences. Reinforcement learning (RL) for preference alignment in diffusion models is promising but limited by reward sparsity. Since a single reward cannot support optimization, existing RL methods usually backpropagate the final reward to all previous steps. However, denoising is stage-wise, with distinct semantics and controllability. Repeating the final reward across all steps creates a temporal objective mismatch, encouraging reward shortcuts that lead to reward hacking. At the same time, due to reward backfilling, each time step receives the same reward, making it impossible to distinguish between actions, thereby weakening the optimization process. To resolve this issue, we propose Stage-Guided Per-Step Optimization (SGPO) for diffusion models, which jointly leverages signal-to-noise ratio and semantic changes to identify generation stages and adaptively assign stage-specific objectives. Early denoising is chaotic and far from the final reward, resulting in weak reward-behavior correlation. This stage should prioritize exiting the chaotic state. In the mid stage, the latent transitions to a stable structure, where the final reward better corresponds to generative behavior. Therefore, this stage optimizes the final reward while exploring diversity to avoid early convergence to a single mode. In the late stage, the latent's core structure is largely fixed, and preference optimization mainly amplifies local details, risking overfitting. Therefore, stable convergence is preferred to avoid quality degradation. Results from 16 comparative experiments validate SGPO. Our method achieves 26.7% average gains in generative quality and 36.7% higher convergence speed.
• Abstract（参考訳）: 拡散モデルには強力な生成能力がある。 しかし、その最大限の訓練目的は、データ分布の再構築にのみ焦点を合わせており、特定の好みに合わせることは困難である。 拡散モデルにおける選好アライメントのための強化学習(RL)は有望だが、報酬空間によって制限される。 単一の報酬は最適化をサポートできないため、既存のRLメソッドは通常、すべての前のステップに最終報酬をバックプロパレートする。 しかし、denoisingはステージワイドであり、セマンティクスと制御性が異なる。 すべてのステップで最終報酬を繰り返すと、時間的客観的なミスマッチが発生し、報酬のショートカットを奨励し、報酬のハッキングにつながる。 同時に、報酬バックフィルのため、各タイムステップは同じ報酬を受け取り、アクションの区別が不可能になり、最適化プロセスが弱まる。 この問題を解決するために,信号と雑音の比率と意味的変化を併用して生成段階を特定し,ステージ固有の目的を適応的に割り当てる拡散モデルのためのSGPO(Stage-Guided Per-Step Optimization)を提案する。 初期の妄想はカオスであり、最終的な報酬とはかけ離れており、報酬と行動の相関が弱い。 この段階はカオス状態からの離脱を優先すべきである。 中間段階では、潜伏剤は安定な構造に移行し、最終報酬は生成的行動によく一致する。 したがって、この段階は、単一モードへの早期収束を避けるため、多様性を探求しながら最終的な報酬を最適化する。 後期では、潜伏子の中心構造は概ね固定されており、好みの最適化は主に局所的な詳細を増幅し、過度に適合するリスクを負う。 したがって、品質劣化を避けるために安定した収束が好ましい。 16回比較実験の結果,SGPOが検証された。 本手法は, 生成品質が26.7%, 収束速度が36.7%向上した。

関連論文リスト

• PAST: Prompt-Adaptive Sampling Termination for Efficient Diffusion Model [11.180362540642689]
  PASTは既存のRL微調整法の計算効率を66.7%向上させる。 また、デュアル適応制御機構により、好みの最適化品質を最大29.5%向上させる。
  論文  参考訳（メタデータ） (2026-08-07T04:35:26Z)
• Beyond Uniform Forgetting: A Study of Sequential Direct Preference Optimization Across Preference Settings [11.551054698858266]
  4つの選好設定における逐次直接選好最適化について検討する。 シーケンシャルなDPOは単一の忘れパターンを生成しない。 メカニカル診断では、Stage2グラデーションとアダプタの更新は、すべての設定で以前の目的とほぼ直交している。
  論文  参考訳（メタデータ） (2026-06-18T03:20:41Z)
• Do Less, Achieve More: Do We Need Every-Step Optimization for RL Fine-tuning of Diffusion Models? [30.438505697106496]
  ほとんどの研究は、RLをフルデノナイジング軌道に適用し、計算的にコストがかかり、選好アライメントが弱まる。 計算コストを低減しつつ生成品質を向上させるRL拡張プラグインであるAdaScopeを提案する。 最先端の手法と比較して、AdaScopeは計算コストを59%削減しながら、パフォーマンスを66%向上させる。
  論文  参考訳（メタデータ） (2026-05-15T11:14:13Z)
• TMPO: Trajectory Matching Policy Optimization for Diverse and Efficient Diffusion Alignment [52.570581883709345]
  本稿では,報酬を人間レベルの報酬分布マッチングに置き換えるトラジェクティブマッチングポリシバランス最適化(TMPO)を提案する。 TMPOは最先端の手法に対する生成的多様性を9.1%向上させ、下流および効率の指標で競合性能を達成する。 大規模フロープレフィックスのマルチトラックトレーニング時間を短縮するため、TMPOはDynamic Tree Smplingモデルを導入し、動的にスケジュールされたステップでトラジェクトリがdenoisingとブランチを共有する。
  論文  参考訳（メタデータ） (2026-05-09T04:41:02Z)
• Anchoring Values in Temporal and Group Dimensions for Flow Matching Model Alignment [61.80228667422234]
  VGPOは時間次元とグループ次元の両方で値の推定を再定義する。 スパース端末の報酬を密度の高いプロセス認識値推定に変換する。 標準群正規化を絶対値によって強化された新しいプロセスに置き換え、安定した最適化信号を維持する。
  論文  参考訳（メタデータ） (2025-12-13T16:31:26Z)
• SynCast: Synergizing Contradictions in Precipitation Nowcasting via Diffusion Sequential Preference Optimization [62.958457694151384]
  本研究では,大規模な言語モデルにおける人的フィードバックからの強化学習の成功を動機として,降水量の最適化を初めて導入する。 第一段階では、フレームワークはFARを減らすことに焦点を当て、誤報を効果的に抑えるためにモデルを訓練する。
  論文  参考訳（メタデータ） (2025-10-22T16:11:22Z)
• Discrete Diffusion Trajectory Alignment via Stepwise Decomposition [80.66701883088935]
  離散拡散モデルに対する軌道アライメントにアプローチするオフライン選好最適化法を提案する。 問題をステップ毎の後部をマッチングすることにより、段階的にアライメントする目的の集合に分解する。 DNA配列設計、タンパク質の逆フォールディング、言語モデリングを含む複数の領域にわたる実験は、我々のアプローチの優位性を一貫して示している。
  論文  参考訳（メタデータ） (2025-07-07T09:52:56Z)
• Reward-Guided Iterative Refinement in Diffusion Models at Test-Time with Applications to Protein and DNA Design [87.58981407469977]
  進化的アルゴリズムにインスパイアされた拡散モデルを用いた推論時間報酬最適化のための新しいフレームワークを提案する。 当社のアプローチでは,各イテレーションにおける2つのステップ – ノイズ発生と報酬誘導という,反復的な改善プロセスを採用しています。
  論文  参考訳（メタデータ） (2025-02-20T17:48:45Z)
• Aligning Few-Step Diffusion Models with Dense Reward Difference Learning [81.85515625591884]
  Stepwise Diffusion Policy Optimization (SDPO) は、数ステップの拡散モデルに適したアライメント手法である。 SDPOは、すべての中間ステップに密集した報酬フィードバックを組み込んで、すべてのデノナイジングステップを一貫したアライメントを確保する。 SDPOは、様々なステップ構成にまたがる報酬ベースのアライメントにおいて、従来手法よりも一貫して優れています。
  論文  参考訳（メタデータ） (2024-11-18T16:57:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。