論文の概要: FestDPO: Few-step Generator Alignment with Direct Preference Optimization

• arxiv url: http://arxiv.org/abs/2609.34673v1
• Date: Mon, 28 Sep 2026 09:06:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 11:24:00.085145
• Title: FestDPO: Few-step Generator Alignment with Direct Preference Optimization
• Title（参考訳）: FestDPO: 直接選好最適化による数ステップのジェネレータアライメント
• Abstract要約: FestDPO (Few-step DPO) は、数ステップ生成モデルに対する直接選好最適化(DPO)の拡張である。 数ステップ生成モデルの高速サンプリング機能を利用して,DPO損失のサンプルベース近似を計算可能とした。 実世界のタスクでは、テキスト・ツー・イメージ生成とタンパク質のバックボーン生成という2つの領域でFestDPOを評価する。
• 参考スコア（独自算出の注目度）: 25.61104298205902
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Few-step generative models can generate high-fidelity samples within a few function evaluations. Despite this efficiency, generated samples may not exhibit desirable properties. When these properties are difficult to encode as an explicit reward function, direct preference optimization (DPO) can align generative models using pairwise preference feedback without training a separate reward model. However, extending DPO to few-step generative models is challenging because few-step generative models are generally implicit, making the likelihood evaluation required by DPO intractable. To address this challenge, we introduce Few-step DPO (FestDPO), an extension of DPO for few-step generative models that leverages nonparametric likelihood estimation from empirical samples. By exploiting the fast sampling capabilities of few-step generative models, our approach makes sample-based approximation of DPO loss computationally feasible. Furthermore, the sample-based formulation makes FestDPO agnostic to the model family and sampling procedure. Our toy experiment demonstrates that FestDPO matches the reward-tilted target distribution across four few-step generators. For real-world tasks, we evaluate FestDPO in two domains: text-to-image generation and protein backbone generation. In text-to-image generation, FestDPO outperforms preference optimization baselines in both win rates against the base models and human evaluation scores. In protein backbone generation, it achieves a higher $β$-sheet fraction and better structural designability than the baselines.
• Abstract（参考訳）: 少数のステップ生成モデルは、いくつかの関数評価で高忠実度サンプルを生成することができる。 この効率にもかかわらず、生成されたサンプルは望ましい性質を示さないかもしれない。 これらの特性が明示的な報酬関数として符号化が難しい場合、直接選好最適化(DPO)は、個別の報奨モデルを訓練することなく、ペアの選好フィードバックを用いて生成モデルを整列させることができる。 しかし、DPOを数段階生成モデルに拡張することは、ほとんどステップ生成モデルは一般的に暗黙的であるため、DPOが要求する可能性の評価は難解である。 この課題に対処するために、実験サンプルからの非パラメトリック推定を利用した数ステップ生成モデルのためのDPOの拡張であるFew-step DPO(FestDPO)を導入する。 数ステップ生成モデルの高速サンプリング機能を利用して,DPO損失のサンプルベース近似を計算可能とした。 さらに、サンプルベースの定式化により、FestDPOはモデルファミリーやサンプリング手順に依存しない。 おもちゃ実験により,FestDPOは4つの数ステップの発電機間での報奨型目標分布と一致することが示された。 実世界のタスクでは、テキスト・ツー・イメージ生成とタンパク質のバックボーン生成という2つの領域でFestDPOを評価する。 テキスト・ツー・イメージ生成において、FestDPOは、ベースモデルと人間の評価スコアに対する勝利率の両方において、優先最適化ベースラインを上回っている。 タンパク質のバックボーン生成では、β$シートの割合が高く、ベースラインよりも構造設計性が高い。

関連論文リスト

• TPMM-DPO: Trajectory-aware Preference-guided Model Merging for Iterative Direct Preference Optimization [0.0]
  提案するTPMM-DPOは,軌道対応の嗜好誘導モデルマージ手法である。 従来の反復DPOとは対照的に、TPMM-DPOはノイズの好みによって引き起こされるエラーの蓄積を効果的に軽減する。
  論文  参考訳（メタデータ） (2026-05-22T09:11:20Z)
• P^2O: Joint Policy and Prompt Optimization [74.45293488495592]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデル(LLM)の推論能力を高めるための強力なパラダイムとして登場した。 プロンプト最適化とポリシー最適化を相乗化する新しいフレームワークであるP2Oを提案する。
  論文  参考訳（メタデータ） (2026-03-23T12:08:47Z)
• Beyond Reward Margin: Rethinking and Resolving Likelihood Displacement in Diffusion Models via Video Generation [6.597818816347323]
  直接選好最適化は、選択されたサンプルと拒否されたサンプルを区別することにより、生成出力を人間の選好に合わせることを目的としている。 DPOの限界は、トレーニング中に選択されたサンプルの確率がパラドックス的に減少する確率変位である。 本稿では,Adaptive Rejection Scaling (ARS) と Implicit Preference Regularization (IPR) を組み合わせた新しいソリューションである Policy-Guided DPO を紹介する。 実験の結果,PG-DPOは測定値と定性評価の両方において既存手法よりも優れていた。
  論文  参考訳（メタデータ） (2025-11-24T12:37:49Z)
• Inversion-DPO: Precise and Efficient Post-Training for Diffusion Models [14.976130146925724]
  Inversion-DPOは報酬モデリングを回避するアライメントフレームワークである。 本手法は, 拡散DPOにおいて, 入賞・敗戦からノイズへの決定論的逆転を伴って, 抽出可能な後部サンプリングを行う。 Inversion-DPOをテキスト・画像生成の基本課題と合成画像生成の課題に適用する。
  論文  参考訳（メタデータ） (2025-07-14T02:59:28Z)
• Finding the Sweet Spot: Preference Data Construction for Scaling Preference Optimization [66.67988187816185]
  本研究の目的は、繰り返しランダムサンプリングにより、オンラインサンプルの数を増大させ、アライメント性能を向上させることである。 実験の結果,サンプルサイズが大きくなるにつれて,この戦略がエフェデクリンの性能向上につながることが明らかとなった。 サンプルの規模が大きくなるにつれてモデル性能を継続的に向上するスケーラブルな嗜好データ構築戦略を導入する。
  論文  参考訳（メタデータ） (2025-02-24T04:22:57Z)
• The Crucial Role of Samplers in Online Direct Preference Optimization [36.68862142959827]
  我々はDPOの収束率を厳密に解析し、正確な勾配設定の下で異なるサンプリング戦略で解析する。 提案するオンラインサンプリングは$textbflinear$ convergenceを達成する一方、均一サンプリングは$textbflinear$ convergenceを達成する。 例えば、Safe-RLHFデータセットでバニラDPOを74ドル以上上回っている。
  論文  参考訳（メタデータ） (2024-09-29T07:53:50Z)
• Robust Preference Optimization through Reward Model Distillation [68.65844394615702]
  Direct Preference Optimization (DPO) は、プライオリティデータに基づいてポリシーを直接訓練する一般的なオフラインアライメント手法である。 我々はこの現象を分析し、蒸留を用いて生成対よりも真の嗜好分布のより良いプロキシを得る。 以上の結果から,このような報酬モデルからの蒸留は,優先アノテーションの分布変化に対するロバスト性の向上につながることが示唆された。
  論文  参考訳（メタデータ） (2024-05-29T17:39:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。