論文の概要: D2PO: Optimizing Diffusion Samplers via Dynamic Preference
- arxiv url: http://arxiv.org/abs/2607.06609v1
- Date: Tue, 07 Jul 2026 06:05:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-09 22:50:30.1517
- Title: D2PO: Optimizing Diffusion Samplers via Dynamic Preference
- Title（参考訳）: D2PO:動的推論による拡散サンプリングの最適化
- Abstract要約: D2POは拡散サンプリングポリシーを最適化するための原則的なフレームワークである。
動的選好を導入し、アライメントに使用するサンプルを徐々に改善する。
実験により、D2POは拡散サンプリング器と知覚的品質をより忠実に整列することが示された。
- 参考スコア（独自算出の注目度）: 55.530862428116244
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose D2PO (Dynamic Direct Preference Optimization), a principled framework for optimizing diffusion sampling policies with respect to timestep schedules and classifier-free guidance (CFG) weights. Our work is motivated by a fundamental limitation of existing student-teacher regression frameworks; low-NFE student samplers are trained to mimic high-NFEteachers, often sacrificing high-frequency texture fidelity while preserving coarse global structures, thereby misaligning the sampler with perceptual quality. D2PO addresses this challenge by reformulating sampler optimization as a preference-based alignment problem, leveraging the Direct Preference Optimization (DPO) framework. To make DPO applicable to diffusion samplers, we model the sampling policy as an energy-based model (EBM), transforming preference comparisons into tractable energy differences. We further introduce a novel energy formulation derived directly from the pretrained score network, enabling preference evaluation in perturbed spaces that jointly capture structural consistency and fine-grained details. Moreover, we introduce dynamic preferences, where the preferred samples used for alignment progressively improve as the sampling policies are learned. This self-improving mechanism replaces rigid static teacher supervision with an iterative, preference-guided refinement process, providing progressively stronger alignment signals. Extensive experiments demonstrate that D2PO aligns diffusion samplers with perceptual quality more faithfully, unlocking the full potential of high-quality teachers and consistently outperforming conventional regression-based schedulers under low-NFE constraints.
- Abstract（参考訳）: 本稿では,D2PO(Dynamic Direct Preference Optimization)を提案する。D2POは,時間ステップスケジュールと分類器フリーガイダンス(CFG)重みに関する拡散サンプリングポリシーを最適化するフレームワークである。
我々の研究は、既存の学生-教師の回帰フレームワークの基本的な制限によって動機付けられており、低NFE学生のサンプルは、高NFE教師を模倣するように訓練されており、しばしば、粗いグローバルな構造を維持しながら、高頻度のテクスチャ忠実さを犠牲にして、サンプルを知覚的品質で誤調整する。
D2POは、サンプル最適化を優先順位に基づくアライメント問題として修正し、直接優先度最適化(DPO)フレームワークを活用することで、この問題に対処する。
DPOを拡散サンプリングに適用するために、サンプリングポリシーをエネルギーベースモデル(EBM)としてモデル化し、選好比較を抽出可能なエネルギー差に変換する。
さらに、事前学習したスコアネットワークから直接導出した新しいエネルギー定式化を導入し、構造的整合性や微細な詳細性を共同で捕捉する摂動空間における選好評価を可能にした。
さらに、サンプリングポリシーが学習されるにつれて、アライメントに好まれるサンプルが徐々に改善される動的嗜好を導入する。
この自己改善機構は、厳格な静的教師の監督を反復的、嗜好的な改善プロセスに置き換え、徐々に強力なアライメント信号を提供する。
広汎な実験により、D2POは拡散スケジューラと知覚的品質をより忠実に整合させ、高品質の教師の潜在能力を解放し、低NFE制約下で従来の回帰ベースのスケジューラを一貫して上回ることを示した。
関連論文リスト
- Be Your Own Teacher: Steering Protein Language Models via Unsupervised Reward Optimization [85.4863852505905]
タンパク質言語モデル(PLM)の教師なし報酬最適化を導入する。
我々の重要な洞察は、本質的なモデルの不確実性とタンパク質表現モデルによって誘導される意味的整合性を組み合わせたタスク非依存報酬は、ベースモデルと温度レギュレーションの制御可能性指標と強い相関を示すことである。
我々のフレームワークは、ラベル付けされた好みや実験的なフィードバックが不足したり、利用できないような環境で、制御可能な生体分子設計へのスケーラブルな経路を提供する。
論文 参考訳（メタデータ） (2026-06-17T11:42:01Z) - How Sampling Shapes LLM Alignment: From One-Shot Optima to Iterative Dynamics [65.67654005892469]
適切なインスタンス依存サンプリングは、より強力なランキング保証を得られる一方で、スキュードオン政治サンプリングは、構造化された嗜好の下で過剰な濃度を誘導できることを示す。
次に、学習したポリシーが将来のサンプリングおよび参照ポリシーにフィードバックする反復的なアライメントダイナミクスを分析する。
我々の理論的な洞察は直接選好最適化にまで拡張され、我々が捉えた現象はより広範な選好アライメント手法に共通していることを示している。
論文 参考訳（メタデータ） (2026-02-12T17:11:08Z) - AEGPO: Adaptive Entropy-Guided Policy Optimization for Diffusion Models [54.56296715999545]
人間のフィードバックからの強化学習は、拡散とフローモデルの整合性を示す。
GRPOのような政策最適化手法は、非効率で静的なサンプリング戦略に悩まされている。
適応エントロピー誘導政策最適化(Adaptive Entropy-Guided Policy Optimization, AEGPO)を提案する。
論文 参考訳（メタデータ） (2026-02-06T16:09:50Z) - Beyond Reward Margin: Rethinking and Resolving Likelihood Displacement in Diffusion Models via Video Generation [6.597818816347323]
直接選好最適化は、選択されたサンプルと拒否されたサンプルを区別することにより、生成出力を人間の選好に合わせることを目的としている。
DPOの限界は、トレーニング中に選択されたサンプルの確率がパラドックス的に減少する確率変位である。
本稿では,Adaptive Rejection Scaling (ARS) と Implicit Preference Regularization (IPR) を組み合わせた新しいソリューションである Policy-Guided DPO を紹介する。
実験の結果,PG-DPOは測定値と定性評価の両方において既存手法よりも優れていた。
論文 参考訳（メタデータ） (2025-11-24T12:37:49Z) - G$^2$RPO: Granular GRPO for Precise Reward in Flow Models [74.21206048155669]
本稿では,サンプリング方向の高精度かつ包括的な報酬評価を実現する新しいグラニュラー-GRPO(G$2$RPO)フレームワークを提案する。
複数の拡散スケールで計算された利点を集約するマルチグラニュラリティ・アドバンテージ・インテグレーション・モジュールを導入する。
G$2$RPOは既存のフローベースGRPOベースラインを著しく上回る。
論文 参考訳（メタデータ） (2025-10-02T12:57:12Z) - ACPO: Adaptive Curriculum Policy Optimization for Aligning Vision-Language Models in Complex Reasoning [17.928214942495412]
ACPOは、安定的で、準政治的な探索段階から、効率的で、非政治的な搾取段階へ、原則的な移行を編成する動的カリキュラムを採用している。
我々は、MathVista、LogicVista、MMMU-Proなど、挑戦的なマルチモーダル推論ベンチマークのスイートで広範な実験を行う。
その結果,ACPOはDAPOやPAPOなどの強いベースラインを一貫して上回り,最先端性能,収束の促進,訓練安定性の向上を実現している。
論文 参考訳（メタデータ） (2025-10-01T09:11:27Z) - Prior-Guided Diffusion Planning for Offline Reinforcement Learning [5.819784482811376]
Prior Guidance(PG)は、行動閉ざされた拡散モデルに先立って標準ガウスを置き換えた新しいサンプリングフレームワークである。
我々は,潜時空間における行動規則化を適用した効率的なトレーニング戦略を提案し,PGが多種多種多種多種多種多種多様オフラインRLベンチマークにおいて最先端拡散ポリシーやプランナーより優れていることを実証的に示す。
論文 参考訳（メタデータ） (2025-05-16T05:39:02Z) - Refining Alignment Framework for Diffusion Models with Intermediate-Step Preference Ranking [50.325021634589596]
拡散モデルと人間の嗜好を整合させるためのTalored Optimization Preference(TailorPO)フレームワークを提案する。
提案手法は,ステップワイド報酬に基づいて,中間雑音のサンプルを直接ランク付けし,勾配方向の問題を効果的に解決する。
実験結果から,本手法は審美的,人為的な画像生成能力を大幅に向上させることが示された。
論文 参考訳（メタデータ） (2025-02-01T16:08:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。