論文の概要: Parallel Diffusion Solver via Residual Dirichlet Policy Optimization
- arxiv url: http://arxiv.org/abs/2512.22796v1
- Date: Sun, 28 Dec 2025 05:48:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-30 22:37:30.229175
- Title: Parallel Diffusion Solver via Residual Dirichlet Policy Optimization
- Title(参考訳): 残差ディリクレポリシ最適化による並列拡散解法
- Authors: Ruoyu Wang, Ziyu Li, Beier Zhu, Liangyu Yuan, Hanwang Zhang, Xun Yang, Xiaojun Chang, Chi Zhang,
- Abstract要約: 拡散モデル(DM)は、最先端の生成性能を達成したが、シーケンシャルなデノナイジング特性のため、高いサンプリング遅延に悩まされている。
既存のソルバベースの加速度法では、低次元の予算で画像品質が著しく低下することが多い。
本研究では,各ステップに複数の勾配並列評価を組み込んだ新しいODE解法であるEnsemble Parallel Directionsolvr(EPD-EPr)を提案する。
- 参考スコア(独自算出の注目度): 88.7827307535107
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion models (DMs) have achieved state-of-the-art generative performance but suffer from high sampling latency due to their sequential denoising nature. Existing solver-based acceleration methods often face significant image quality degradation under a low-latency budget, primarily due to accumulated truncation errors arising from the inability to capture high-curvature trajectory segments. In this paper, we propose the Ensemble Parallel Direction solver (dubbed as EPD-Solver), a novel ODE solver that mitigates these errors by incorporating multiple parallel gradient evaluations in each step. Motivated by the geometric insight that sampling trajectories are largely confined to a low-dimensional manifold, EPD-Solver leverages the Mean Value Theorem for vector-valued functions to approximate the integral solution more accurately. Importantly, since the additional gradient computations are independent, they can be fully parallelized, preserving low-latency sampling nature. We introduce a two-stage optimization framework. Initially, EPD-Solver optimizes a small set of learnable parameters via a distillation-based approach. We further propose a parameter-efficient Reinforcement Learning (RL) fine-tuning scheme that reformulates the solver as a stochastic Dirichlet policy. Unlike traditional methods that fine-tune the massive backbone, our RL approach operates strictly within the low-dimensional solver space, effectively mitigating reward hacking while enhancing performance in complex text-to-image (T2I) generation tasks. In addition, our method is flexible and can serve as a plugin (EPD-Plugin) to improve existing ODE samplers.
- Abstract(参考訳): 拡散モデル(DM)は、最先端の生成性能を達成したが、シーケンシャルなデノナイジング特性のため、高いサンプリング遅延に悩まされている。
既存のソルバベースの加速度法は、主に高曲率軌道セグメントを捕捉できないことに起因するトランケーション誤差の蓄積により、低遅延予算下で画像品質の大幅な劣化に直面していることが多い。
本稿では,各ステップに複数の並列勾配評価を組み込んだ新しいODEソルバーであるEnsemble Parallel Direction solver(EPD-Solver)を提案する。
EPD-ソルバーは、サンプリング軌跡が主に低次元多様体に限られているという幾何学的洞察に触発され、ベクトル値関数に対する平均値定理を利用して積分解をより正確に近似する。
重要なことは、追加の勾配計算は独立であるため、完全な並列化が可能であり、低遅延サンプリングの性質を保っていることである。
2段階最適化フレームワークを導入する。
当初、EPD-Solverは蒸留に基づくアプローチによって学習可能なパラメータの小さなセットを最適化した。
さらに,パラメータ効率のよい強化学習(RL)ファインチューニング手法を提案し,解法を確率的ディリクレポリシとして再構成する。
大規模なバックボーンを微調整する従来の方法とは異なり、我々のRLアプローチは低次元ソルバ空間内で厳密に動作し、複雑なテキスト・ツー・イメージ(T2I)生成タスクのパフォーマンスを高めながら、報酬のハッキングを効果的に軽減する。
さらに,本手法はフレキシブルであり,既存のODEサンプルを改良するためのプラグイン(EPD-Plugin)として機能する。
関連論文リスト
- Distilling Parallel Gradients for Fast ODE Solvers of Diffusion Models [53.087070073434845]
拡散モデル(DM)は、最先端の生成性能を達成したが、シーケンシャルなデノナイジング特性のため、高いサンプリング遅延に悩まされている。
既存のソルバベースの加速度法では、低レイテンシの予算で画像品質が劣化することが多い。
本稿では、各ODEステップに複数の並列勾配評価を組み込むことで、トランケーションエラーを軽減する新しいODEソルバであるEnsemble Parallel Direction Solutionrを提案する。
論文 参考訳(メタデータ) (2025-07-20T03:08:06Z) - Kernel-Adaptive PI-ELMs for Forward and Inverse Problems in PDEs with Sharp Gradients [0.0]
本稿では,KAPI-ELM(Kernel Adaptive Physics-Informed Extreme Learning Machine)を紹介する。
局所的急勾配を含む前方および逆部分微分方程式(PDE)の問題を解くように設計されている。
KAPI-ELMは、フォワード設定と逆設定の両方で最先端の精度を達成する。
論文 参考訳(メタデータ) (2025-07-14T13:03:53Z) - Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳(メタデータ) (2023-10-20T12:45:12Z) - Constrained Optimization via Exact Augmented Lagrangian and Randomized
Iterative Sketching [55.28394191394675]
等式制約付き非線形非IBS最適化問題に対する適応的不正確なニュートン法を開発した。
ベンチマーク非線形問題,LVMのデータによる制約付きロジスティック回帰,PDE制約問題において,本手法の優れた性能を示す。
論文 参考訳(メタデータ) (2023-05-28T06:33:37Z) - An iterative multi-fidelity approach for model order reduction of
multi-dimensional input parametric PDE systems [0.0]
多次元入力パラメトリック空間を用いた大規模PDEシステムの縮小のためのサンプリングパラメトリック戦略を提案する。
これはパラメトリック空間全体の低忠実度モデルを効率的なサンプリング戦略を用いてサンプリングポイントに利用することで達成される。
提案手法は,低忠実度モデルを用いてソリューションデータベースを同化するため,オフライン段階での計算コストを大幅に削減する。
論文 参考訳(メタデータ) (2023-01-23T15:25:58Z) - Neural Stochastic Dual Dynamic Programming [99.80617899593526]
我々は、問題インスタンスを断片的線形値関数にマッピングすることを学ぶトレーニング可能なニューラルモデルを導入する。
$nu$-SDDPは、ソリューションの品質を犠牲にすることなく、問題解決コストを大幅に削減できる。
論文 参考訳(メタデータ) (2021-12-01T22:55:23Z) - STRIDE along Spectrahedral Vertices for Solving Large-Scale Rank-One
Semidefinite Relaxations [27.353023427198806]
我々は、制約のない最適化問題(POP)の高次半定値プログラミング緩和を考察する。
POPから独立してSDPを解く既存のアプローチは、そのようなSDPの典型的な非エネルギー性のため、大きな問題にスケールできないか、あるいは緩やかな収束に苦しむことができない。
我々は SpecTrahedral vErtices (STRIDE) と呼ばれる新しいアルゴリズムフレームワークを提案する。
論文 参考訳(メタデータ) (2021-05-28T18:07:16Z) - Cogradient Descent for Bilinear Optimization [124.45816011848096]
双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。
一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。
本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
論文 参考訳(メタデータ) (2020-06-16T13:41:54Z) - Convergence and sample complexity of gradient methods for the model-free
linear quadratic regulator problem [27.09339991866556]
本稿では,コントローラの空間を直接探索することにより,未知の計算系に対する最適制御を求める。
我々は、安定化フィードバックゲインの勾配-フローのダイナミクスセットに焦点をあてて、そのような手法の性能と効率を最小化するための一歩を踏み出した。
論文 参考訳(メタデータ) (2019-12-26T16:56:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。