論文の概要: Adaptive Second-Order Solvers for Fast Stochastic Diffusion Sampling

• arxiv url: http://arxiv.org/abs/2610.03034v1
• Date: Fri, 02 Oct 2026 09:17:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.296793
• Title: Adaptive Second-Order Solvers for Fast Stochastic Diffusion Sampling
• Title（参考訳）: 高速確率拡散サンプリングのための適応二階解法
• Abstract要約: 我々は拡散雑音正規化誤差推定器を用いて、比例積分(PI)ステップサイズ制御を拡散に適用する。 サンプルごとの軌道は共有構造を示し、適応サンプリングの利点の多くを保持する固定スケジュールに集約可能であることを示す。
• 参考スコア（独自算出の注目度）: 10.601485763507142
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models rely on numerical solvers requiring time-discretization, which has a large influence on the tradeoff between sampling cost and quality. However, the computational difficulty of the reverse process varies along the sampling trajectory and across data distributions, making the choice of discretization important. We adapt proportional-integral (PI) step-size control to diffusion, using our diffusion noise-normalised error estimator. Unlike existing adaptive methods in diffusion that respond only to the current error, the PI solver also incorporates the previous error, yielding smoother step adaptation. We further show that these per-sample trajectories exhibit shared structure and can be aggregated into a fixed schedule that retains much of the benefit of adaptive sampling. We evaluate both approaches on natural-image and language datasets, in terms of quality, measured by FID at a matched number of neural network evaluations (NFE), comparing them with widely used stochastic solvers and schedules. For images, our fixed discretization outperforms the commonly used EDM schedule in terms of sample quality when used with the stochastic Heun sampler, and with the EDM-churn sampler at low NFE. Additionally, our PI adaptive solver obtains better FID than most stochastic and adaptive baselines, although it does not beat the EDM-churn sampler at low NFE. Moreover, we find our solver outperforms both the EDM and the entropy schedule on language diffusion at low-to-medium NFE in terms of perplexity, with the drawback of lower token entropy. Lastly, we find that the benefit of per-sample adaptivity is problem-dependent. It is highly beneficial in 1D toy examples, while only marginal for image and language data, where the average schedule sometimes even outperforms the PI-adaptive solver. Code is available at https://github.com/ellakemperman/adaptive-second-order-diffusion-solvers
• Abstract（参考訳）: 拡散モデルは、サンプリングコストと品質のトレードオフに大きな影響を与える時間分散を必要とする数値解法に依存する。 しかし、逆過程の計算困難さはサンプリング軌道やデータ分布によって異なり、離散化の選択が重要である。 我々は拡散雑音正規化誤差推定器を用いて、比例積分(PI)ステップサイズ制御を拡散に適用する。 既存の拡散法とは異なり、PIソルバは以前の誤差も取り入れ、よりスムーズなステップ適応をもたらす。 さらに、これらのサンプル単位の軌道は共有構造を示し、適応サンプリングの利点の多くを保持する固定スケジュールに集約可能であることを示す。 自然画像と言語データセットの双方のアプローチを、FIDによるニューラルネットワーク評価(NFE)のマッチング数で評価し、広く使われている確率的解法とスケジュールと比較した。 画像の場合, 固定離散化は, 確率的Hunサンプル装置と低NFEでのEDM-churnサンプル装置で使用する場合のサンプル品質において, 一般的に使用されるEDMスケジュールよりも優れる。 さらに,我々のPI適応解法は,低NFEでEDM-churnサンプル値に勝るものの,ほとんどの確率的,適応的ベースラインよりも優れたFIDが得られる。 さらに,低次NFEにおける言語拡散におけるEDMとエントロピースケジュールの両面において,低トークンエントロピーの欠点を伴って,難易度が向上することが判明した。 最後に、サンプルごとの適応性の利点は問題に依存していることが分かる。 1D玩具の例では非常に有益であるが、画像や言語データには限界があり、平均的なスケジュールはPI適応型解法よりも優れることがある。 コードはhttps://github.com/ellakemperman/adaptive-second-order-diffusion-solversで入手できる。

関連論文リスト

• Precise: SDE-Consistent Stochastic Sampling for RL Post-Training of Flow-Matching Models [56.67321805551389]
  Reinforcement Learning (RL) は, 拡散・流れマッチングジェネレータにおいて, 迅速なアライメントと知覚品質の向上に有効な方法となっている。 探索行動の制御と力学のデノベーションを行うサンプルは、この方針の一部である。 有効探査と安定性のバランスをとる新しいサンプリング器を提案する。
  論文  参考訳（メタデータ） (2026-05-22T11:37:22Z)
• Inference-Time Attribute Distribution Alignment for Unconditional Diffusion [54.28942858023809]
  我々は、事前訓練された非条件拡散モデルに対する推論時属性分布アライメント問題を定式化する。 そこで本研究では,逆拡散過程に対する最適制御問題として,推定時属性分布アライメントを適用した。 最適制御に基づくアルゴリズムを用いて分散マッチングの最適化を行う。
  論文  参考訳（メタデータ） (2026-05-08T09:02:47Z)
• Corrected Samplers for Discrete Flow Models [36.348940136801296]
  近年の研究では、タウ・リーピングやオイラー・ソルバのような離散拡散モデルのサンプルについて研究されている。 遷移率やソース分布に制限を加えることなく,非漸近的離散化誤差境界を確立する。 位置補正されたサンプリング器は,既存の並列サンプリング器よりも複雑さが低いことを厳密に示す。
  論文  参考訳（メタデータ） (2026-01-30T03:53:22Z)
• Low-Dimensional Adaptation of Rectified Flow: A New Perspective through the Lens of Diffusion and Stochastic Localization [59.04314685837778]
  整流流(RF)は、その生成効率と最先端の性能からかなりの人気を得ている。 本稿では,RFがターゲット分布の支持の内在的低次元性に自動的に適応し,サンプリングを高速化する程度について検討する。 時間分割方式を慎重に設計し,十分な正確なドリフト推定を行うことで,RFサンプリング器はオーダーO(k/varepsilon)$の複雑さを享受できることを示す。
  論文  参考訳（メタデータ） (2026-01-21T22:09:27Z)
• Score-Optimal Diffusion Schedules [29.062842062257918]
  高品質なサンプルを得るためには、適切な離散化スケジュールが不可欠である。 本稿では,最適な離散化スケジュールを適応的に選択するための新しいアルゴリズムを提案する。 学習したスケジュールは、これまで手動検索でのみ発見されていたパフォーマンススケジュールを復元する。
  論文  参考訳（メタデータ） (2024-12-10T19:26:51Z)
• DC-Solver: Improving Predictor-Corrector Diffusion Sampler via Dynamic Compensation [68.55191764622525]
  拡散モデル(DPM)は、視覚合成において顕著な性能を示すが、サンプリング中に複数の評価を必要とするため、計算コストが高い。 最近の予測器合成・拡散サンプリング装置は,要求される評価回数を大幅に削減したが,本質的には誤調整の問題に悩まされている。 我々はDC-CPRrと呼ばれる新しい高速DPMサンプリング装置を導入する。
  論文  参考訳（メタデータ） (2024-09-05T17:59:46Z)
• One-Dimensional Deep Image Prior for Curve Fitting of S-Parameters from Electromagnetic Solvers [57.441926088870325]
  Deep Image Prior(ディープ・イメージ・プライオリ、ディープ・イメージ・プライオリ、DIP)は、ランダムなd畳み込みニューラルネットワークの重みを最適化し、ノイズや過度な測定値からの信号に適合させる技術である。 本稿では,Vector Fitting (VF) の実装に対して,ほぼすべてのテスト例において優れた性能を示す。
  論文  参考訳（メタデータ） (2023-06-06T20:28:37Z)
• Score-based diffusion models for accelerated MRI [35.3148116010546]
  本研究では,画像中の逆問題を容易に解けるような条件分布からデータをサンプリングする方法を提案する。 我々のモデルは、訓練のためにのみ等級画像を必要とするが、複雑な値のデータを再構成することができ、さらに並列画像まで拡張できる。
  論文  参考訳（メタデータ） (2021-10-08T08:42:03Z)
• Learning to Match Distributions for Domain Adaptation [116.14838935146004]
  本稿では,ドメイン間分布マッチングを自動的に学習する学習 to Match (L2M)を提案する。 L2Mは、メタネットワークを用いてデータ駆動方式で分布整合損失を学習することにより、誘導バイアスを低減する。 公開データセットの実験は、SOTA法よりもL2Mの方が優れていることを裏付けている。
  論文  参考訳（メタデータ） (2020-07-17T03:26:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。