論文の概要: Accelerating Discrete Diffusion Models with Parallel-In-Time Sampling

• arxiv url: http://arxiv.org/abs/2607.00773v1
• Date: Wed, 01 Jul 2026 10:59:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-02 19:56:07.862193
• Title: Accelerating Discrete Diffusion Models with Parallel-In-Time Sampling
• Title（参考訳）: 並列時間サンプリングによる離散拡散モデルの高速化
• Abstract要約: 本研究では,CTMC(Continuous-Time Markov Chain)フレームワークにおいて,離散拡散を吸収するための$-leapingアルゴリズムを並列化する。 我々は,$$-leapingアルゴリズムとPicard法の連続時間積分形式を利用して,並列時間サンプリング高速化を実現する。 本研究は, 分子構造や言語生成などの応用において, 効率的な並列推論のための離散拡散モデルの可能性を広げるものである。
• 参考スコア（独自算出の注目度）: 55.388363730120325
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Discrete diffusion models are widely used for learning and generating discrete distributions. As the generation process is inherently sequential, the acceleration of sampling is of significant importance. In this work, we parallelize the mainstream $τ$-leaping algorithm for absorbing discrete diffusion in a Continuous-Time Markov Chain (CTMC) framework. By leveraging the continuous-time stochastic integral form of the $τ$-leaping algorithm and the Picard iteration method, we achieve parallel-in-time sampling acceleration and provide a proof of exponential-factorial convergence for our algorithm. We improve the overall time complexity of $τ$-leaping under absorbing settings from ${\mathcal{O}}(d \log S)$ to ${\mathcal{O}}(\log (d\log S)\cdot \log d)$ with respect to NFE. Empirically, our method shows consistent acceleration across synthetic and real-data settings. The new sampler achieves at most $7$--$9\times$ runtime speedup for synthetic distribution, and maintains the same quality with $50\%$ fewer NFE and $1.45$--$1.86\times$ runtime speedups in image/text tasks on a single GPU. Our research expands the potential of discrete diffusion models for efficient parallel inference, with broader implications for applications such as molecular structure and language generation.
• Abstract（参考訳）: 離散拡散モデルは離散分布の学習と生成に広く用いられている。 生成過程は本質的にシーケンシャルであるため,サンプリングの加速は重要である。 本研究では,CTMC(Continuous-Time Markov Chain)フレームワークにおいて,離散拡散を吸収する主流の$τ$-leapingアルゴリズムを並列化する。 本研究では,$τ$-leapingアルゴリズムの連続時間確率積分形式とPicard反復法を利用することで,並列時間サンプリング高速化を実現し,指数係数収束の証明を行う。 NFEに関して、${\mathcal{O}}(d \log S)$から${\mathcal{O}}(\log (d\log S)\cdot \log d)$への吸収設定の下で、$τ$-leapingの全体的な時間複雑性を改善する。 実験により,本手法は,合成および実データ設定間で一貫した加速度を示す。 新しいサンプリング器は、合成配信のランタイムスピードアップとして7--$9\times$を最大で達成し、同じ品質を50\%$NFEと1つのGPU上の画像/テキストタスクで50-45$-$1.86\times$ランタイムスピードアップで維持する。 本研究は, 分子構造や言語生成などの応用において, 効率的な並列推論のための離散拡散モデルの可能性を広げるものである。

関連論文リスト

• Demystifying Pipeline Parallelism: First Theory for PipeDream [53.657104889705856]
  本稿では、PDスタイルの手法に対して、クリーンな非収束性をもたらす固定ブロック-SGD抽象化としてランダム化PipeDream(PD)を導入する。 定常PDによって引き起こされる遅延は、$S2 - S/2 + O(1)$ for $S$として増大するので、スタイルリードのコントリビューションは、チューナレート形式で$(2S4)$、同等に$(S4/K)$としてスケールする。
  論文  参考訳（メタデータ） (2026-06-02T11:14:57Z)
• Efficient Sampling with Discrete Diffusion Models: Sharp and Adaptive Guarantees [9.180350432640912]
  連続時間マルコフ連鎖(CTMC)の定式化によるスコアベース離散拡散モデルのサンプリング効率について検討した。 一様離散拡散に対して、$$-leapingアルゴリズムは位数$tilde O(d/varepsilon)$の複雑さを達成することを示す。 離散拡散をマスキングするために,本質的な情報理論量によって収束率を制御した$$-leapingサンプルラを導入する。
  論文  参考訳（メタデータ） (2026-02-16T18:48:17Z)
• Self-Refining Diffusion Samplers: Enabling Parallelization via Parareal Iterations [53.180374639531145]
  自己精製拡散サンプリング(SRDS)は、サンプル品質を維持し、追加の並列計算コストでレイテンシを向上させることができる。 微分方程式の並列時間積分法であるPararealアルゴリズムから着想を得た。
  論文  参考訳（メタデータ） (2024-12-11T11:08:09Z)
• Parallel Simulation for Log-concave Sampling and Score-based Diffusion Models [55.07411490538404]
  本稿では,次元$d$の適応的複雑性依存性を改善する並列サンプリング手法を提案する。 我々の手法は科学計算による並列シミュレーション技術に基づいている。
  論文  参考訳（メタデータ） (2024-12-10T11:50:46Z)
• Faster Diffusion Sampling with Randomized Midpoints: Sequential and Parallel [10.840582511203024]
  我々のアルゴリズムは、$widetilde O(log2 d)$ parallel roundsでのみ実行できるように並列化可能であることを示す。 また、我々のアルゴリズムは、$widetilde O(log2 d)$ parallel roundsでしか実行できないことを示す。
  論文  参考訳（メタデータ） (2024-06-03T01:34:34Z)
• Accelerating Diffusion Models with Parallel Sampling: Inference at Sub-Linear Time Complexity [11.71206628091551]
  拡散モデルは、訓練と評価に費用がかかるため、拡散モデルの推論コストを削減することが大きな目標である。 並列サンプリング手法であるHh2024parallelを用いて拡散モデルを高速化する実験的な成功に触発されて,サンプリングプロセスを各ブロック内に並列化可能なPicard繰り返しを持つ$mathcalO(1)$ブロックに分割することを提案する。 我々の結果は、高速で効率的な高次元データサンプリングの可能性に光を当てた。
  論文  参考訳（メタデータ） (2024-05-24T23:59:41Z)
• Fast Sampling via Discrete Non-Markov Diffusion Models with Predetermined Transition Time [49.598085130313514]
  離散非マルコフ拡散モデル(DNDM)を提案する。 これにより、トレーニング不要なサンプリングアルゴリズムにより、関数評価の数を大幅に削減できる。 有限ステップサンプリングから無限ステップサンプリングへの移行について検討し、離散プロセスと連続プロセスのギャップを埋めるための新たな洞察を提供する。
  論文  参考訳（メタデータ） (2023-12-14T18:14:11Z)
• DiffuSeq-v2: Bridging Discrete and Continuous Text Spaces for Accelerated Seq2Seq Diffusion Models [58.450152413700586]
  ガウス空間に基づく離散突然変異を再構成する学習において拡散モデルを容易にする軟吸収状態を導入する。 我々は、サンプリングプロセスの高速化のために、連続空間内で最先端のODEソルバを用いている。 提案手法は, トレーニング収束率を4倍に向上させ, 類似品質のサンプルを800倍高速に生成する。
  論文  参考訳（メタデータ） (2023-10-09T15:29:10Z)
• SYNTHESIS: A Semi-Asynchronous Path-Integrated Stochastic Gradient Method for Distributed Learning in Computing Clusters [7.968142741470549]
  ulstochastic gradulient ulsearchは、同期および非同期分散学習アルゴリズムの制限を克服するために開発された。 algnameアルゴリズムは(O(sqrtNepsilon-2(Delta+1) d+N))と(O(sqrtNepsilon-2(+1) d+N))を持つ (エプシロン)分散共有メモリアーキテクチャにおける非デルタ学習の定常点
  論文  参考訳（メタデータ） (2022-08-17T17:42:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。