論文の概要: Acceleration of Diffusion Language Model through Discrete Average Generator

• arxiv url: http://arxiv.org/abs/2609.38364v1
• Date: Tue, 29 Sep 2026 18:27:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:26.574326
• Title: Acceleration of Diffusion Language Model through Discrete Average Generator
• Title（参考訳）: 離散平均生成器による拡散言語モデルの高速化
• Abstract要約: 本稿では,MeanFlowを連続時間マルコフ連鎖に拡張した離散平均生成器について紹介する。 この平均生成器は自己整合性を満足し,学習目標の基盤となることを示す。 Pottsモデルシミュレーションでは,K$-stepサンプルの総変動距離を最大67%削減する。
• 参考スコア（独自算出の注目度）: 15.254799693088389
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Discrete diffusion models and flow matching have emerged as powerful frameworks for generative modeling over discrete state spaces, yet efficient few-step generation remains a fundamental challenge. In this work, we introduce the Discrete Average Generator, a principled extension of MeanFlow to Continuous-Time Markov Chains (CTMCs). Analogously to how MeanFlow defines an average velocity field over a time interval in continuous spaces, we define an average generator as the normalized increment of the transition kernel over a time interval. We show that this average generator satisfies a self-consistency identity, which provides the foundation for our training objective. We further develop training strategies that align with the standard training paradigm of diffusion language models while keeping the resulting objective tractable. When projected onto per-coordinate marginals, the self-consistency identity admits a closed-form expression, enabling efficient training and inference. In Potts model simulations, our objective reduces the total variation distance of the $K$-step sampler by up to 67%. On OpenWebText, our method achieves the lowest generative perplexity among the evaluated methods for 8 to 64 sampling steps while enabling a $16\times$ acceleration, and achieves comparable performance to existing methods on ImageNet.
• Abstract（参考訳）: 離散拡散モデルとフローマッチングは離散状態空間上の生成モデリングのための強力なフレームワークとして登場したが、効率的な数ステップ生成は依然として根本的な課題である。 本稿では,MeanFlowをCTMC(Continuous-Time Markov Chains)に拡張した離散平均生成器を紹介する。 連続空間における時間間隔の平均速度場をMeanFlowで定義する方法に似て、平均発生器を時間間隔で遷移カーネルの正規化インクリメントとして定義する。 この平均生成器は自己整合性を満足し,学習目標の基盤となることを示す。 さらに,拡散言語モデルの標準訓練パラダイムに沿った学習戦略を開発し,その結果の抽出性を維持した。 コーディネート毎の限界に投影されると、自己整合性はクローズドフォーム表現を認め、効率的なトレーニングと推論を可能にする。 Pottsモデルシミュレーションでは,K$-stepサンプルの総変動距離を最大67%削減する。 OpenWebTextでは,8～64ステップのサンプリングにおいて,評価されたメソッドの中で最も低い生成パープレキシティを実現し,さらに16\times$Accelerrationを実現し,ImageNet上の既存のメソッドに匹敵する性能を実現している。

関連論文リスト

• Fast Generative Grasping via Lie Group-Constrained MeanFlow [18.444519660500447]
  生成ロボットの把握は、拡散やフローベースアプローチといった深い生成モデルを用いて、この分布を学習することを目的としている。 積 Lie 群 $mathcalG = MathrmSO(3) times mathbbR3$ 上の MeanFlow に基づく高速な生成的把握へのアプローチを考案する。 提案手法は,トレーニングやドメイン適応を伴わずに,実世界のロボットグリップに直接変換できることを実証する。
  論文  参考訳（メタデータ） (2026-08-26T17:43:07Z)
• One-Step Generative Modeling via Wasserstein Gradient Flows [56.266175641614986]
  W-Flowは、単純な参照分布からサンプルをターゲットデータ分布からサンプルに変換するジェネレータを1ステップでトレーニングするフレームワークである。 我々は1ステップのImageNet 256$times$256 生成のための新しい技術状況を設定し、モードカバレッジとドメイン転送を改善した 1.29 FID を達成した。
  論文  参考訳（メタデータ） (2026-05-12T08:29:44Z)
• Riemannian MeanFlow for One-Step Generation on Manifolds [54.09734511705173]
  フローマッチングは、生成モデルのシミュレーション不要なトレーニングを可能にする。 平均フローは、位置依存接空間に速度が存在する多様体値生成に拡張することができる。 球面, トーリ, SO(3)における実験は, 品質・効率のトレードオフを改善し, サンプリングコストを大幅に削減して, 競争力のある一段階サンプリングを実証した。
  論文  参考訳（メタデータ） (2026-03-11T12:41:46Z)
• MeanFlowSE: one-step generative speech enhancement via conditional mean flow [13.437825847370442]
  MeanFlowSEは、軌道に沿った有限区間の平均速度を学習する条件付き生成モデルである。 VoiceBank-DEMANDでは、シングルステップモデルは多ステップベースラインよりも計算コストが大幅に低い強い知性、忠実性、知覚品質を実現する。
  論文  参考訳（メタデータ） (2025-09-18T11:24:47Z)
• SplitMeanFlow: Interval Splitting Consistency in Few-Step Generative Modeling [23.539625950964876]
  Flow Matchingのような生成モデルは最先端のパフォーマンスを達成したが、しばしば計算コストのかかる反復サンプリングプロセスによって妨げられている。 この分野の先導的手法であるMeanFlowは、平均速度と瞬間速度を接続する差分IDを強制することによって、この分野を学習する。 この研究において、この微分定式化はより基本的な原理の限定的な特別な場合であると主張する。 SplitMeanFlowは、学習目的として、この代数的一貫性を直接強制する新しいトレーニングフレームワークです。
  論文  参考訳（メタデータ） (2025-07-22T16:26:58Z)
• Mean Flows for One-step Generative Modeling [64.4997821467102]
  本稿では,一段階生成モデリングのための原理的かつ効果的なフレームワークを提案する。 ニューラルネットワークトレーニングのガイドには,平均速度と瞬時速度を適切に定義したアイデンティティが導出され,使用される。 提案手法はMeanFlowモデルと呼ばれ,自己完結型であり,事前学習,蒸留,カリキュラム学習は不要である。
  論文  参考訳（メタデータ） (2025-05-19T17:59:42Z)
• Fast Sampling via Discrete Non-Markov Diffusion Models with Predetermined Transition Time [49.598085130313514]
  離散非マルコフ拡散モデル(DNDM)を提案する。 これにより、トレーニング不要なサンプリングアルゴリズムにより、関数評価の数を大幅に削減できる。 有限ステップサンプリングから無限ステップサンプリングへの移行について検討し、離散プロセスと連続プロセスのギャップを埋めるための新たな洞察を提供する。
  論文  参考訳（メタデータ） (2023-12-14T18:14:11Z)
• Time-series Generation by Contrastive Imitation [87.51882102248395]
  モーメントマッチングの目的によってモチベーションされ、複合的エラーを軽減し、局所的(しかし前方的な)遷移ポリシーを最適化する。 推論において、学習されたポリシーは反復的なサンプリングのジェネレータとして機能し、学習されたエネルギーはサンプルの品質を評価するための軌道レベル尺度として機能する。
  論文  参考訳（メタデータ） (2023-11-02T16:45:25Z)
• Fast Sampling of Diffusion Models via Operator Learning [74.37531458470086]
  我々は,拡散モデルのサンプリング過程を高速化するために,確率フロー微分方程式の効率的な解法であるニューラル演算子を用いる。 シーケンシャルな性質を持つ他の高速サンプリング手法と比較して、並列復号法を最初に提案する。 本稿では,CIFAR-10では3.78、ImageNet-64では7.83の最先端FIDを1モデル評価環境で達成することを示す。
  論文  参考訳（メタデータ） (2022-11-24T07:30:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。