論文の概要: Set Diffusion: Interpolating Token Orderings Between Autoregression and Diffusion for Fast and Flexible Decoding
- arxiv url: http://arxiv.org/abs/2607.01775v1
- Date: Thu, 02 Jul 2026 06:45:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-03 19:45:08.702992
- Title: Set Diffusion: Interpolating Token Orderings Between Autoregression and Diffusion for Fast and Flexible Decoding
- Title（参考訳）: 集合拡散:高速かつ柔軟な復号のための自己回帰と拡散の補間
- Abstract要約: 我々は,(i)フレキシブルポジション,フレキシブル長トークン集合を分解する可能性パラメタライゼーションと,(ii)推論ステップ毎にKVキャッシュ更新をサポートする集合因果拡散アーキテクチャからなる,新しい言語モデルの集合拡散(set diffusion)を提案する。
集合拡散は、従来の拡散言語モデルと比較して数学的推論、要約、無条件生成において、より良い速度品質のトレードオフを達成する。
- 参考スコア（独自算出の注目度）: 16.82407109143003
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Discrete diffusion models have steadily improved in quality relative to autoregressive (AR) models. However, these models are normally constrained to fixed-length generation and do not support key-value (KV) caching. Block diffusion partially bridges diffusion and AR by generating token blocks left-to-right, but its fixed-size sequential blocks limit decoding flexibility and parallelism. Here, we present a new class of language models, set diffusion, comprised of (i) a likelihood parameterization that factorizes over flexible-position, flexible-length token sets and (ii) a set-causal diffusion architecture that supports KV cache updates after every inference step. By factorizing over token sets instead of fixed-size blocks, tokens can be decoded in arbitrarily-ordered sets, including sliding-window sets, enabling faster inference and support for any-order decoding. Set diffusion achieves better speed-quality tradeoffs on mathematical reasoning, summarization, and unconditional generation compared to prior diffusion language models while offering stronger infilling performance than block diffusion. We provide the code, along with the model weights and blog post on the project page: https://m-arriola.com/setdlms/
- Abstract（参考訳）: 離散拡散モデルは自己回帰(AR)モデルと比較して品質が着実に改善されている。
しかしながら、これらのモデルは、通常、固定長生成に制約され、キー値(KV)キャッシングをサポートしない。
ブロック拡散はトークンブロックを左から右に生成することで拡散とARを部分的に橋渡しするが、その固定サイズのシーケンシャルブロックはデコーディングの柔軟性と並列性を制限している。
ここでは,集合拡散という新しい言語モデルについて述べる。
一 フレキシブルポジション、フレキシブル長トークンセットを分解する可能性パラメタライゼーション
(II) 推論ステップ毎にKVキャッシュ更新をサポートする集合因数拡散アーキテクチャ。
固定サイズのブロックの代わりにトークンセットを分解することにより、スライディングウィンドウセットを含む任意の順序のセットでトークンをデコードすることができ、より高速な推論と任意の順序のデコードのサポートが可能になる。
集合拡散は、従来の拡散言語モデルと比較して、数学的推論、要約、無条件生成において、より高速なトレードオフを実現すると同時に、ブロック拡散よりも強力な補充性能を提供する。
コードと、プロジェクトページのモデルの重み付けとブログポストを提供しています。
関連論文リスト
- AURORA-LM: Autoencoding Unified Representation for Continuous-Latent Diffusion Language Modeling [60.04959047453115]
AURORA-LMは、デオード可能なテキスト表現の構築と、その分布のモデル化を分離した連続ラテント言語モデルである。
AURORA-LM は OpenWebText のフリージェネレーションと XSum の要約で評価された連続および拡散に基づく言語モデルの中で最も高い性能を達成している。
論文 参考訳（メタデータ） (2026-08-03T17:59:50Z) - Multi-Block Diffusion Language Models [46.581695254036]
ブロック拡散言語モデル(BD-LM)は、KVキャッシングとフレキシブルな長文生成により拡散ベースのテキスト生成を改善する。
マルチブロック教師強制(MultiTF)を用いたBD-LMの訓練後得られたマルチブロック拡散言語モデル(MBD-LM)を提案する。
MBD-LLaDA2-Miniは平均Tokens Per Forward Pass (TPF)を3.47から6.19に増加させ、平均精度を79.95%から81.03%に向上させる。
DMaxと組み合わせると、MBD-LLaDA2-Mini-DMaxの平均TPFは9.34である。
論文 参考訳（メタデータ） (2026-06-28T05:53:45Z) - FlashBlock: Attention Caching for Efficient Long-Context Block Diffusion [51.1618564189244]
FlashBlockは、安定したアテンション出力を再利用し、拡散プロセスを変更することなくアテンション計算とKVキャッシュアクセスを減らす、キャッシュされたブロック外部アテンションメカニズムである。
拡散言語モデルとビデオ生成の実験では、1.44$times$高いトークンスループットと1.6$times$の注意時間を短縮し、生成品質に無視できない影響を与えている。
論文 参考訳（メタデータ） (2026-02-05T04:57:21Z) - Streaming-dLLM: Accelerating Diffusion LLMs via Suffix Pruning and Dynamic Decoding [36.74241893088594]
拡散大言語モデル(dLLM)は、自然言語生成に魅力的なパラダイムを提供する。
最近の研究はKVキャッシュの再利用や復号化を通じて推論を加速しているが、ブロックワイド拡散プロセスにおける本質的な非効率性を見落としている。
本稿では,空間次元と時間次元の両方にわたって推論を合理化する学習自由フレームワークStreaming-dLLMを提案する。
論文 参考訳（メタデータ） (2026-01-25T17:36:04Z) - Sequential Diffusion Language Models [110.06562906987052]
拡散言語モデル(DLM)は理論効率が強いが、固定長の復号化とキー値キャッシュとの非互換性によって制限される。
次点と次点の予測を統一するNext Sequence Prediction (NSP)を導入する。
本稿では,事前学習した自己回帰言語モデル(ALM)を最小限のコストで再現可能な逐次拡散言語モデル(SDLM)を提案する。
論文 参考訳（メタデータ） (2025-09-28T17:59:15Z) - Fast and Fluent Diffusion Language Models via Convolutional Decoding and Rejective Fine-tuning [23.58934174168992]
Autoregressive (AR)言語モデルでは、テキストを1つずつ生成することで、推論速度が制限される。
ハードセグメンテーションなしでデコードウインドウを狭める正規化法である畳み込み復号法(Conv)を提案する。
Rejecting Rule-based Fine-Tuning (R2FT)も導入しています。
論文 参考訳（メタデータ） (2025-09-18T17:48:21Z) - Fast-dLLM: Training-free Acceleration of Diffusion LLM by Enabling KV Cache and Parallel Decoding [51.711605076319216]
拡散に基づく大規模言語モデル (Diffusion LLM) は、並列復号機能を持つ非自己回帰テキスト生成を約束している。
本稿では,双方向拡散モデルに適したブロック単位で近似したKVキャッシュ機構を提案する。
本稿では,信頼しきい値を超えるトークンを選択的に復号し,依存関係違反を軽減し,生成品質を維持できる信頼度対応並列復号方式を提案する。
論文 参考訳（メタデータ） (2025-05-28T17:39:15Z) - Block Diffusion: Interpolating Between Autoregressive and Diffusion Language Models [15.853201399662344]
拡散言語モデルは自己回帰モデルよりも独特な利点を提供する。
確率モデリングに遅れがあり、固定長生成に制限される。
本稿では,離散化拡散モデルと自己回帰モデルとを補間するブロック拡散言語モデルについて紹介する。
論文 参考訳（メタデータ） (2025-03-12T17:43:40Z) - Generalized Interpolating Discrete Diffusion [65.74168524007484]
仮面拡散はその単純さと有効性のために一般的な選択である。
ノイズ発生過程の設計において、より柔軟性の高い離散拡散(GIDD)を補間する新しいファミリを一般化する。
GIDDの柔軟性をエクスプロイトし、マスクと均一ノイズを組み合わせたハイブリッドアプローチを探索し、サンプル品質を向上する。
論文 参考訳（メタデータ） (2025-03-06T14:30:55Z) - DiffusionAttacker: Diffusion-Driven Prompt Manipulation for LLM Jailbreak [51.8218217407928]
大規模言語モデル (LLM) は、慎重に入力を行うと有害なコンテンツを生成する可能性がある。
本稿では,拡散モデルにインスパイアされたジェイルブレイク書き換えのためのエンドツーエンド生成手法であるDiffusionAttackerを紹介する。
論文 参考訳（メタデータ） (2024-12-23T12:44:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。