論文の概要: PACT: Certifying What Is Written in Parallel Decoding of Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2611.04152v1
• Date: Tue, 03 Nov 2026 01:41:41 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-04 17:42:41.149234
• Title: PACT: Certifying What Is Written in Parallel Decoding of Diffusion Language Models
• Title（参考訳）: PACT: 拡散言語モデルの並列デコードで何が書けるかを証明する
• Abstract要約: 回答の品質は、実際に書かれたトークンの信頼性に従っています。 トークンを最初に引き出すトレーニング不要のコミットルールであるPACTを提案し、それが記述する集合を認証し、各ステップの位置を分割する。
• 参考スコア（独自算出の注目度）: 13.005703531931575
• License:
• Abstract: Parallel decoding speeds up masked diffusion language models by writing several tokens per forward pass. Published commit rules choose these tokens by testing the predicted distributions. Under sampling the written tokens are drawn, and these tests do not see them. We find that answer quality follows the reliability of the tokens actually written. An answer's log probability splits into this reliability and the dependence within each step. We propose PACT, a training-free commit rule that draws the tokens first, certifies the set it will write and spaces the positions of each step apart. This certificate holds at every temperature, and we show that no rule with the same guarantee commits more positions. Experiments use four models of the LLaDA and Dream families and HumanEval, MBPP, GSM8K, MATH500 and IFEval benchmarks. PACT reaches the quality of published commit rules with fewer forward passes. Spacing removes positions from each step, yet it usually lowers the total cost because later steps then write more tokens. At the same speed, published decoders also write a word twice in a row far more often than PACT. These results suggest that commit rules should certify the tokens they write. Code is available at https://github.com/LiZaiyuan0619/PACT.
• Abstract（参考訳）: 並列デコーディングは、フォワードパス毎にいくつかのトークンを記述することで、マスク付き拡散言語モデルを高速化する。 発行されたコミットルールは、予測されたディストリビューションをテストすることでこれらのトークンを選択する。 サンプリングでは、記述されたトークンが描画され、これらのテストはそれらを見ることができません。 回答の品質は、実際に書かれたトークンの信頼性に従っています。 回答のログ確率は、この信頼性と各ステップ内の依存性に分割されます。 トークンを最初に引き出すトレーニング不要のコミットルールであるPACTを提案し、それが記述する集合を認証し、各ステップの位置を分割する。 この証明書はすべての温度で保持され、同じ保証を持つルールがより多くのポジションをコミットすることはないことを示す。 実験では、LLaDAファミリーとDreamファミリーの4つのモデル、HumanEval、MBPP、GSM8K、MATH500、IFEvalベンチマークを使用する。 PACTは、より少ないフォワードパスで発行されたコミットルールの品質に達する。 間隔は各ステップから位置を削除しますが、通常はコストを削減します。 同じ速度で、発行されたデコーダは、PACTよりもはるかに頻繁に2行に1つの単語を書く。 これらの結果は、コミットルールは、彼らが書いたトークンを認証する必要があることを示唆している。 コードはhttps://github.com/LiZaiyuan0619/PACT.comで入手できる。

関連論文リスト

• Learning When to Commit: Schedule Distillation for Fast Diffusion Language Models [43.29267000439331]
  拡散大言語モデル (dLLMs) は複数のトークンを並列に生成できるが、応答を完了するには多くの復号ラウンドを必要とすることが多い。 高速な拡散言語生成のためのトークンをいつコミットするかを学習するための新しいスケジュール蒸留ベースのフレームワークであるdSparkを提案する。
  論文  参考訳（メタデータ） (2026-10-26T17:35:58Z)
• On the SPOT: Enhancing Speculative Decoding for Diffusion Language Models via Commit-Order Prediction [5.093144724934585]
  位置推定順序軌道 (SPOT) は位置予測を学習する。 SPOTはターゲットパスを最大6.8倍に削減し、標準復号のスループットの3.2倍に達する。
  論文  参考訳（メタデータ） (2026-10-15T18:40:42Z)
• DLoop: Looped Speculative Decoding [57.84976863792784]
  投機的復号化は、大規模言語モデルにおける自己回帰生成を加速させる。 検証は各ドラフト段階に従って行われ、不要なターゲットモデルフォワードがパスされる。 提案するDLoopは,検証前に複数の起草段階を適応的に実行するループ型投機復号法である。
  論文  参考訳（メタデータ） (2026-10-06T02:55:25Z)
• Rethinking Soft Tokens for Parallel Decoding in Diffusion Language Models [62.63931587313321]
  拡散言語モデル(DLMs)は、各段階で複数のトークンを予測してコミットすることで並列生成を可能にする。 最近の研究は、emphsoftトークンが不確実な位置を表すことによってこの問題を緩和できることを示している。 ソフトトークンフィードバックが並列デコードをどのように改善するかは、体系的に検討されていない。
  論文  参考訳（メタデータ） (2026-09-29T12:38:30Z)
• Token-Disentangled Latent Test-Time Scaling for Vision-Language Reasoning [76.50676105904442]
  遅延テストタイムスケーリングは、推論中に隠れた状態を精錬することで推論を改善する。 既存のメソッドは通常、編集可能な潜在トークンすべてに単一のスカラー報酬を適用する。 Token-Disentangled Latent Test-Time Scalingは、潜在精錬トークンを認識できる推論時間フレームワークである。
  論文  参考訳（メタデータ） (2026-09-28T14:10:01Z)
• NAVIRA: Decoupled Stochastic Remasking for Masked Diffusion Language Models [0.0]
  PRISMはトークンレベルの品質スコアを学習し、信頼できないトークンを再マスクすることでこの問題に対処する。 この2つの操作を分離する推論時間復号法であるNAVIRAを提案する。 温度制御されたリメイキングは、同じ位置の繰り返し補正を減らす。
  論文  参考訳（メタデータ） (2026-06-04T11:24:47Z)
• SCOPE: Saliency-Coverage Oriented Token Pruning for Efficient Multimodel LLMs [59.415473779171315]
  textbfSaliency-textbfCoverage textbfOriented token textbfPruning for textbfEfficient MLLMs。
  論文  参考訳（メタデータ） (2025-10-28T09:29:37Z)
• FIRP: Faster LLM inference via future intermediate representation prediction [54.897493351694195]
  FIRPはデコードステップ毎に1つではなく複数のトークンを生成する。 いくつかのモデルとデータセットで1.9x-3xのスピードアップ比を示す広範な実験を行った。
  論文  参考訳（メタデータ） (2024-10-27T15:53:49Z)
• Fast End-to-End Speech Recognition via a Non-Autoregressive Model and Cross-Modal Knowledge Transferring from BERT [72.93855288283059]
  LASO (Listen Attentively, and Spell Once) と呼ばれる非自動回帰音声認識モデルを提案する。 モデルは、エンコーダ、デコーダ、および位置依存集合体(PDS)からなる。
  論文  参考訳（メタデータ） (2021-02-15T15:18:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。