論文の概要: PIG: Parallel Inconsistency Guidance for Accelerating Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2610.17375v1
• Date: Mon, 12 Oct 2026 20:33:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 19:12:55.732435
• Title: PIG: Parallel Inconsistency Guidance for Accelerating Diffusion Language Models
• Title（参考訳）: PIG:拡散言語モデルの高速化のための並列不整合誘導
• Abstract要約: 拡散言語モデルは前方通過毎に複数のマスキング位置を復号することで生成を加速する。 並列デコード トラジェクタが シーケンシャルな トラジェクタから逸脱すると 精度が低下する 本稿では、訓練された補助モデルを用いて、1つのモデルフォワードパスから並列およびシーケンシャルジェネレーション間の不整合を直接推定する新しいパラダイムである並列不整合誘導(PIG)を提案する。
• 参考スコア（独自算出の注目度）: 27.176719130764155
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion language models accelerate generation by decoding multiple masked positions per forward pass. However, accuracy is known to drop when parallel decoding trajectories deviate from their sequential counterparts, which are slow and expensive "oracles" that adhere to the joint distribution of language. In this paper, we propose Parallel Inconsistency Guidance (PIG), a new paradigm that uses a trained auxiliary model to directly estimate the inconsistency between parallel and sequential generation from a single model forward pass. During inference, masked positions are traversed by decreasing confidence, and tokens are added to the parallel decode set one-at-a-time until the total estimated inconsistency between the parallel and sequential generation exceeds a threshold. Surprisingly, it suffices to train a lightweight ~2M parameter auxiliary model on a small mixture drawn from OpenCoder, GSM8K-train, MATH-train, and MBPP-train. For LLaDA-8B Instruct and NemotronDiffusion-3B Instruct, PIG extends the accuracy-TPF frontier on GSM8K, MATH500, MBPP, HumanEval, and MMLU, when compared to the industry standard Fast-dLLM and measures favorably on LLaDA-8B Instruct against DAPD, KLASS, EB-sampler, and other learned unmasking policies.
• Abstract（参考訳）: 拡散言語モデルは前方通過毎に複数のマスキング位置を復号することで生成を加速する。 しかし、並列デコーディングの軌跡がシーケンシャルな軌跡から逸脱すると精度が低下することが知られている。 本稿では、訓練された補助モデルを用いて、1つのモデルフォワードパスから並列およびシーケンシャルジェネレーション間の不整合を直接推定する新しいパラダイムである並列不整合誘導(PIG)を提案する。 推論中は、信頼度を低下させてマスク位置をトラバースし、並列デコードセット1-at-a-タイムにトークンを付加し、並列生成とシーケンシャル生成との総推定不整合がしきい値を超える。 驚いたことに、OpenCoder、GSM8K-train、MATH-train、MBPP-trainから引き出された小さな混合物上で、軽量な2Mパラメータ補助モデルをトレーニングするのに十分である。 LLaDA-8B InstructとNemotronDiffusion-3B Instructでは、業界標準であるFast-dLLMと比較してGSM8K、MATH500、MBPP、HumanEval、MMLU上の精度TPFフロンティアを拡張し、DAPD、KLASS、EB-sampler、その他の学習されたアンマスキングポリシーに対してLLaDA-8B Instructを優遇する。

関連論文リスト

• Constrained Decoding for Diffusion Language Models via Efficient Inference over Finite Automata [57.27430779838529]
  有限オートマトンとして表現可能な任意の制約の下で,制約付き平均場後部からサンプリングする,正確かつトラクタブルなアルゴリズムを提案する。 このアプローチは、構築による制約満足度を保証し、欲求とサンプリングベースのデコーディングの両方をサポートし、並列およびブロックワイドデコーディングと互換性がある。 Dream-7B と LLaDA-8 の実証的な評価は、様々なタスクにおいてかなりの精度の向上を示した。
  論文  参考訳（メタデータ） (2026-07-08T05:48:57Z)
• Attention-Discounted Adaptive Sampler for Masked Diffusion Language Models [59.51249894128724]
  マスク付き拡散言語モデルは、反復を識別するごとに複数のトークンを明らかにすることで推論ステップを削減することができる。 パラレルマスク拡散復号法のためのトレーニング不要な復号法であるADASを提案する。
  論文  参考訳（メタデータ） (2026-06-09T13:17:27Z)
• DMax: Aggressive Parallel Decoding for dLLMs [77.24184219948337]
  効率的な拡散言語モデル(dLLM)のための新しいパラダイムであるDMaxを提案する。 並列デコードにおけるエラーの蓄積を軽減し、生成品質を維持しながらアグレッシブデコードを可能にする。 当社のアプローチの核心は、マスクと均一なdLLMを効率的に統合する新しいトレーニング戦略であるOn-Policy Uniform Trainingである。
  論文  参考訳（メタデータ） (2026-04-09T14:35:42Z)
• Dependency-Guided Parallel Decoding in Discrete Diffusion Language Models [21.699371484195865]
  我々は,dLLMの最終隠れ状態にアタッチする軽量依存予測器DEMASKを提案する。 実証的に、DEMASKはDream-7Bで1.7-2.2$times$ Speedupを達成し、信頼性ベースのベースラインやKLベースのベースラインと比較して精度が向上した。
  論文  参考訳（メタデータ） (2026-04-02T22:21:24Z)
• Locally Coherent Parallel Decoding in Diffusion Language Models [6.620088179445404]
  拡散言語モデル(DLM)は、線形生成遅延と双方向機能を提供する。 標準DLMは条件付き境界分布とは独立してトークンをサンプリングする。 並列サンプリングを局所的依存モデルと照合する手法であるCoDiLAを紹介する。
  論文  参考訳（メタデータ） (2026-03-03T09:56:53Z)
• dParallel: Learnable Parallel Decoding for dLLMs [77.24184219948337]
  拡散大言語モデル(dLLM)は並列トークン予測と低推論遅延を提供する。 既存のオープンソースモデルは、パフォーマンスを確保するためにトークン長のデコードステップをほとんど必要としています。 高速サンプリングのためにdLLMs固有の並列性を解き放つシンプルで効果的な方法であるdParallelを導入する。
  論文  参考訳（メタデータ） (2025-09-30T16:32:52Z)
• Accelerating Diffusion LLMs via Adaptive Parallel Decoding [60.407727995313074]
  並列にサンプリングされたトークンの数を動的に調整する新しい手法であるアダプティブ並列復号法(APD)を導入する。 APDは、ダウンストリームベンチマークで最小限の品質劣化を伴って、非常に高いスループットを提供する。
  論文  参考訳（メタデータ） (2025-05-31T06:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。