論文の概要: Stability-Weighted Decoding for Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2604.17068v1
• Date: Sat, 18 Apr 2026 17:04:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-21 21:52:52.318122
• Title: Stability-Weighted Decoding for Diffusion Language Models
• Title（参考訳）: 拡散言語モデルに対する安定性重み付き復号法
• Authors: Yue Wu, Jian Huang,
• Abstract要約: 既存のデコード戦略は、1つのデノナイジングステップで計算された静的な信頼度に依存し、時間的履歴を無視し、不安定なトークンを早めに解き放つ。 本研究では,時間的安定性をトークンスコアリングに組み込んだ学習自由なプラグアンドプレイ戦略であるStable-Weighted Decoding(SWD)を提案し,任意のスコアベースのデコーディングポリシーのためのユニバーサルモジュレータとして機能する。
• 参考スコア（独自算出の注目度）: 8.670026899042483
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion large language models (dLLMs) enable parallel text generation by iteratively denoising a fully masked sequence, unmasking a subset of masked tokens at each step. Existing decoding strategies rely on static confidence metrics computed at a single denoising step, ignoring temporal history and often leading to premature unmasking of unstable tokens. In this work, we theoretically establish that a token's temporal instability, quantified by the KL divergence between consecutive prediction distributions, provides a strict lower bound on its mutual information with the remaining masked context, indicating that temporally unstable tokens are inherently unsafe to unmask. Based on this insight, we propose Stability-Weighted Decoding (SWD), a training-free, plug-and-play strategy that incorporates temporal stability into token scoring and acts as a universal modulator for arbitrary score-based decoding policies. Experiments on code generation and mathematical reasoning benchmarks demonstrate that SWD consistently improves generation accuracy across representative scoring metrics and selection policies, and exhibits exceptional robustness, maintaining a significant performance lead over standard baselines across varying acceleration ratios.
• Abstract（参考訳）: 拡散大言語モデル(dLLM)は、完全にマスクされたシーケンスを反復的にデノベートし、各ステップでマスクされたトークンのサブセットを解き放つことで、並列テキスト生成を可能にする。 既存のデコード戦略は、1つのデノナイジングステップで計算された静的な信頼度に依存し、時間的履歴を無視し、不安定なトークンを早めに解き放つ。 本研究では,連続する予測分布間のKL分散によって定量化されるトークンの時間的不安定性を理論的に確立し,その相互情報と残りのマスク付きコンテキストとの厳密な下限を提供し,時間的不安定なトークンが本質的にアンマスクに対して安全でないことを示す。 この知見に基づいて,時間的安定性をトークンスコアリングに組み込んだ学習自由なプラグアンドプレイ戦略であるStable-Weighted Decoding(SWD)を提案し,任意のスコアベースのデコーディングポリシのユニバーサルモジュレータとして機能する。 コード生成と数学的推論ベンチマークの実験では、SWDは代表スコアリング指標と選択ポリシーをまたいだ生成精度を一貫して改善し、例外的な堅牢性を示し、加速度比の異なる標準ベースラインよりも大きなパフォーマンス上のリードを維持している。

関連論文リスト

• STDec: Spatio-Temporal Stability Guided Decoding for dLLMs [49.55447757907809]
  大規模拡散言語モデル(dLLM)は、自己回帰パラダイムに代わる有望な選択肢と見なされ、急速な進歩を遂げている。 ほとんどのdLLMデコーダは依然としてグローバルな信頼しきい値を採用しており、近隣のデコード状態や予測トークンIDの時間的一貫性からローカルコンテキストをモデル化していない。 我々は,dLLMデコーディングにおいて時間的安定性に近い強い安定性を観察し,そのアプローチには空間的認識復号と時間的認識復号が含まれる。
  論文  参考訳（メタデータ） (2026-04-07T18:13:31Z)
• Confidence-Based Decoding is Provably Efficient for Diffusion Language Models [8.527157686215117]
  拡散言語モデル (DLM) は、言語モデリングのための自己回帰モデル (AR) に代わる有望な代替品として登場した。 DLMにおける信頼度に基づく復号化のための理論解析フレームワークを開発した。
  論文  参考訳（メタデータ） (2026-03-23T17:43:21Z)
• DyLLM: Efficient Diffusion LLM Inference via Saliency-based Token Selection and Partial Attention [2.7422645382944935]
  そこで我々はDyLLMを提案する。DyLLMは正規トークンのみを選択的に計算することでデコーディングを高速化する学習自由推論フレームワークである。 DyLLMは様々な推論とコード生成ベンチマークで最大9.6倍のスループットを実現している。
  論文  参考訳（メタデータ） (2026-03-09T07:02:01Z)
• CORE: Context-Robust Remasking for Diffusion Language Models [51.59514489363897]
  我々は、推論時リビジョンのためのトレーニング不要フレームワークであるContext-Robust Remasking (CORE)を提案する。 静的トークンの確率を信頼するのではなく、COREは、ターゲットとなるマスク付きコンテキストの摂動に対する感受性を示すことによって、コンテキスト不安定なトークンを識別する。 LLaDA-8B-Baseでは、COREは推論とコードベンチマークの間で一貫した改善を行い、計算に適合したベースラインを上回り、MBPPを最大9.2%改善した。
  論文  参考訳（メタデータ） (2026-02-04T00:12:30Z)
• Accelerate Speculative Decoding with Sparse Computation in Verification [49.74839681322316]
  投機的復号化は、複数のドラフトトークンを並列に検証することにより、自動回帰言語モデル推論を加速する。 既存のスペーシフィケーション方式は主にトークン・バイ・トーケンの自己回帰復号化のために設計されている。 そこで本研究では,注目度,FFN,MoEを両立させるスパース検証フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-12-26T07:53:41Z)
• STDD:Spatio-Temporal Dynamics-Driven Token Refinement in Diffusion Language Models [12.172699141988728]
  拡散言語モデル(DLM)は、すべてのトークン位置を並列に反復的に記述することでテキストを生成する。 本稿では,各トークンの時間変動と空間偏差を動的に検出する新しいリマキング手法を提案する。 我々のアプローチは、主要なデータセット間でのDLMの運用効率を大幅に改善し、最大8.9倍のスピードアップを実現します。
  論文  参考訳（メタデータ） (2025-12-07T12:53:48Z)
• Continuously Augmented Discrete Diffusion model for Categorical Generative Modeling [87.34677262370924]
  標準離散拡散モデルは、吸収[MASK]トークンにそれらをマッピングすることで、すべての観測されていない状態を同一に扱う。 これは'インフォメーション・ヴォイド'を生成します。そこでは、偽のトークンから推測できるセマンティック情報は、デノイングステップの間に失われます。 連続的拡張離散拡散(Continuously Augmented Discrete Diffusion)は、連続的な潜在空間における対拡散で離散状態空間を拡大するフレームワークである。
  論文  参考訳（メタデータ） (2025-10-01T18:00:56Z)
• StableToken: A Noise-Robust Semantic Speech Tokenizer for Resilient SpeechLLMs [54.229363096087866]
  音声トークン化器は、意味不明な音響摂動に対して頑健ではない。 この不安定性は、脆い単一パス量子化アーキテクチャと遠い訓練信号の2つの欠陥に由来する。 コンセンサス駆動機構による安定性を実現するトークンライザであるStableTokenを紹介する。
  論文  参考訳（メタデータ） (2025-09-26T11:32:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。