論文の概要: Reliable Parallel Decoding in Masked Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2609.36452v1
• Date: Tue, 29 Sep 2026 01:15:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.084928
• Title: Reliable Parallel Decoding in Masked Diffusion Language Models
• Title（参考訳）: マスク拡散言語モデルにおける信頼度パラレル復号法
• Abstract要約: マスク付き拡散言語モデルは、複数のマスク付きトークンを並列に予測することで、テキストを効率的に生成することができる。 しかし、同じ前方通過からの予測は、一緒にコミットするときに必ずしも信頼できるとは限らない。 本稿では,階層的な予測安定性と最終的な信頼度によって候補を選択する訓練不要な手法であるReliable Parallel Decoding (RPD)を提案する。
• 参考スコア（独自算出の注目度）: 36.793237906931076
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Masked diffusion language models (MDLMs) can generate text efficiently by predicting multiple masked tokens in parallel, but predictions from the same forward pass are not necessarily reliable when committed together. We study when parallel commitment is reliable. Our diagnostics show that confidence alone does not determine a reliable commitment order: confident predictions near the end of the sequence can fix an answer before its supporting computations are established, and downstream predictions become less reliable as the uncertainty of their upstream context grows. At the same time, a single forward pass can already resolve several masked tokens, and predictions that remain stable across the final layers are more likely to be correct. Based on these findings, we propose Reliable Parallel Decoding (RPD), a training-free method that selects candidates by layerwise prediction stability and final confidence, and commits them under a cumulative entropy budget over their preceding masked positions. RPD defers predictions with uncertain upstream context while committing the remaining candidates in parallel, without relying on a fixed block schedule. Across mathematical reasoning and code generation benchmarks on LLaDA and Dream, RPD achieves the highest decoding throughput among the evaluated methods while maintaining or improving accuracy.
• Abstract（参考訳）: マスク付き拡散言語モデル(MDLM)は複数のマスキングトークンを並列に予測することでテキストを効率よく生成できるが、同じ前方通過からの予測は、一緒にコミットするときに必ずしも信頼できない。 我々は並列コミットメントがいつ信頼できるか研究する。 我々の診断では、信頼度だけでは信頼性の高いコミットメント順序は決定できないことが示されており、シーケンスの終端付近の確実な予測は、そのサポート計算が確立される前に解を修正でき、下流の予測は上流の文脈の不確実性が増大するにつれて信頼性が低下する。 同時に、1つのフォワードパスは、既にいくつかのマスクされたトークンを解決でき、最終層にわたって安定している予測は、より正確である可能性が高い。 これらの結果に基づき、階層的に予測安定性と最終的な信頼度によって候補を選定する学習自由度手法であるReliable Parallel Decoding (RPD)を提案し、それらを前回のマスク位置よりも累積エントロピー予算の下でコミットする。 RPDは、固定ブロックスケジュールに頼ることなく、残りの候補を並列にコミットしながら、不確実な上流コンテキストで予測をフェールする。 LLaDAとDreamの数学的推論とコード生成ベンチマーク全体において、RTDは精度を維持したり改善したりしながら評価手法の中で最も高い復号スループットを達成する。

関連論文リスト

• From Position Risks to Block Survival: Faster Generation for Diffusion Language Models [8.476731545781847]
  拡散言語モデル(DLM)は複数のトークンを並列に予測することで生成を加速することができる。 これらのトークンの予測方法と、最終的に生成にどのように貢献するかの間には、ミスマッチがあります。 BRISK-DLM(BRISK-DLM)は、提案学習の最適化と、検証された進捗に対する選択によって、両者のミスマッチに対処するフレームワークである。
  論文  参考訳（メタデータ） (2026-09-27T09:11:26Z)
• Escaping Confidence Trap: Evolutionary Decoding for Mathematical Reasoning in Diffusion LLMs [69.52853771994451]
  我々はLLaDA 2.0の復号軌道を解析し、繰り返し拡散信頼トラップを同定する。 本稿では,拡散復号化を進化過程とみなす訓練不要なテスト時間スケーリングフレームワークである進化復号法を提案する。
  論文  参考訳（メタデータ） (2026-08-01T11:48:25Z)
• LEAP: Unlocking dLLM Parallelism via Lookahead Early-Convergence Token Detection [35.2079721755684]
  LEAP(Lookahead Early-Convergence Token Detection for Accelerated Parallel Decoding)を紹介する。 LEAPは、将来のコンテキストフィルタリングとマルチシーケンス重ね合わせを利用して早期収束トークンを検出する、トレーニングフリーのプラグアンドプレイ方式である。 GSM8Kデータセットでは、LEAPとdParallelを組み合わせることで、モデル精度を維持しながら、ステップ毎に7.2トークンにデコードが高速化される。
  論文  参考訳（メタデータ） (2026-05-09T03:26:23Z)
• Asymptotically Log-Optimal Bayes-Assisted Confidence Sequences for Bounded Means [0.0]
  ベイズ型動作予測モデルを用いて信頼性シーケンスを適応的に構築するベイズ支援フレームワークを提案する。 LLM評価のための合成データ、シーケンシャルベストアーム識別、および予測駆動推論の実験により、情報的事前は信頼性シーケンス幅とサンプリングの労力を大幅に削減できることが示された。
  論文  参考訳（メタデータ） (2026-05-08T16:27:50Z)
• Adaptive Conformal Prediction for Improving Factuality of Generations by Large Language Models [86.8650252164764]
  大規模言語モデル(LLM)は、事実的に誤った出力を生成する傾向にある。 本研究では,LLMへのコンフォメーションスコア変換法を拡張する適応型コンフォメーション予測手法を提案する。 これにより、アクシデントに依存したキャリブレーションが可能となり、条件付きカバレッジを改善しながら、限界範囲のカバレッジ保証が維持される。
  論文  参考訳（メタデータ） (2026-04-15T15:35:42Z)
• CORE: Context-Robust Remasking for Diffusion Language Models [51.59514489363897]
  我々は、推論時リビジョンのためのトレーニング不要フレームワークであるContext-Robust Remasking (CORE)を提案する。 静的トークンの確率を信頼するのではなく、COREは、ターゲットとなるマスク付きコンテキストの摂動に対する感受性を示すことによって、コンテキスト不安定なトークンを識別する。 LLaDA-8B-Baseでは、COREは推論とコードベンチマークの間で一貫した改善を行い、計算に適合したベースラインを上回り、MBPPを最大9.2%改善した。
  論文  参考訳（メタデータ） (2026-02-04T00:12:30Z)
• Distribution-informed Online Conformal Prediction [53.674678995825666]
  更新ルールに基礎となるデータパターンを組み込んだオンラインコンフォメーション予測アルゴリズムである Conformal Optimistic Prediction (COP) を提案する。 COPは予測可能なパターンが存在する場合により厳密な予測セットを生成し、見積もりが不正確な場合でも有効なカバレッジ保証を保持する。 我々は,COPが有効なカバレッジを実現し,他のベースラインよりも短い予測間隔を構築できることを証明した。
  論文  参考訳（メタデータ） (2025-12-08T17:51:49Z)
• Parallel Sampling from Masked Diffusion Models via Conditional Independence Testing [4.707859580472452]
  仮面拡散モデル(MDM)は、離散テキスト生成のための自己回帰モデル(ARM)に代わる魅力的な代替手段を提供する。 シーケンシャルな左から右への生成ではなく、並列トークンサンプリングを可能にする。 本稿では,このトレードオフを再現するモデル非依存のサンプル装置PUNTを紹介する。
  論文  参考訳（メタデータ） (2025-10-24T18:41:26Z)
• Mind the Generation Process: Fine-Grained Confidence Estimation During LLM Generation [63.49409574310576]
  大規模言語モデル(LLM)は自信過剰を示し、信頼度の高いスコアを誤った予測に割り当てる。 本研究では,テキスト生成中に高精度できめ細かな信頼スコアを提供する信頼度推定手法であるFineCEを紹介する。 論文で使用されたコードとすべてのベースラインはGitHubで公開されている。
  論文  参考訳（メタデータ） (2025-08-16T13:29:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。