論文の概要: Re-evaluating Confidence Remasking in Masked Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2606.12232v1
• Date: Wed, 10 Jun 2026 15:41:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-11 16:42:38.536885
• Title: Re-evaluating Confidence Remasking in Masked Diffusion Language Models
• Title（参考訳）: マスク拡散言語モデルにおける信頼回復の再評価
• Authors: Stipe Frkovic, Metod Jazbec, Dan Zhang, Christian A. Naesseth, Ilija Bogunovic, Eric Nalisnick,
• Abstract要約: 代表的ポストホックリマキング手法であるWINOの実証的評価を再考する。 信頼に基づくリメイキングはエラーを軽減することができるが、信頼に基づくリメイキングのために以前報告された多様性の崩壊をさらに悪化させる。
• 参考スコア（独自算出の注目度）: 13.69108579131071
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Masked diffusion language models (dLLMs) have recently emerged as a competitive alternative to autoregressive language models, with the promise of faster inference via parallel token generation. A notable limitation of the masked formulation, however, is that once a token has been unmasked it can no longer be revised, leaving dLLMs vulnerable to early sampling mistakes. To address this, a growing body of work has sought to extend masked dLLMs with self-correcting (remasking) capabilities. One appealing subset of these methods does so in a training-free, post-hoc manner based on token confidences, with encouraging early reported results. In this work, we revisit the empirical evaluation of a representative post-hoc remasking method, WINO [Hong et al., 2026], and find that under standard decoding settings (shorter block lengths) it brings little-to-no benefit over confidence-based unmasking alone [Wu et al., 2025]. Extending the evaluation to non-greedy decoding, we find that while confidence-based remasking can mitigate errors introduced by increased stochasticity to some extent, it also exacerbates the diversity collapse previously reported for confidence-based unmasking. Overall, our results show that the benefits of post-hoc confidence-based remasking are highly setting-dependent, underscoring the need for a more comprehensive evaluation framework.
• Abstract（参考訳）: マスク付き拡散言語モデル(dLLM)は、最近、並列トークン生成による推論の高速化を約束して、自動回帰言語モデルの競合代替として登場した。 しかし、仮面の定式化の顕著な制限は、一度トークンが偽装されてしまえば、そのトークンはもはや修正されず、dLLMは早期サンプリングミスに脆弱であることである。 これを解決するために、成長する研究機関は、自己修正(リマキング)機能を備えたマスク付きdLLMを拡張しようと試みている。 これらの手法の魅力的なサブセットは、トークンの信頼性に基づいたトレーニング不要でポストホックな方法で実現し、早期に報告された結果を奨励する。 本研究では,WINO(Hong et al ,2026)の代表的ポストホックリマキング手法の実証的評価を再考し,標準的なデコード設定(ショッターブロック長)の下では,信頼に基づくアンマスキー単独よりもほとんど利益を得られないことを見出した(Wu et al ,2025)。 信頼に基づく再マスキークは、確率性の向上によって生じる誤りをある程度軽減できるが、信頼に基づくアンマスキークのために以前報告された多様性の崩壊をさらに悪化させる。 総合的な評価フレームワークの必要性を浮き彫りにして, ポストホックな信頼感に基づくリメイキングの利点は, 設定依存度が高く, より包括的評価フレームワークの必要性を裏付けるものである。

関連論文リスト

• Attention-Discounted Adaptive Sampler for Masked Diffusion Language Models [59.51249894128724]
  マスク付き拡散言語モデルは、反復を識別するごとに複数のトークンを明らかにすることで推論ステップを削減することができる。 パラレルマスク拡散復号法のためのトレーニング不要な復号法であるADASを提案する。
  論文  参考訳（メタデータ） (2026-06-09T13:17:27Z)
• The Confidence Shortcut: A Reasoning Failure Mode of Masked Diffusion Models [5.43345665278304]
  信頼性に基づく復号法は、複雑推論に必要な論理フロー軌道と本質的には一致していないと我々は主張する。 信頼に足るトレーニングが、このミスアライメントを積極的に定着させることを示す。 対照的に、ランダムマスキングは、その非効率さが認識されているにもかかわらず、挑戦的な尾を解くのに不可欠な推論・軌道条件をしっかりと保存している。
  論文  参考訳（メタデータ） (2026-05-27T21:33:37Z)
• Locally Confident, Globally Stuck: The Quality-Exploration Dilemma in Diffusion Language Models [52.61023005303122]
  低信頼度再マッシングは、誘導配列分布のエントロピーを制約しながら、品質のプロキシを改善することを示す。 我々は,デコード時に,この分布をほぼ対象とする簡易なインディペンデント・ハスティングス・サンプリング器を開発した。
  論文  参考訳（メタデータ） (2026-04-01T02:01:30Z)
• CORE: Context-Robust Remasking for Diffusion Language Models [51.59514489363897]
  我々は、推論時リビジョンのためのトレーニング不要フレームワークであるContext-Robust Remasking (CORE)を提案する。 静的トークンの確率を信頼するのではなく、COREは、ターゲットとなるマスク付きコンテキストの摂動に対する感受性を示すことによって、コンテキスト不安定なトークンを識別する。 LLaDA-8B-Baseでは、COREは推論とコードベンチマークの間で一貫した改善を行い、計算に適合したベースラインを上回り、MBPPを最大9.2%改善した。
  論文  参考訳（メタデータ） (2026-02-04T00:12:30Z)
• Learning Unmasking Policies for Diffusion Language Models [33.44995119635116]
  言語モデル(dLLM)は、多くのタスクにおいて、自己回帰的な処理の下流のパフォーマンスにマッチする。 特別なマスクトークンで満たされたバッファが、モデルの語彙からサンプリングされたトークンに徐々に置き換えられる。 本研究では,強化学習を用いたサンプリング手順の訓練を提案する。
  論文  参考訳（メタデータ） (2025-12-09T20:44:33Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Improving Self-supervised Pre-training via a Fully-Explored Masked Language Model [57.77981008219654]
  Masked Language Model (MLM)フレームワークは、自己教師型言語事前学習に広く採用されている。 そこで本研究では,テキストシーケンスを複数の非重複セグメントに分割するマスキング手法を提案する。
  論文  参考訳（メタデータ） (2020-10-12T21:28:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。