論文の概要: The Confidence Shortcut: A Reasoning Failure Mode of Masked Diffusion Models

• arxiv url: http://arxiv.org/abs/2605.29123v1
• Date: Wed, 27 May 2026 21:33:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:55.530964
• Title: The Confidence Shortcut: A Reasoning Failure Mode of Masked Diffusion Models
• Title（参考訳）: 信頼のショートカット:マスク拡散モデルの推論失敗モード
• Authors: Dueun Kim, Albert No,
• Abstract要約: 信頼性に基づく復号法は、複雑推論に必要な論理フロー軌道と本質的には一致していないと我々は主張する。 信頼に足るトレーニングが、このミスアライメントを積極的に定着させることを示す。 対照的に、ランダムマスキングは、その非効率さが認識されているにもかかわらず、挑戦的な尾を解くのに不可欠な推論・軌道条件をしっかりと保存している。
• 参考スコア（独自算出の注目度）: 5.43345665278304
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Masked diffusion language models (MDMs) uniquely support any-order generation, with confidence-based decoding currently serving as the de facto standard inference policy. To optimize for this, recent training schemes attempt to align training mask patterns directly with those observed during generation. However, we argue that confidence-based decoding is inherently misaligned with the logical-flow trajectories required for complex reasoning, and that confidence-aligned training actively entrenches this misalignment. We make this concrete using multi-digit addition, where the decoding strategy prematurely predicts locally easy digits before resolving their long-range dependencies, producing high-confidence errors on challenging inputs. While traditional random masking keeps the failure rate low on this challenging tail, confidence-aligned training amplifies the error rate by an order of magnitude. Across five distinct reasoning tasks, this same pattern emerges with task-dependent severity: confidence-based decoding induces failures on highly complex inputs, and confidence-aligned training exacerbates them. In contrast, random masking -- despite its perceived inefficiency -- robustly preserves the reasoning-trajectory conditionals essential for solving the challenging tail.
• Abstract（参考訳）: 仮面拡散言語モデル(MDM)は任意の順序生成を独自にサポートしており、信頼に基づく復号化は現在デファクト標準推論ポリシーとして機能している。 この最適化のために、近年のトレーニングスキームでは、トレーニングマスクパターンと世代間で観察されたパターンを直接整列させようとしている。 しかし、信頼に基づく復号法は、本質的には複雑な推論に必要な論理フローの軌跡と不一致であり、信頼に整合した訓練がこの不一致を積極的に引き起こすと論じる。 本手法は多桁加算法を用いて具体化し, 復号化戦略は, 長距離依存を解決する前に, 局所的な容易な桁を早期に予測し, 難解な入力に対して高い信頼度誤差を生じさせる。 従来のランダムマスキングは、この挑戦的なテールで失敗率を低く保ちますが、信頼性に適合したトレーニングは、エラー率を桁違いに拡大します。 信頼に基づく復号化は、非常に複雑な入力に対して失敗を誘発し、信頼に整合したトレーニングがさらに悪化する。 対照的に、ランダムマスキングは、その非効率さが認識されているにもかかわらず、挑戦的な尾を解くのに不可欠な推論・軌道条件をしっかりと保存している。

関連論文リスト

• Locally Confident, Globally Stuck: The Quality-Exploration Dilemma in Diffusion Language Models [52.61023005303122]
  低信頼度再マッシングは、誘導配列分布のエントロピーを制約しながら、品質のプロキシを改善することを示す。 我々は,デコード時に,この分布をほぼ対象とする簡易なインディペンデント・ハスティングス・サンプリング器を開発した。
  論文  参考訳（メタデータ） (2026-04-01T02:01:30Z)
• Thinking by Subtraction: Confidence-Driven Contrastive Decoding for LLM Reasoning [58.331709210563616]
  サブトラクションによる思考は、信頼主導のコントラスト的デコーディングアプローチである。 低信頼トークンの小さなサブセットは、誤りの推論と不要な出力拡大に不当に寄与する。 信頼駆動型コントラストデコーディング(Confidence-Driven Contrastive Decoding)は,デコーディング中の低信頼トークンを検出し,それらの位置で介入する。
  論文  参考訳（メタデータ） (2026-02-20T14:13:22Z)
• CORE: Context-Robust Remasking for Diffusion Language Models [51.59514489363897]
  我々は、推論時リビジョンのためのトレーニング不要フレームワークであるContext-Robust Remasking (CORE)を提案する。 静的トークンの確率を信頼するのではなく、COREは、ターゲットとなるマスク付きコンテキストの摂動に対する感受性を示すことによって、コンテキスト不安定なトークンを識別する。 LLaDA-8B-Baseでは、COREは推論とコードベンチマークの間で一貫した改善を行い、計算に適合したベースラインを上回り、MBPPを最大9.2%改善した。
  論文  参考訳（メタデータ） (2026-02-04T00:12:30Z)
• Reflective Confidence: Correcting Reasoning Flaws via Online Self-Correction [14.164508061248775]
  大規模言語モデル(LLM)は、チェーン・オブ・ソートや自己整合性といった技術を用いて、複雑な推論タスクにおいて強力なパフォーマンスを実現している。 本稿では,低信頼信号を終端指標からリフレクショントリガに変換する新しい推論フレームワークであるリフレクティブ信頼を提案する。 AIME 2025を含む数学的推論ベンチマークの実験では、高度な早期停止ベースラインに対して、同等の計算コストで大幅に精度が向上した。
  論文  参考訳（メタデータ） (2025-12-21T05:35:07Z)
• Network Inversion for Generating Confidently Classified Counterfeits [11.599035626374409]
  視覚分類において、自信のある予測をもたらす入力を生成することは、モデルの振る舞いと信頼性を理解するための鍵となる。 我々はネットワーク・インバージョン・テクニックを拡張してCCC(Confidently Classified Counterfeits)を生成する。 CCCは信頼性に関するモデル中心の視点を提供し、モデルが完全に合成されたアウト・オブ・ディストリビューション・インプットに高い信頼を割り当てることを明らかにする。
  論文  参考訳（メタデータ） (2025-03-26T03:26:49Z)
• Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
  ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。 トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
  論文  参考訳（メタデータ） (2024-02-13T11:25:20Z)
• Addressing Mistake Severity in Neural Networks with Semantic Knowledge [0.0]
  ほとんどの堅牢なトレーニング技術は、摂動入力のモデル精度を改善することを目的としている。 強靭性の代替形態として、ニューラルネットワークが挑戦的な状況で犯した誤りの深刻度を低減することを目的としている。 我々は、現在の対人訓練手法を活用して、トレーニングプロセス中に標的の対人攻撃を発生させる。 その結果,本手法は,標準モデルや逆トレーニングモデルと比較して,誤り重大性に対して優れた性能を示した。
  論文  参考訳（メタデータ） (2022-11-21T22:01:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。