論文の概要: LogicDiff: Logic-Guided Denoising Improves Reasoning in Masked Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2603.26771v1
• Date: Tue, 24 Mar 2026 13:08:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-31 23:18:44.592093
• Title: LogicDiff: Logic-Guided Denoising Improves Reasoning in Masked Diffusion Language Models
• Title（参考訳）: LogicDiff: Masked Diffusion Language Modelの推論を改善するロジックガイドによるデノイング
• Abstract要約: 本稿では,信頼に基づくアンマスキーを論理ロール誘導アンマスキーに置き換える推論時間手法であるLogicDiffを紹介する。 依存関係順序付きスケジューラは、論理的依存関係順序でトークンをアンマスクする。 LogicDiffは、GSM8Kでは22.0%から60.7%に、MATH-500では23.6%から23.6%に改善した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Masked diffusion language models (MDLMs) generate text by iteratively unmasking tokens from a fully masked sequence, offering parallel generation and bidirectional context. However, their standard confidence-based unmasking strategy systematically defers high-entropy logical connective tokens, the critical branching points in reasoning chains, leading to severely degraded reasoning performance. We introduce LogicDiff, an inference-time method that replaces confidence-based unmasking with logic-role-guided unmasking. A lightweight classification head (4.2M parameters, 0.05% of the base model) predicts the logical role of each masked position (premise, connective, derived step, conclusion, or filler) from the base model's hidden states with 98.4% accuracy. A dependency-ordered scheduler then unmasks tokens in logical dependency order: premises first, then connectives, then derived steps, then conclusions. Without modifying a single parameter of the base model and without any reinforcement learning or task-specific training, LogicDiff improves LLaDA-8B-Instruct accuracy from 22.0% to 60.7% on GSM8K (+38.7 percentage points) and from 23.6% to 29.2% on MATH-500 (+5.6 pp), with less than 6% speed overhead. Our results demonstrate that a substantial portion of the reasoning deficit in MDLMs is attributable to suboptimal token unmasking order, not to limitations of the model's learned representations.
• Abstract（参考訳）: 仮面拡散言語モデル(MDLM)は、完全にマスキングされたシーケンスから反復的にトークンをアンマスキングすることでテキストを生成し、並列生成と双方向コンテキストを提供する。 しかし、彼らの標準的な信頼に基づくアンマスキング戦略は、推論連鎖における重要な分岐点である高エントロピー論理結合トークンを体系的に無視し、非常に劣化した推論性能をもたらす。 本稿では,信頼に基づくアンマスキーを論理ロール誘導アンマスキーに置き換える推論時間手法であるLogicDiffを紹介する。 軽量な分類ヘッド(4.2Mパラメータ、ベースモデルの0.05%)は、ベースモデルの隠れた状態から各マスキング位置(前提、接続性、導出ステップ、結論、充填器)の論理的役割を98.4%精度で予測する。 依存関係順序のスケジューラがトークンを論理的な依存関係順序で解き放ちます。 GSM8K(+38.7ポイント)では22.0%から60.7%、MATH-500(+5.6pp)では23.6%から29.2%、オーバーヘッドは6%未満である。 その結果,MDLMの推論不足のかなりの部分は,モデルが学習した表現の制限ではなく,最適でないトークンによるものであることが示された。

関連論文リスト

• SeGDeP: Semantic- and Geometric-Aware Decoupled Prompts for Reasoning Segmentation [51.46828526392219]
  推論セグメンテーションは暗黙の言語学的結論を正確なマスクに変換する。 既存のMLLMセグメンタインタフェースでは、特別なトリガーを使用するか、両方の信号を1つのコンテキストに圧縮する。 明示的なWhat-whereインターフェースであるSeGDePを提示する。
  論文  参考訳（メタデータ） (2026-09-08T15:11:32Z)
• Mask-Aware Policy Gradients for Diffusion Language Models [24.287374086170882]
  強化学習は大規模言語モデルの推論を改善するのに有効であることが証明されているが、それをMasked Diffusion Language Models (MDLM)に拡張することは依然として困難である。 MDLMの生成には各ステップで2つの決定が伴う。 我々はこれを2段階の行動 MDP として定式化し、ポリシー勾配が自然にトークン項とマスキング項に分解されることを示す。
  論文  参考訳（メタデータ） (2026-07-16T16:57:34Z)
• Constrained Decoding for Diffusion Language Models via Efficient Inference over Finite Automata [57.27430779838529]
  有限オートマトンとして表現可能な任意の制約の下で,制約付き平均場後部からサンプリングする,正確かつトラクタブルなアルゴリズムを提案する。 このアプローチは、構築による制約満足度を保証し、欲求とサンプリングベースのデコーディングの両方をサポートし、並列およびブロックワイドデコーディングと互換性がある。 Dream-7B と LLaDA-8 の実証的な評価は、様々なタスクにおいてかなりの精度の向上を示した。
  論文  参考訳（メタデータ） (2026-07-08T05:48:57Z)
• Scheduling Thoughts: Learning the Order of Thought in Diffusion Language Models [51.21958617138889]
  自己認識スケジューリングは、軽量な順序ポリシーを学び、任意の順序と半自己回帰デコーディングの両方にシームレスに適用する。 1B MDMのスドクでは、SASはパズルの精度を82.0%(ベストスケジュール)から91.8%に改善し、第2ステージの微調整で97.5%に達する。 LLaDA-8Bの数学的推論では、ASSはGSM8Kのpass@1を64%から76%に改善し、MBPPは39.5%から41%に改善した。
  論文  参考訳（メタデータ） (2026-06-22T16:32:25Z)
• JUMP: Single-Pass Membership Inference on Fine-Tuned Diffusion Language Models [5.43345665278304]
  我々は、細調整された離散拡散言語モデル(dLLMs)に対する会員推論攻撃(MIA)について研究する。 JUMP(Joint Uncertainty-Guided Mask Probing)は,DLLMの特性を両立させるシングルパススコアリング攻撃である。 6つのMIMIRドメインにわたる微調整されたLLaDA-8Bベースでは、JUMPは平均ROC-AUCをSAMAで0.82から0.90に改善し、低FPR検出を大幅に改善する。
  論文  参考訳（メタデータ） (2026-05-09T05:40:00Z)
• DMax: Aggressive Parallel Decoding for dLLMs [77.24184219948337]
  効率的な拡散言語モデル(dLLM)のための新しいパラダイムであるDMaxを提案する。 並列デコードにおけるエラーの蓄積を軽減し、生成品質を維持しながらアグレッシブデコードを可能にする。 当社のアプローチの核心は、マスクと均一なdLLMを効率的に統合する新しいトレーニング戦略であるOn-Policy Uniform Trainingである。
  論文  参考訳（メタデータ） (2026-04-09T14:35:42Z)
• Targeted Remasking: Replacing Token Editing with Token-to-Mask Refinement in Discrete Diffusion Language Models [0.6916773850242582]
  LLaDA2.1は、生成を高速化するToken-to-Token (T2T)編集機構を導入した。 本稿では,T2T編集の学習不要でドロップインの代替品であるToken-to-Mask(T2M)を提案する。 T2Mは、疑わしいトークンをマスク状態にリセットし、拡散過程がよりクリーンなコンテキスト下でそれらを再予測することを可能にする。
  論文  参考訳（メタデータ） (2026-04-06T17:39:11Z)
• Adaptation to Intrinsic Dependence in Diffusion Language Models [5.185131234265025]
  拡散言語モデル(DLM)は自己回帰(AR)アプローチに代わる有望な代替手段として登場した。 対象データ分布の(未知の)依存構造に適応するDLMの分布に依存しないアンマスキングスケジュールを提案する。 この結果は, 先行収束理論を著しく改善し, 低複雑さ分布に対する相当なサンプリング加速を得た。
  論文  参考訳（メタデータ） (2026-02-23T18:41:34Z)
• Where-to-Unmask: Ground-Truth-Guided Unmasking Order Learning for Masked Diffusion Language Models [17.18632315520133]
  Masked Diffusion Language Modelsは、マスク付きトークンを反復的に充填することでテキストを生成する。 Gt-Marginは、部分的にマスキングされた各状態の下で、より簡単な位置を優先するオラクルアンマスキング順序を与える。 マスク付きコンテキストからオーラクルの注文を模倣するために,教師付きアンマスキングプランナーを学習 to ランクで訓練する。
  論文  参考訳（メタデータ） (2026-02-10T07:56:46Z)
• CORE: Context-Robust Remasking for Diffusion Language Models [51.59514489363897]
  我々は、推論時リビジョンのためのトレーニング不要フレームワークであるContext-Robust Remasking (CORE)を提案する。 静的トークンの確率を信頼するのではなく、COREは、ターゲットとなるマスク付きコンテキストの摂動に対する感受性を示すことによって、コンテキスト不安定なトークンを識別する。 LLaDA-8B-Baseでは、COREは推論とコードベンチマークの間で一貫した改善を行い、計算に適合したベースラインを上回り、MBPPを最大9.2%改善した。
  論文  参考訳（メタデータ） (2026-02-04T00:12:30Z)
• Lookahead Unmasking Elicits Accurate Decoding in Diffusion Language Models [51.12873073612084]
  Masked Diffusion Models (MDM) は、反復的にトークンをアンマキングすることで生成される言語モデルであるが、その性能はアンマキングの推測時間順序に依存する。 提案するLookUM(LookUM)は,これらの問題に対処し,サンプリングを可能な全注文に対して経路選択として再構成する。 LookUMはピーク性能を達成するために2～3つの経路しか必要とせず、極めて効率的な経路選択を示す。
  論文  参考訳（メタデータ） (2025-11-04T02:37:37Z)
• Blockwise SFT for Diffusion Language Models: Reconciling Bidirectional Attention and Autoregressive Decoding [60.06816407728172]
  離散拡散言語モデルは、テキスト生成に強い可能性を示している。 半自己回帰推論による微調整ミスアライメントの標準化 我々は、応答を固定サイズブロックに分割するBlockwise SFTを提案する。
  論文  参考訳（メタデータ） (2025-08-27T02:49:33Z)
• Beyond Masked and Unmasked: Discrete Diffusion Models via Partial Masking [28.55159825491572]
  マスケード拡散モデル(MDM)は、離散データのための強力な生成モデルであり、段階的にトークンを配列で解き放つことでサンプルを生成する。 本稿では、トークンがマスクされた状態とマスクされていない状態の間を中間状態にすることでMDMを増強する部分マスキングスキーム(Prime)を提案する。 本手法は,多種多様な生成モデルタスクに対して優れた性能を示す。
  論文  参考訳（メタデータ） (2025-05-24T04:16:40Z)
• Bridge the Points: Graph-based Few-shot Segment Anything Semantically [79.1519244940518]
  プレトレーニング技術の最近の進歩により、視覚基礎モデルの能力が向上した。 最近の研究はSAMをFew-shot Semantic segmentation (FSS)に拡張している。 本稿では,グラフ解析に基づく簡易かつ効果的な手法を提案する。
  論文  参考訳（メタデータ） (2024-10-09T15:02:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。