論文の概要: Towards Efficient Reasoning: Learning Causal Shortcuts for Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2609.28272v1
• Date: Wed, 23 Sep 2026 15:27:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:18.088156
• Title: Towards Efficient Reasoning: Learning Causal Shortcuts for Diffusion Language Models
• Title（参考訳）: 効率的な推論に向けて:拡散言語モデルにおける因果ショートカットの学習
• Abstract要約: 拡散言語モデル (DLMs) は、その強い推論能力から大きな注目を集めている。 DLMの推論精度と収束速度に及ぼす因果ショートカットの影響を解析した。 そこで我々は,DLMのためのCausal Shortcut Learning (CSL)フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 39.41948804901819
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion Language Models (DLMs) have attracted significant attention for their strong reasoning ability. However, under a bidirectional attention mechanism, DLMs operate over an exponentially large exploration space compared to autoregressive models (ARMs), making it challenging to focus on reasoning-guiding tokens under random masking. We define causal shortcuts as token chains that cover the full sequence and provide explicit guidance towards correct reasoning trajectories. We analyze the effects of causal shortcuts on the reasoning accuracy and convergence speed of DLMs, and find that they largely improve answer convergence efficiency and generation accuracy. Motivated by this, we propose a Causal Shortcut Learning (CSL) Framework for DLMs. Specifically, we introduce a step-by-step token extraction procedure to extract causal shortcuts from data, and apply parallel prioritized masking on these tokens during training to enable efficient and accurate convergence to correct answers via causal shortcuts. Extensive experiments across multiple reasoning benchmarks and two base models demonstrate that CSL consistently outperforms existing SFT-variant baselines, achieving an average improvement of $1.92\%$ over SFT-only models, and up to $4.20\%$ on MATH-500. The code is available at the \href{https://github.com/ZJUDianJin/Causal-Shortcuts-Learning}{https://github.com/ZJUDianJin/Causal-Shortcuts-Learning
• Abstract（参考訳）: 拡散言語モデル (DLMs) は、その強い推論能力から大きな注目を集めている。 しかし、双方向の注意機構の下では、DLMは自己回帰モデル(ARM)と比較して指数関数的に大きな探索空間上で動作し、ランダムマスキングの下で推論誘導トークンに焦点を合わせることは困難である。 我々は、因果ショートカットを全列をカバーするトークンチェーンとして定義し、正しい推論軌道に対する明確なガイダンスを提供する。 因果ショートカットがDLMの推論精度と収束速度に与える影響を解析し,解の収束効率と生成精度を大幅に改善することを発見した。 そこで我々は,DLMのためのCausal Shortcut Learning (CSL)フレームワークを提案する。 具体的には、データから因果的ショートカットを抽出するステップバイステップのトークン抽出手順を導入し、トレーニング中にこれらのトークンに並列優先マスキングを適用し、因果的ショートカットによる回答の正確かつ正確な収束を可能にする。 複数の推論ベンチマークと2つのベースモデルにわたる大規模な実験により、CSLは既存のSFTモデルのベースラインを一貫して上回り、SFTのみのモデルよりも1.92\%、MATH-500では4.20\%の平均的な改善を達成した。 コードは \href{https://github.com/ZJUDianJin/Causal-Shortcuts-Learning}{https://github.com/ZJUDianJin/Causal-Shortcuts-Learning で入手できる。

関連論文リスト

• ReasonCACHE: Teaching LLMs To Reason Without Weight Updates [75.2707292367514]
  大規模言語モデル(LLM)は、コンテキストウィンドウをオーバーロードすることなく、重み付けをすることなく、推論を学習できることを示します。 本稿では、デモを固定キー値キャッシュに蒸留するReasonCACHEについて紹介する。 経験的に、ReasonCACHEは標準のICLよりも優れており、IWLアプローチにマッチするか、超えている。
  論文  参考訳（メタデータ） (2026-02-02T17:24:23Z)
• Verifying Large Language Models' Reasoning Paths via Correlation Matrix Rank [71.09032766271493]
  大規模言語モデル (LLM) は誤りや幻覚を引き起こす傾向がある。 アウトプットを効果的かつ効率的にチェックする方法は、アプリケーションにとって重要な問題となっている。
  論文  参考訳（メタデータ） (2025-10-28T11:01:10Z)
• ReCUT: Balancing Reasoning Length and Accuracy in LLMs via Stepwise Trails and Preference Optimization [16.51303604678232]
  Reasoning Compression ThroUgh Stepwise Trials (ReCUT) は推論軌道の精度と長さのバランスをとるための新しい手法である。 複数の数学推論データセットとバックボーンモデルによる実験結果から、ReCUTは推論の長さを約30～50%削減することが示された。
  論文  参考訳（メタデータ） (2025-06-12T15:43:01Z)
• Curriculum Reinforcement Learning from Easy to Hard Tasks Improves LLM Reasoning [58.62311540316617]
  強化学習(RL)による言語モデルの推論能力の向上を目指す。 我々は,LLMが徐々に推論スキルを構築できるように,タスクを簡単から困難(E2H)にスケジュールすることを提案する。 E2H Reasonerは小型LLM(1.5B〜3B)の推論能力を著しく改善する
  論文  参考訳（メタデータ） (2025-06-07T02:41:54Z)
• TL;DR: Too Long, Do Re-weighting for Efficient LLM Reasoning Compression [55.37723860832064]
  高度なデータアノテーションに依存しない動的比に基づくトレーニングパイプラインを提案する。 我々は、DeepSeek-R1-Distill-7BとDeepSeek-R1-Distill-14Bのモデルと、様々な難易度を持つ様々なベンチマークのモデルに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2025-06-03T09:23:41Z)
• Skip-Thinking: Chunk-wise Chain-of-Thought Distillation Enable Smaller Language Models to Reason Better and Faster [51.89995713333108]
  CoT (Chain-of-Thought) 蒸留により、大きな言語モデル (LLM) がタスクを推論するために小さな言語モデル (SLM) を導くことができる。 既存の方法は、SLMに1イテレーションで長い合理性を学ぶように訓練する。 本稿では,論理を内部意味的コヒーレントなチャンクに分割するために探索を用いるチャンクワイズトレーニング(CWT)を提案する。
  論文  参考訳（メタデータ） (2025-05-24T11:04:52Z)
• Self-Training Elicits Concise Reasoning in Large Language Models [23.475414693530965]
  チェーン・オブ・シント(CoT)推論により、中間トークンによるさらなる計算を大規模言語モデル(LLM)が利用できるようになった。 自己生成した簡潔な推論経路を利用する簡単な微調整法を提案する。 提案手法は,GSM8KおよびMATH上の5つのモデルファミリに対して,平均精度を維持しつつ,出力トークンの30%削減を実現する。
  論文  参考訳（メタデータ） (2025-02-27T14:14:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。