論文の概要: Step-Aware Policy Optimization for Reasoning in Diffusion Large Language Models

• arxiv url: http://arxiv.org/abs/2510.01544v1
• Date: Thu, 02 Oct 2025 00:34:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.921398
• Title: Step-Aware Policy Optimization for Reasoning in Diffusion Large Language Models
• Title（参考訳）: 拡散大言語モデルにおける推論のためのステップアウェアポリシー最適化
• Authors: Shaoan Xie, Lingjing Kong, Xiangchen Song, Xinshuai Dong, Guangyi Chen, Eric P. Xing, Kun Zhang,
• Abstract要約: 拡散言語モデル(dLLM)は、テキスト生成に有望で非自己回帰的なパラダイムを提供する。 現在の強化学習アプローチは、しばしばスパースで結果に基づく報酬に頼っている。 これは推論の自然な構造との根本的なミスマッチに由来すると我々は主張する。
• 参考スコア（独自算出の注目度）: 57.42778606399764
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion language models (dLLMs) offer a promising, non-autoregressive paradigm for text generation, yet training them for complex reasoning remains a key challenge. Current reinforcement learning approaches often rely on sparse, outcome-based rewards, which can reinforce flawed reasoning paths that lead to coincidentally correct answers. We argue that this stems from a fundamental mismatch with the natural structure of reasoning. We first propose a theoretical framework that formalizes complex problem solving as a hierarchical selection process, where an intractable global constraint is decomposed into a series of simpler, localized logical steps. This framework provides a principled foundation for algorithm design, including theoretical insights into the identifiability of this latent reasoning structure. Motivated by this theory, we identify unstructured refinement -- a failure mode where a model's iterative steps do not contribute meaningfully to the solution -- as a core deficiency in existing methods. We then introduce Step-Aware Policy Optimization (SAPO), a novel RL algorithm that aligns the dLLM's denoising process with the latent reasoning hierarchy. By using a process-based reward function that encourages incremental progress, SAPO guides the model to learn structured, coherent reasoning paths. Our empirical results show that this principled approach significantly improves performance on challenging reasoning benchmarks and enhances the interpretability of the generation process.
• Abstract（参考訳）: 拡散言語モデル(dLLM)は、テキスト生成に有望で非自己回帰的なパラダイムを提供するが、複雑な推論のためにそれらを訓練することは依然として重要な課題である。 現在の強化学習アプローチは、しばしばスパースで結果に基づく報酬に依存しており、偶然に正しい答えにつながる欠陥のある推論経路を補強することができる。 これは推論の自然な構造との根本的なミスマッチに由来すると我々は主張する。 まず,難解な大域的制約を,より単純で局所的な論理的なステップに分解する階層的選択過程として,複雑な問題解決を形式化する理論的枠組みを提案する。 このフレームワークはアルゴリズム設計の原理的な基盤を提供し、この潜在的推論構造の識別可能性に関する理論的洞察を含む。 この理論に動機付けられて、既存の手法の中核的な欠陥として、非構造化の洗練(モデルの反復的なステップがソリューションに有意に寄与しない失敗モード)を特定できる。 次に、dLLMの復調過程と潜在推論階層を整合させる新しいRLアルゴリズムであるステップ・アウェア・ポリシー・オプティマイズ(SAPO)を導入する。 漸進的な進歩を促すプロセスベースの報酬関数を使用することで、SAPOはモデルを構造化された一貫性のある推論パスを学ぶようにガイドする。 実験結果から,本手法は,課題推論ベンチマークの性能を著しく向上し,生成プロセスの解釈可能性を向上させることが示唆された。

関連論文リスト

• Implicit Reasoning in Large Language Models: A Comprehensive Survey [67.53966514728383]
  大規模言語モデル(LLM)は、幅広いタスクにまたがる強力な一般化を実証している。 最近の研究は、暗黙の推論に拍車をかけた、明示的な思考の連鎖から注意を向けている。 本調査では,表現形式から計算戦略へ焦点を移し,実行パラダイムを中心とした分類を紹介した。
  論文  参考訳（メタデータ） (2025-09-02T14:16:02Z)
• Revisiting LLM Reasoning via Information Bottleneck [57.519119962528166]
  大規模言語モデル(LLM)は、最近、検証可能な報酬付き強化学習(RLVR)を通じて推論能力の顕著な進歩を示した。 本稿では,情報ボトルネック(IB)の原理に基づくLLM推論の理論的特徴について述べる。 IB対応推論最適化(IBRO)を提案する。
  論文  参考訳（メタデータ） (2025-07-24T13:14:25Z)
• Learning Temporal Abstractions via Variational Homomorphisms in Option-Induced Abstract MDPs [17.335266921332092]
  大規模言語モデル(LLMs)は、明示的なChain-of-Thoughtプロンプトを通じて、顕著な推論能力を示している。 モデルがすべてのステップに対して明示的なテキストを生成することなく、潜在空間で"考え"する、効率的で暗黙的な推論のためのフレームワークを開発する。
  論文  参考訳（メタデータ） (2025-07-22T11:22:58Z)
• CTRLS: Chain-of-Thought Reasoning via Latent State-Transition [57.51370433303236]
  チェーン・オブ・シント(CoT)推論は、大規模な言語モデルで複雑な問題を解釈可能な中間ステップに分解することを可能にする。 我々は,遅延状態遷移を伴うマルコフ決定プロセス(MDP)としてCoT推論を定式化するフレームワークであるgroundingSを紹介する。 我々は、ベンチマーク推論タスクにおける推論精度、多様性、探索効率の改善を示す。
  論文  参考訳（メタデータ） (2025-07-10T21:32:18Z)
• BRiTE: Bootstrapping Reinforced Thinking Process to Enhance Language Model Reasoning [78.63421517563056]
  大規模言語モデル(LLM)は複雑な推論タスクにおいて顕著な機能を示した。 本稿では,新しいグラフィカルモデルを用いてLLM推論を定式化する統一確率的フレームワークを提案する。 本稿では,Bootstrapping Reinforced Thinking Process (BRiTE)アルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2025-01-31T02:39:07Z)
• On the Diagram of Thought [20.805936414171892]
  大規模言語モデル(LLM)は多くのタスクで優れているが、構造化された多段階の推論を必要とする複雑な問題に悩まされることが多い。 思考のダイアグラム(Diagram of Thought, DoT)は、1つのLCMがその推論のメンタルマップを構築し、ナビゲートすることを可能にする新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-09-16T07:01:41Z)
• SEER: Facilitating Structured Reasoning and Explanation via Reinforcement Learning [29.514755268807868]
  構造的推論と説明を容易にする構造的回帰を最大化する新しい手法であるSEERを提案する。 提案手法は構造的推論に固有の階層構造と分岐構造を正確に記述する。 実験の結果,SEERは最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-01-24T06:10:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。