論文の概要: Rethinking Reasoning Quality in Large Language Models through Enhanced Chain-of-Thought via RL

• arxiv url: http://arxiv.org/abs/2509.06024v1
• Date: Sun, 07 Sep 2025 11:52:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-09 14:07:03.821966
• Title: Rethinking Reasoning Quality in Large Language Models through Enhanced Chain-of-Thought via RL
• Title（参考訳）: 大型言語モデルにおける推論品質の再考 : RLによる改良型チェーン・オブ・ソートによる検討
• Authors: Haoyang He, Zihua Rong, Kun Ji, Chenyang Li, Qing Huang, Chong Xia, Lan Yang, Honggang Zhang,
• Abstract要約: 強化学習(Reinforcement Learning, RL)は、近年、大規模言語モデルの推論能力を強化する主要なパラダイムとなっている。 しかし、数学やプログラミングのベンチマークで一般的に使われるルールベースの報酬関数は、応答形式と正しさのみを評価する。 本稿では,報酬と有利な信号の両方を再生するプラグイン・アンド・プレイのRL報酬フレームワークであるDynamic Reasoning Efficiency Reward (DRER)を提案する。
• 参考スコア（独自算出の注目度）: 19.659532349434418
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning (RL) has recently become the dominant paradigm for strengthening the reasoning abilities of large language models (LLMs). Yet the rule-based reward functions commonly used on mathematical or programming benchmarks assess only answer format and correctness, providing no signal as to whether the induced Chain-of-Thought (CoT) actually improves the answer. Furthermore, such task-specific training offers limited control over logical depth and therefore may fail to reveal a model's genuine reasoning capacity. We propose Dynamic Reasoning Efficiency Reward (DRER) -- a plug-and-play RL reward framework that reshapes both reward and advantage signals. (i) A Reasoning Quality Reward assigns fine-grained credit to those reasoning chains that demonstrably raise the likelihood of the correct answer, directly incentivising the trajectories with beneficial CoT tokens. (ii) A Dynamic Length Advantage decays the advantage of responses whose length deviates from a validation-derived threshold, stabilising training. To facilitate rigorous assessment, we also release Logictree, a dynamically constructed deductive reasoning dataset that functions both as RL training data and as a comprehensive benchmark. Experiments confirm the effectiveness of DRER: our 7B model attains GPT-o3-mini level performance on Logictree with 400 trianing steps, while the average confidence of CoT-augmented answers rises by 30%. The model further exhibits generalisation across diverse logical-reasoning datasets, and the mathematical benchmark AIME24. These results illuminate how RL shapes CoT behaviour and chart a practical path toward enhancing formal-reasoning skills in large language models. All code and data are available in repository https://github.com/Henryhe09/DRER.
• Abstract（参考訳）: 強化学習(RL)は近年,大規模言語モデル(LLM)の推論能力を強化する主要なパラダイムとなっている。 しかし、数学やプログラミングのベンチマークで一般的に用いられるルールベースの報酬関数は、応答形式と正当性のみを評価し、誘導されたChain-of-Thought(CoT)が実際に応答を改善するかどうかのシグナルを与えない。 さらに、そのようなタスク固有のトレーニングは、論理的な深さを限定的に制御するので、モデルの真の推論能力を明らかにすることができない可能性がある。 本稿では,報酬と有利な信号の両方を再生するプラグイン・アンド・プレイのRL報酬フレームワークであるDynamic Reasoning Efficiency Reward (DRER)を提案する。 一 適正なCoTトークンによる軌道のインセンティブを直接得て、正解の可能性を実証的に高めるような推論チェーンに微粒な信用を付与すること。 (二)動的長長アドバンテージは、検証から導かれる閾値から長さがずれた応答の利点を損なう。 厳密な評価を容易にするため、RLトレーニングデータや包括的なベンチマークとして機能する動的に構築された推論データセットであるLogictreeをリリースする。 実験によりDRERの有効性が確認された。我々の7Bモデルは400のトリアーニングステップでLogictree上でGPT-o3-miniレベルのパフォーマンスを達成し、CoT強化された回答の平均信頼度は30%上昇した。 このモデルはさらに、様々な論理推論データセットと数学ベンチマークAIME24の一般化を示す。 これらの結果は,大規模言語モデルにおいて,RLがCoTの挙動をどのように形成し,形式推論能力を高めるための実践的な経路を図示する。 すべてのコードとデータはリポジトリ https://github.com/Henryhe09/DRER.org で公開されている。

関連論文リスト

• Nested-ReFT: Efficient Reinforcement Learning for Large Language Model Fine-Tuning via Off-Policy Rollouts [25.205293698698867]
  我々はNested-ReFTを導入し、ターゲットモデルのサブセットがトレーニング中に非政治的な完了を生成する行動モデルとして機能する。 我々の理論的分析は、Nested-ReFTが制御された分散を伴う非バイアス勾配推定値を得ることを示している。 我々の経験的分析は、複数の数学推論ベンチマークとモデルサイズでトークン/秒として測定された計算効率の改善を実証している。
  論文  参考訳（メタデータ） (2025-08-13T18:37:46Z)
• Interleaved Reasoning for Large Language Models via Reinforcement Learning [22.403928213802036]
  ロングチェーン・オブ・シント(CoT)は、大規模言語モデル(LLM)推論能力を向上する。 本稿では、強化学習(RL)を用いてLLMを指導し、マルチホップ質問に対する思考と回答をインターリーブする新しい学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2025-05-26T07:58:17Z)
• Reinforced Latent Reasoning for LLM-based Recommendation [83.18146814163308]
  大きな言語モデル(LLM)は、複雑な問題解決タスクにおいて印象的な推論能力を示している。 既存の手法は通常、明示的なチェーン・オブ・シント(CoT)データによる微調整に依存している。 本研究では, 明示的なCoT推論から, コンパクトで情報密度の高い潜伏推論へ移行する代替手法について検討する。
  論文  参考訳（メタデータ） (2025-05-25T11:03:45Z)
• AceReason-Nemotron: Advancing Math and Code Reasoning through Reinforcement Learning [50.02117478165099]
  大規模強化学習は, 強大・中小モデルの推論能力を大幅に向上させることができることを示す。 まずは算数のみのプロンプト、次にコードのみのプロンプトのトレーニングを行う。
  論文  参考訳（メタデータ） (2025-05-22T08:50:47Z)
• Think-RM: Enabling Long-Horizon Reasoning in Generative Reward Models [50.4652276723694]
  Think-RMは、高度な機能をサポートするフレキシブルで自己誘導的な推論トレースを生成する。 Think-RM は RM-Bench 上で最先端の結果を達成し,BT RM と GenRM の垂直スケールを8% 上回った。
  論文  参考訳（メタデータ） (2025-05-22T05:56:11Z)
• Mind the Gap: Bridging Thought Leap for Improved Chain-of-Thought Tuning [54.65050470296886]
  本研究では,跳躍を自動的に検出し,中間的推論ステップを欠くことを目的としたCoT Thought Leap Bridge Taskを提案する。 ブリッジされたデータセットに微調整されたモデルが、元のデータセットでトレーニングされたモデルよりも一貫して優れていることを示す。 提案手法は, 蒸留データを効果的に向上させ, 強化学習の出発点として優れたものを提供する。
  論文  参考訳（メタデータ） (2025-05-20T17:59:31Z)
• Logic-RL: Unleashing LLM Reasoning with Rule-Based Reinforcement Learning [23.99454995087634]
  大規模推論モデルにおけるルールベース強化学習の可能性について検討する。 合成論理パズルは, 制御可能な複雑性と簡単な解答検証により, 学習データとして用いられる。 我々の7Bモデルは、論理コーパスにはない、リフレクション、検証、要約のような高度な推論スキルを発達させる。
  論文  参考訳（メタデータ） (2025-02-20T17:49:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。