論文の概要: Nudging the Boundaries of LLM Reasoning

• arxiv url: http://arxiv.org/abs/2509.25666v1
• Date: Tue, 30 Sep 2025 02:01:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-01 17:09:04.389909
• Title: Nudging the Boundaries of LLM Reasoning
• Title（参考訳）: LLM推論の境界
• Authors: Justin Chih-Yao Chen, Becky Xiangyu Peng, Prafulla Kumar Choubey, Kung-Hsiang Huang, Jiaxin Zhang, Mohit Bansal, Chien-Sheng Wu,
• Abstract要約: 現在のオンライン強化学習アルゴリズムは、モデルに「解決不可能」な問題から学べない。 自己生成ヒントを用いてLLM推論の上界を推し進める「看護」手法であるNuRLを提案する。 NuRLは、テスト時間スケーリングを補完しながら、6つのベンチマークと3つのモデルで一貫した改善を実現している。
• 参考スコア（独自算出の注目度）: 77.26972440427285
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current online reinforcement learning (RL) algorithms like GRPO share a key limitation in LLM reasoning: they cannot learn from problems that are "unsolvable" to the model. In other words, they can only improve performance on problems where the model is capable of exploring the correct answer. Consequently, the model's "upper limit" remains unchanged after RL training, even though the likelihood of solving easier, solvable problems may increase. These hard samples cannot contribute to training, as no rollouts yield rewards and thus no gradients are produced. To unlock learning from these hard samples, we propose NuRL, a "nudging" method that aims to push the upper bound of LLM reasoning using self-generated hints, i.e., abstract cues that help reduce the problem difficulty for the model. Given a question and its gold answer, the model generates a CoT and then produces a hint containing the core knowledge needed to solve the problem. During training, we generate G rollouts from the base policy and use the pass rate to decide whether the hint should be injected. For hard samples with a 0% pass rate, we inject the hint and regenerate a new batch of trajectories. This yields two benefits: (1) the hint boosts pass rates (from 0% to non-zero), thereby introducing training signals for previously unsolvable samples, and (2) the hints are self-generated, avoiding distributional shift and do not rely on external models. NuRL achieves consistent improvements across 6 benchmarks and 3 models, while remaining complementary to test-time scaling. Notably, NuRL can raise the model's upper limit, whereas GRPO leaves pass@1024 unchanged from the base model. Furthermore, we present a systematic study of what makes an effective hint and when hints are most useful. Interestingly, the best hints are abstract and high-level, and are most beneficial when applied necessarily and after GRPO has converged.
• Abstract（参考訳）: GRPOのような現在のオンライン強化学習(RL)アルゴリズムは、LLM推論において重要な制限を共有している。 言い換えれば、モデルが正しい答えを探索できるような問題に対してのみ、パフォーマンスを改善することができるのです。 その結果、RL訓練後にモデルの「上限値」は変化しないが、より簡単で解決可能な問題が増加する可能性がある。 これらのハードサンプルは、ロールアウトが報奨を与えず、グラデーションが生成されないため、トレーニングに寄与することができない。 これらのハードサンプルから学習を解き放つために,自己生成ヒント(抽象的手がかり)を用いてLLM推論の上界を推し進めることを目的としたNuRLを提案する。 質問とその金の答えが与えられた後、モデルはCoTを生成し、その問題を解決するのに必要なコア知識を含むヒントを生成する。 トレーニング中、基本方針からGロールアウトを生成し、パスレートを使用してヒントを注入するかどうかを決定する。 パスレート0%のハードサンプルに対しては,ヒントを注入し,新しいトラジェクトリのバッチを再生する。 その結果,(1) ヒントは通過率を0%から0%に引き上げ,(2) ヒントは自己生成され,分布シフトを回避し,外部モデルに依存しない,という2つの利点が得られた。 NuRLは、テスト時間スケーリングを補完しながら、6つのベンチマークと3つのモデルで一貫した改善を実現している。 特に、NuRLはモデルの上限を上げることができるが、GRPOはパス@1024をベースモデルから変更しない。 さらに,どのヒントが有効か,どのヒントが最も有用かについて,系統的研究を行った。 興味深いことに、最良のヒントは抽象的でハイレベルであり、GRPO が収束した後に必要に適用されたときに最も有益である。

関連論文リスト

• ExPO: Unlocking Hard Reasoning with Self-Explanation-Guided Reinforcement Learning [12.83211408922535]
  強化学習スタイルのポストトレーニングは、報酬や選好信号に基づいてモデル出力を最適化することで推論を改善する。 GRPOスタイルのアプローチでは、結果ベースの検証によってラベル付けされた自己生成サンプルを使用することでこれを実装している。 提案手法は, 基本的回答を条件に, 単純でモジュール化されたフレームワークである。
  論文  参考訳（メタデータ） (2025-07-03T17:44:55Z)
• Adaptive Guidance Accelerates Reinforcement Learning of Reasoning Models [3.207886496235499]
  検証可能な報酬(RLVR)に基づく強化学習で学習した推論モデルを用いて,新たな問題を解決する方法について検討する。 RLVRは、(1)pass@$k$をpass@1に圧縮し、(2)"capability gain"を介して、モデルが以前、$k$で解決できなかった新しい問題を解決することを学習する、という2つの主な方法でパフォーマンスを駆動する。
  論文  参考訳（メタデータ） (2025-06-16T19:03:06Z)
• Rewarding the Unlikely: Lifting GRPO Beyond Distribution Sharpening [36.81125165911328]
  強化学習は、言語モデルの推論能力を改善する主要な要因として現れています。 本稿では,現在の強化学習アルゴリズムが,すでに解いている問題に関するベースモデルの分布を単に研ぎ澄ましているだけかどうかを考察する。 差分報酬はランクバイアスを緩和し、合成定理と実定理の両方の証明設定において、多種多様な$N$でpass@N$を改善することを示す。
  論文  参考訳（メタデータ） (2025-06-03T01:15:15Z)
• Incentivizing LLMs to Self-Verify Their Answers [20.2584779107763]
  大規模言語モデル(LLM)は複雑な推論タスクにおいて顕著な進歩を示している。 自明な回答を自己検証するために LLM をインセンティブとするフレームワークを提案する。 我々はQwen2.5-Math-7BとDeepSeek-R1-Distill-Qwen-1.5Bに基づいて自己検証モデルを訓練する。
  論文  参考訳（メタデータ） (2025-06-02T06:54:29Z)
• ProRL: Prolonged Reinforcement Learning Expands Reasoning Boundaries in Large Language Models [89.37819814048288]
  本稿では,KL分散制御,参照ポリシ,多様なタスクスイートを取り入れた新しいトレーニング手法であるProRLを紹介する。 我々の経験的分析により、RL学習モデルは、広範囲のpass@k評価において、ベースリセットモデルよりも一貫して優れていたことが明らかとなった。 これらの知見は、RLが言語モデルにおける推論境界を有意に拡張する条件について、新たな洞察を与える。
  論文  参考訳（メタデータ） (2025-05-30T17:59:01Z)
• Reinforced Latent Reasoning for LLM-based Recommendation [83.18146814163308]
  大きな言語モデル(LLM)は、複雑な問題解決タスクにおいて印象的な推論能力を示している。 既存の手法は通常、明示的なチェーン・オブ・シント(CoT)データによる微調整に依存している。 本研究では, 明示的なCoT推論から, コンパクトで情報密度の高い潜伏推論へ移行する代替手法について検討する。
  論文  参考訳（メタデータ） (2025-05-25T11:03:45Z)
• S$^2$R: Teaching LLMs to Self-verify and Self-correct via Reinforcement Learning [51.84977135926156]
  S$2$Rはモデルに推論時の自己検証と自己正当性を教えることによってLLM推論を強化する効率的なフレームワークである。 以上の結果から,Qwen2.5-math-7Bの精度は51.0%から81.6%に向上した。
  論文  参考訳（メタデータ） (2025-02-18T13:40:22Z)
• Exploring the Limit of Outcome Reward for Learning Mathematical Reasoning [65.2421542320293]
  推論能力は汎用知能の重要な構成要素である。 OpenAIのoシリーズモデルなどのプロプライエタリ企業による最近の進歩は、推論タスクに顕著な進歩をもたらした。 本稿では、数学的推論タスクのための textbfOutcome textbfREwtextbfArd ベースの強化 textbfLearning により達成できる性能限界を追求する新しい RL フレームワーク OREAL を提案する。
  論文  参考訳（メタデータ） (2025-02-10T18:57:29Z)
• T1: Advancing Language Model Reasoning through Reinforcement Learning and Inference Scaling [52.34735382627312]
  大規模言語モデル(LLM)は複雑な推論タスクにおいて顕著な能力を示した。 既存のアプローチは主に、効果的なテストタイムスケーリングを達成するために、模倣学習と苦労に依存しています。 我々は、探索を奨励し、推論スケーリングを理解することで、強化学習をスケールするためにT1を提案する。
  論文  参考訳（メタデータ） (2025-01-20T18:33:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。