論文の概要: Learning to Solve Hard Problems in RL for LLMs by Never Giving Up

• arxiv url: http://arxiv.org/abs/2609.13443v1
• Date: Fri, 11 Sep 2026 19:02:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:05.325174
• Title: Learning to Solve Hard Problems in RL for LLMs by Never Giving Up
• Title（参考訳）: LLMにおけるRLの難解化の学習 : 決して諦めることなく
• Abstract要約: LLMをRLでトレーニングしても,データセット全体の性能が等しく向上しないことを示す。 本報告では,Never Give Up (NGU) を提案する。
• 参考スコア（独自算出の注目度）: 11.62149809697467
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We demonstrate that training LLMs with RL does not improve performance equally across a dataset. RL shows large improvements on easy problems that an LLM is already good at solving, but small improvements on hard problems. We call this the Matthew Effect in RL for LLMs, after the phenomenon of cumulative advantage from economics and network science summarized as "the rich get richer". The naive explanation is that hard problems require more compute to find a solution. We argue that modern RL methods are exacerbating the issue by wasting too much compute on easy problems and instead should dynamically reallocate how they use compute. We introduce Never Give Up (NGU), a simple adaptive sampling method that keeps generating samples for a problem until one is correct. By leveraging asynchronous RL, this naturally uses fewer samples to filter out easy problems and allocates more compute to solving harder problems. We investigate the design choices that affect NGU, such as off-policy robustness, and develop a set of best practices. On the math benchmark Deepscaler, NGU improves performance per compute, especially on harder problems. On a recent coding task, Manufactoria, standard GRPO with a per-test reward fails to fully solve problems that have a range of easy and difficult tests. NGU iteratively improves, solving harder and harder tests, until it learns to fully solve coding problems.
• Abstract（参考訳）: LLMをRLでトレーニングしても,データセット全体の性能が等しく向上しないことを示す。 RLは、LLMが既に解決に長けている簡単な問題に対して、大幅に改善されているが、難しい問題に対して小さな改善がなされている。 我々はこれをLLMのRLにおけるマシュー効果(Matthew Effect)と呼び、経済学とネットワーク科学の累積的な優位性の現象を「富がより豊かになる」と要約した。 単純な説明は、難しい問題では解を見つけるのにより多くの計算を必要とするということである。 より簡単な問題に対して計算を無駄にしすぎ、代わりに計算の使い方を動的に再配置することで、現代のRL手法が問題を悪化させていると論じる。 本報告では,Never Give Up (NGU) を提案する。 非同期RLを利用することで、簡単な問題をフィルタリングするためにサンプルを減らし、難しい問題を解決するためにより多くの計算を割り当てます。 政治以外のロバスト性など,NGUに影響を与える設計選択を調査し,一連のベストプラクティスを開発する。 数学ベンチマークのDeepscalerでは、NGUは特に難しい問題に対して、計算当たりのパフォーマンスを改善する。 最近のコーディングタスクであるManufactoriaでは、テストごとの報酬を持つ標準のGRPOは、容易で難しいテストの範囲の問題を完全に解決することができない。 NGUは、コーディング問題を完全に解決するまで、反復的に改善し、より難しく、難しいテストを解決します。

関連論文リスト

• DecompRL: Solving Harder Problems by Learning Modular Code Generation [27.116622101805984]
  本稿では,階層型コード構造を明示的に分解・実装するRLアルゴリズムDecompRLを紹介する。 LiveCodeBenchとCodeContestsでは、DecompRLが標準および多様性に最適化されたRLベースラインを、問題毎に105ドルのトークンよりも上回っている。
  論文  参考訳（メタデータ） (2026-07-02T16:25:10Z)
• Cog-DRIFT: Exploration on Adaptively Reformulated Instances Enables Learning from Hard Reasoning Problems [70.94268452442147]
  検証可能な報酬(RLVR)からの強化学習はLLMの推論能力を改善した。 本稿では,タスク修正に基づくシンプルで効果的なソリューションを提案する。 本稿では,Cag-DRIFTについて紹介する。このフレームワークは改良された変種を構築し,適応的なカリキュラムに編成する。
  論文  参考訳（メタデータ） (2026-04-06T15:38:38Z)
• Nudging the Boundaries of LLM Reasoning [77.26972440427285]
  現在のオンライン強化学習アルゴリズムは、モデルに「解決不可能」な問題から学べない。 自己生成ヒントを用いてLLM推論の上界を推し進める「看護」手法であるNuRLを提案する。 NuRLは、テスト時間スケーリングを補完しながら、6つのベンチマークと3つのモデルで一貫した改善を実現している。
  論文  参考訳（メタデータ） (2025-09-30T02:01:40Z)
• SciML Agents: Write the Solver, Not the Solution [69.5021018644143]
  敵の"ミスリーディング"問題の診断データセットと,1,000種類のODEタスクの大規模ベンチマークという,2つの新しいデータセットを紹介した。 オープンおよびクローズドソース LLM モデルについて, (i) 誘導型とガイド型, (ii) オフ・ザ・シェルフ対微調整型という2つの軸に沿って評価した。 予備的な結果は、慎重なプロンプトと微調整により、単純なODE問題を確実に解決できる特殊なLLMエージェントが得られることを示唆している。
  論文  参考訳（メタデータ） (2025-09-12T02:53:57Z)
• Staying in the Sweet Spot: Responsive Reasoning Evolution via Capability-Adaptive Hint Scaffolding [59.60915947702282]
  検証可能な報酬(RLVR)による強化学習は,大規模言語モデル(LLM)の推論能力の向上に成功している。 既存のRLVR手法は、訓練データの困難さとモデルの能力のミスマッチにより、探索の非効率に悩まされることが多い。 本稿では,高効率領域に留まることの難易度を動的に調整する新しい監視支援RLVRフレームワークであるSEELEを提案する。
  論文  参考訳（メタデータ） (2025-09-08T17:36:21Z)
• Curriculum Reinforcement Learning from Easy to Hard Tasks Improves LLM Reasoning [58.62311540316617]
  強化学習(RL)による言語モデルの推論能力の向上を目指す。 我々は,LLMが徐々に推論スキルを構築できるように,タスクを簡単から困難(E2H)にスケジュールすることを提案する。 E2H Reasonerは小型LLM(1.5B〜3B)の推論能力を著しく改善する
  論文  参考訳（メタデータ） (2025-06-07T02:41:54Z)
• Decomposing Elements of Problem Solving: What "Math" Does RL Teach? [22.517954679764244]
  私たちは問題解決を、計画、実行、検証という基本的な機能に分解します。 RLを訓練したモデルは、計画スキルが不十分なため、基本的に新しい問題に悩まされ、"カバーウォール"にぶつかっていることを示す。 本研究は, LLM推論の強化におけるRLの役割について考察し, 重要な限界を明らかにするとともに, これらの障壁を克服するための道筋を示唆する。
  論文  参考訳（メタデータ） (2025-05-28T18:18:49Z)
• Mitigating Tail Narrowing in LLM Self-Improvement via Socratic-Guided Sampling [38.7578639980701]
  自己改善手法により、大規模な言語モデルがソリューション自体を生成できる。 モデルでは、簡単なクエリをオーバーサンプルし、まだマスターしていないクエリをアンダーサンプルする傾向があります。 本稿では,重み付きデータ抽出の効率化を目的とした,ガイド付き自己改善(GSI)について紹介する。
  論文  参考訳（メタデータ） (2024-11-01T17:18:45Z)
• Navigating the Labyrinth: Evaluating LLMs' Ability to Reason About Search Problems [62.76627483915117]
  大規模言語モデル(LLM)は、最近、数学と推論ベンチマークで印象的なパフォーマンスを達成した。 直感的なパズルにインスパイアされた11のユニークな検索問題を含む新しいベンチマークであるSearchBenchを紹介した。 ステップバイステップで言語のみの推論を用いることで、最も先進的なLLMでさえ、SearchBenchの解決に失敗することを示します。
  論文  参考訳（メタデータ） (2024-06-18T00:44:58Z)
• Distilling Algorithmic Reasoning from LLMs via Explaining Solution Programs [2.3020018305241337]
  大きな言語モデルの推論能力を改善する効果的な方法として、明確な推論経路を蒸留する手法が登場している。 本稿では, LLM から推論能力を抽出する手法を提案する。 提案実験は,ReasonerがCoderによるプログラム実装をより効果的にガイドできることを示す。
  論文  参考訳（メタデータ） (2024-04-11T22:19:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。