論文の概要: ReSI-Math: Exploring Recoverable Capability Frontiers for Efficient Reasoning Improvement

• arxiv url: http://arxiv.org/abs/2611.04787v1
• Date: Tue, 03 Nov 2026 12:25:56 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-04 17:24:24.594053
• Title: ReSI-Math: Exploring Recoverable Capability Frontiers for Efficient Reasoning Improvement
• Title（参考訳）: ReSI-Math: 効率的な推論改善のための回復可能な機能フロンティアを探る
• Abstract要約: いくつかの理由付けの失敗は、モデル自身の軌道を探索することによって回復することができる。 回復可能な機能フロンティアを探求するフレームワークであるReSI-Mathを紹介します。 Qwen3-VL-8Bでは、621の試行から272の検証結果が得られた。
• 参考スコア（独自算出の注目度）: 23.284667408112053
• License:
• Abstract: Reinforcement learning with verifiable rewards (RLVR) has become an effective approach for improving mathematical reasoning in large language models. However, a fundamental question remains: when a model fails to solve a problem, does it truly lack the underlying capability? In this work, we reveal that direct failure does not necessarily imply inability. Some reasoning failures can be recovered by exploring the model's own trajectories, exposing a recoverable capability frontier: a policy-dependent region where solutions are not reliably generated through direct decoding but can be elicited through trajectory-level search. Based on this observation, we introduce ReSI-Math, a framework that explores recoverable capability frontiers and converts recovered capabilities into data-efficient RLVR supervision. ReSI-Math uses Self-Judge-guided evolutionary search to identify recoverable failures under a fixed policy and adaptively selects frontier problems for sequential RLVR as the policy evolves. On Qwen3-VL-8B, correct-incorrect trajectory crossover produces 272 verifier-confirmed correct offspring from 621 attempts (43.8%). After three sequential one-shot RLVR stages, the MATH500 and WE-MATH average improves from 78.71 to 80.16. Under matched single-problem RLVR, random selection reaches only 53.31 versus 54.16 for frontier-guided Q1.
• Abstract（参考訳）: 検証可能な報酬付き強化学習(RLVR)は,大規模言語モデルにおける数学的推論の改善に有効な手法となっている。 しかし、根本的な疑問が残る。モデルが問題の解決に失敗したとき、それは真に根底にある能力を欠いているのだろうか? この研究で、直接の失敗が必ずしも不可能であるとは限らないことが明らかにします。 いくつかの理由付けの失敗は、モデル自身の軌道を探索し、回復可能な機能フロンティアを露呈することで回復することができる。 この観測に基づいて、回復可能な機能フロンティアを探索し、回復可能な機能をデータ効率のよいRLVR監視に変換するフレームワークであるReSI-Mathを紹介する。 ReSI-Mathは、セルフジャッジ誘導進化探索を用いて、固定されたポリシーの下で回復可能な障害を特定し、ポリシーが進化するにつれて、シーケンシャルなRLVRのフロンティア問題を適応的に選択する。 Qwen3-VL-8Bでは、正しい不正確な軌道交差が621の試行(43.8%)から272の検証済みの正確な子孫を生成する。 3つの連続一発RLVRステージの後、MATH500とWE-MATHの平均は78.71から80.16に改善された。 一致したシングルプロブレムのRLVRでは、ランダムセレクションはフロンティア誘導Q1では53.31と54.16にしか達しない。

関連論文リスト

• Reflective Recovery: A Self-Supervised Method for Reasoning by Learning from Mistakes [70.64622557376505]
  リフレクティブリカバリは、推論中のミスを認識し、修正するようにモデルに教える。 AIME 2025では30.0%から37.5%、Minervaでは37.6%から47.8%に精度が向上している。
  論文  参考訳（メタデータ） (2026-07-24T02:51:42Z)
• When RLVR Shrinks the Reasoning Boundary: Diagnosing Pass@k Inversion [0.0]
  検証可能な報酬(RLVR)を用いた強化学習は、繰り返しサンプリング時にモデルを悪化させながら、一サンプル精度を向上させることができる。 トレーニング後、このポリシーはベースモデルよりも小さな問題を、大きな$k$で解決する可能性がある。 失敗は境界プロンプトに集中しており、ベースモデルにはサンプリングによって回復できる稀な正しい軌道が含まれており、有限のRLVRロールアウトグループに確実に現れるには小さすぎる。
  論文  参考訳（メタデータ） (2026-07-12T17:17:18Z)
• Understanding Diversity Collapse in RLVR via the Lens of Overtraining [78.37408098404312]
  検証可能な報酬付き強化学習(RLVR)は,大規模言語モデルの推論能力を高めるための重要なアプローチとなっている。 我々は、この多様性の崩壊をエンフェーバートレーニングのレンズを通してフォーマルに定式化する 本稿では,各問題の限界寄与を推論境界に推定することにより,オーバートレーニングから最適化をリダイレクトするemphBayesian boundary Gating (BBG)を提案する。
  論文  参考訳（メタデータ） (2026-06-13T20:13:37Z)
• TD-Grokking: Learning from Zero-Reward Problems by Training-Time Decomposition [10.882920019894451]
  ゼロ逆問題に対する学習時間分解フレームワークTD-Grokkingを提案する。 TD-Grokking はバニラGRPO と全てのベースラインアプローチに優れることを示す。
  論文  参考訳（メタデータ） (2026-06-03T06:40:04Z)
• Recycling Failures: Salvaging Exploration in RLVR via Fine-Grained Off-Policy Guidance [39.88432082145946]
  本稿では,プロセス・リワード・モデルを用いた新しいフレームワークSCOPEを提案する。 本手法は,部分的正しいロールアウトに精密な改良を加えて,部分的正しい軌道を効果的に回収し,多様性スコアを13.5%向上させる。 提案手法は,数学推論において平均46.6%の精度を達成し,分布外推論タスクにおいて53.4%の精度でロバストな一般化を示す。
  論文  参考訳（メタデータ） (2026-02-27T15:49:23Z)
• Think Before You Retrieve: Learning Test-Time Adaptive Search with Small Language Models [28.80331720382804]
  我々は,学習した検索戦略を通じて,コンパクトなモデルによる反復的検索を可能にするトレーニングフレームワークOrionを紹介する。 Orionは、合成軌道生成と教師付き微調整を組み合わせることで、モデルの多様な探索パターンを促進する。 トレーニングデータの3%しか使用できないにも関わらず、私たちの1.2BモデルはSciFactで77.6%の成功を達成しています。
  論文  参考訳（メタデータ） (2025-11-10T19:49:55Z)
• The Reasoning Boundary Paradox: How Reinforcement Learning Constrains Language Models [31.773914661815393]
  RLVR(Reinforcement Learning with Verifiable Rewards)は,大規模言語モデルの推論能力向上のための重要な手法である。 最近の証拠は、拡張するのではなく、パラドックス的に推論境界を縮小する可能性があることを示唆している。 本稿では,RLVRの学習力学を解析することにより,RLVRの縮小問題を考察する。
  論文  参考訳（メタデータ） (2025-10-02T17:17:27Z)
• The Choice of Divergence: A Neglected Key to Mitigating Diversity Collapse in Reinforcement Learning with Verifiable Reward [57.56453588632619]
  Reinforcement Learning with Verifiable Reward (RLVR) を用いた細調整大型言語モデル(LLM)における中心的パラドックスは、多目的性能の頻繁な劣化である。 これはしばしば破滅的な忘れが伴い、モデルが以前獲得したスキルを失う。 我々は,標準RLVR目標には知識保持のための重要なメカニズムが欠如していると主張している。
  論文  参考訳（メタデータ） (2025-09-09T06:34:32Z)
• Staying in the Sweet Spot: Responsive Reasoning Evolution via Capability-Adaptive Hint Scaffolding [59.60915947702282]
  検証可能な報酬(RLVR)による強化学習は,大規模言語モデル(LLM)の推論能力の向上に成功している。 既存のRLVR手法は、訓練データの困難さとモデルの能力のミスマッチにより、探索の非効率に悩まされることが多い。 本稿では,高効率領域に留まることの難易度を動的に調整する新しい監視支援RLVRフレームワークであるSEELEを提案する。
  論文  参考訳（メタデータ） (2025-09-08T17:36:21Z)
• The Invisible Leash: Why RLVR May or May Not Escape Its Origin [47.488691410579925]
  RLVRの現在の実践がモデルの推論境界を真に拡張するかどうかは不明である。 現在の訓練条件下では、RLVRはサポート制約付き最適化メカニズムとして動作することができる。 RLVRは精度を確実に向上させるが、探索は徐々に狭くなり、正しく表現されていない解を見落としてしまう可能性がある。
  論文  参考訳（メタデータ） (2025-07-20T07:04:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。