論文の概要: MagicBeanStalk: Escaping the RLVR Zero Advantage Trap with Recursive Data Synthesis

• arxiv url: http://arxiv.org/abs/2610.12659v1
• Date: Thu, 08 Oct 2026 19:25:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.259111
• Title: MagicBeanStalk: Escaping the RLVR Zero Advantage Trap with Recursive Data Synthesis
• Title（参考訳）: MagicBeanStalk: 再帰データ合成によるRLVRゼロアドバンテージトラップの回避
• Abstract要約: 我々は,データセットの有効性を問題,目標方針,トレーニングロールアウト予算の関数として実験的に評価した。 我々は、広く使われているRLVRデータセットからプールされた大規模なオープンソースの数学コーパスが、ほぼ完全にゼロアドバンテージトラップに陥ることを示します。 我々はMagicBeanStalkを紹介した。これはトップダウンの分解とボトムアップのデータ合成アルゴリズムで、種子問題を実質的に新しい、ポリシーと予算を基準としたトレーニング問題のファミリーに成長させる。
• 参考スコア（独自算出の注目度）: 100.96630913587752
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data-centric scaling of RLVR has focused on collecting or generating verifiable training problems. However, corpus size alone does not determine whether the dataset provides a useful learning signal for a target policy. To guide the synthesis of effective RLVR data, we experimentally characterize dataset effectiveness as a function of its problems, the target policy, and the training rollout budget. Under this characterization, we show that a large open-source math corpus pooled from widely used RLVR datasets falls almost entirely into a zero-advantage trap: for a fixed target policy and rollout budget, roughly 88% of its problems are solved in every rollout or failed in every rollout. Filtering concentrates what remains, but it can only select, discarding the hard problems. Effective synthetic problems should therefore require the reasoning operations and compositions required to solve those hard problems. Yet their difficulty must be calibrated, so that some rollouts succeed, some fail, and at least one correct solution fits within the training budget. Prompting a teacher to vary hard problems directly does not achieve this. Guided by these empirical principles, we introduce MagicBeanStalk, a top-down decomposition and bottom-up recursive data-synthesis algorithm that grows seed problems into families of substantively new, policy- and budget-calibrated training problems while preserving the seeds' reasoning blueprints. Across 8 math benchmarks, continual RLVR on MagicBeanStalk problems improves gpt-oss-120b from 61.2 to 69.8 (+8.6) and DeepSeek v4Flash from 72.4 to 77.9 (+5.4) on a 16K-token budget. Training on the full 78K source corpus improves by only +1.1 and its best filtered real data subset by +5.8. In finance, we synthesize over 14K verifiable problems from only 340 solutions and improve over base by 6.9 and 2.4 points on SecQue and FinanceBench, respectively.
• Abstract（参考訳）: RLVRのデータ中心のスケーリングは、検証可能なトレーニング問題の収集や生成に重点を置いている。 しかし、コーパスのサイズだけでは、データセットがターゲットポリシーに有用な学習信号を提供するかどうかを判断しない。 有効なRLVRデータの合成を導くため,データセットの有効性を課題,目標方針,トレーニングロールアウト予算の関数として実験的に特徴付ける。 この特徴として、広く使われているRLVRデータセットからプールされた大規模なオープンソースの数学コーパスが、ほぼ完全にゼロアドバンテージの罠に陥り、固定されたターゲットポリシーとロールアウト予算では、その問題の約88%がロールアウト毎に解決されるか、ロールアウト毎に失敗したかを示す。 フィルターは残るものに集中するが、難しい問題だけを選択でき、破棄できる。 したがって、効果的な合成問題は、これらの難題を解決するのに必要な推論操作と構成を必要とする。 しかし、それらの困難さを校正しなければならないため、いくつかのロールアウトが成功し、一部は失敗し、少なくとも1つの正しい解決策がトレーニング予算に適合するように。 教師が難しい問題を直接的に変化させることは、これを達成できない。 これらの経験的原則によって導かれたMagicBeanStalkは、トップダウン分解とボトムアップ再帰的データ合成アルゴリズムで、種子の推論青写真を維持しながら、種子問題を実質的に新しく、政策的に、予算的に校正された訓練問題のファミリーに成長させる。 8つのベンチマークで、MagicBeanStalkの連続RLVRはgpt-oss-120bを61.2から69.8(+8.6)に改善し、DeepSeek v4Flashを72.4から77.9(+5.4)に改善した。 78Kソースコーパスのトレーニングは+1.1に改善され、その最も良いフィルタ付き実データサブセットは+5.8に改善された。 ファイナンスでは、わずか340の解から14K以上の検証可能な問題を合成し、SecQue と FinanceBench でそれぞれ 6.9 と 2.4 点の改善を行った。

関連論文リスト

• TD-Grokking: Learning from Zero-Reward Problems by Training-Time Decomposition [10.882920019894451]
  ゼロ逆問題に対する学習時間分解フレームワークTD-Grokkingを提案する。 TD-Grokking はバニラGRPO と全てのベースラインアプローチに優れることを示す。
  論文  参考訳（メタデータ） (2026-06-03T06:40:04Z)
• From Reasoning Chains to Verifiable Subproblems: Curriculum Reinforcement Learning Enables Credit Assignment for LLM Reasoning [23.97263494146948]
  Subproblem Curriculum Reinforcement Learning (SCRL)は、検証可能なサブプロブレムを導出し、最終サブプロブレムを元の問題として修正するカリキュラムRLフレームワークである。 SCRLはサブプロブレムレベルの正規化を使用し、各サブプロブレム位置で報酬を独立に正規化する。 解析の結果,勾配のデッドゾーンからサブプロブレム・キュリキュラがハード問題を解き、元の問題は困難になるにつれて相対的な利得が大きくなることがわかった。
  論文  参考訳（メタデータ） (2026-05-21T07:13:00Z)
• Cog-DRIFT: Exploration on Adaptively Reformulated Instances Enables Learning from Hard Reasoning Problems [70.94268452442147]
  検証可能な報酬(RLVR)からの強化学習はLLMの推論能力を改善した。 本稿では,タスク修正に基づくシンプルで効果的なソリューションを提案する。 本稿では,Cag-DRIFTについて紹介する。このフレームワークは改良された変種を構築し,適応的なカリキュラムに編成する。
  論文  参考訳（メタデータ） (2026-04-06T15:38:38Z)
• Dr. Kernel: Reinforcement Learning Done Right for Triton Kernel Generations [32.98036846113632]
  カーネル生成のための強化学習(RL)について検討する。 そこで我々は,不偏利推定を行うために,ターンレベル強化-Leave-One-Out (TRLOO)を提案する。 本稿では、プロファイリングに基づくリワード(PR)とプロファイリングに基づくリジェクションサンプリング(PRS)を導入し、この問題を克服する。
  論文  参考訳（メタデータ） (2026-02-05T17:01:09Z)
• Staying in the Sweet Spot: Responsive Reasoning Evolution via Capability-Adaptive Hint Scaffolding [59.60915947702282]
  検証可能な報酬(RLVR)による強化学習は,大規模言語モデル(LLM)の推論能力の向上に成功している。 既存のRLVR手法は、訓練データの困難さとモデルの能力のミスマッチにより、探索の非効率に悩まされることが多い。 本稿では,高効率領域に留まることの難易度を動的に調整する新しい監視支援RLVRフレームワークであるSEELEを提案する。
  論文  参考訳（メタデータ） (2025-09-08T17:36:21Z)
• SwS: Self-aware Weakness-driven Problem Synthesis in Reinforcement Learning for LLM Reasoning [95.28059121743831]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、複雑な推論タスクにおいて、大規模言語モデル(LLM)のトレーニングに有効であることが証明されている。 本稿では、モデル欠陥を体系的に識別し、それらを問題解決に活用する自己認識弱さ駆動型問題合成フレームワーク(SwS)を提案する。 SwSはモデルを自己識別し、RLの弱点に対処することで堅牢な一般化を可能にし、7Bモデルと32Bモデルで平均パフォーマンスが10.0%と7.7%向上した。
  論文  参考訳（メタデータ） (2025-06-10T17:02:00Z)
• OptiBench Meets ReSocratic: Measure and Improve LLMs for Optimization Modeling [62.19438812624467]
  大規模言語モデル (LLM) は数学的推論における問題解決能力を示した。 本稿では,人間可読入力と出力を用いたエンドツーエンド最適化問題のベンチマークであるOptiBenchを提案する。
  論文  参考訳（メタデータ） (2024-07-13T13:27:57Z)
• Communication-Efficient Robust Federated Learning with Noisy Labels [144.31995882209932]
  フェデレーテッド・ラーニング(FL)は、分散した位置データの上で、将来性のあるプライバシ保護機械学習パラダイムである。 FLにおける雑音ラベルの効果を緩和する学習に基づく再重み付け手法を提案する。 提案手法は,複数の実世界のデータセットにおいて,各種ベースラインと比較して優れた性能を示した。
  論文  参考訳（メタデータ） (2022-06-11T16:21:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。