論文の概要: Breaking the Solver Bottleneck: Training Task Generators at the Learnable Frontier

• arxiv url: http://arxiv.org/abs/2606.18284v1
• Date: Wed, 10 Jun 2026 02:04:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-18 17:16:50.789123
• Title: Breaking the Solver Bottleneck: Training Task Generators at the Learnable Frontier
• Title（参考訳）: ソルバーボトルネックを破る:学習可能なフロンティアでの訓練タスクジェネレータ
• Authors: Lorenz Wolf, Connor Watts, Roger Creus Castanyer, Geoffrey Bradway, Maxwill Lin, Augustine N. Mavor-Parker, Matthew Daborn-Sargent,
• Abstract要約: PROPELは、タスクジェネレータを目標の解決レートでトレーニングするためのソルバアモスタ化フレームワークである。 生成されたタスクとソルバ結果の1回ラベル付きコーパス上で、軽量なアクティベーションプローブをトレーニングする。 フリーズドジェネレータ参照モデルから目標解パス率を予測し、ジェネレータ最適化時の解率のプロキシとして機能する。
• 参考スコア（独自算出の注目度）: 2.9623930343571288
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The limiting resource for training agents via reinforcement learning (RL) is increasingly frontier task supply: valid, solvable tasks just difficult enough to train the current model. As reasoning and agentic models improve, fixed task distributions saturate, while naive synthetic generation yields tasks that are trivial, impossible, or ill-posed. Training a task generator with RL to optimize validity and learnability can address this bottleneck, but direct optimization requires repeated solver rollouts per candidate. For software-engineering (SWE) tasks, a single rollout can take tens of minutes; solver-in-the-loop generator training is intractable. We introduce PROPEL, a solver-amortized framework for training task generators at the targeted solve rate. PROPEL trains a lightweight activation probe on a one-time labeled corpus of generated tasks and solver outcomes. The probe predicts target-solver pass rate from a frozen generator reference model and serves as a proxy for solve rate during generator optimization, reducing generator evaluation to a single forward pass. Across math, code, and software-engineering at multiple model scales, PROPEL shifts generation toward the targeted solve rate: for coding, tasks generated at the learnable frontier increase from $10.1\% \rightarrow 20.0\%$ for a Qwen2.5-3B-Instruct solver and from $5.3\% \rightarrow 12.6\%$ for a Qwen2.5-7B-Instruct solver. For SWE, PROPEL increases the share of generations at the targeted solve rate from $9.8\% \rightarrow 19.6\%$ for Qwen3.5-27B on repositories not seen during training of probe and generator.
• Abstract（参考訳）: 強化学習(RL)による訓練エージェントの制限リソースは、よりフロンティアなタスクサプライである。 推論とエージェントモデルの改善に伴い、固定されたタスク分布は飽和し、単純合成生成は自明、不可能、または不適切なタスクを生成する。 RLでタスクジェネレータをトレーニングすることで、妥当性と学習可能性の最適化がこのボトルネックに対処できるが、直接最適化には候補毎に繰り返し解決器のロールアウトが必要である。 ソフトウェアエンジニアリング(SWE)タスクでは、単一ロールアウトには数十分を要する。 本稿では,タスクジェネレータを目標とした問題解決率でトレーニングするための,問題解決フレームワーク PROPEL を紹介する。 PROPELは、生成されたタスクとソルバ結果の1回ラベル付きコーパスに、軽量なアクティベーションプローブをトレーニングする。 このプローブは、冷凍発電機参照モデルから目標解凍器通過率を予測し、発電機最適化時の解凍率のプロキシとして機能し、1つの前方通過に対するジェネレータ評価を低減する。 プログラミングでは、学習可能なフロンティアで生成されたタスクは、Qwen2.5-3B-Instructソルバで10.1\% \rightarrow 20.0\%、Qwen2.5-7B-Instructソルバで5.3\% \rightarrow 12.6\%から増加します。 SWEでは、プローブとジェネレータのトレーニング中に見られないレポジトリ上のQwen3.5-27Bに対する9.8\% \rightarrow 19.6\%$から、ターゲットの解決率で世代間のシェアを増大させる。

関連論文リスト

• SENTINEL: Failure-Driven Reinforcement Learning for Training Tool-Using Language Model Agents [52.758563996979596]
  言語モデルエージェントは、マルチターンツールの使用によって現実的なタスクを解決するのにますます効果的である。 SENTINELは障害駆動型強化学習フレームワークで,障害のロールアウトを目標とするトレーニングタスクに変換する。 Tau2-Bench Retail with Qwen3-4B-Thinking-2507では、SENTINELはPass1を66.4から74.9に改善し、Passkメトリクス全体にわたる一般的な合成タスクにおいてRLを上回っている。
  論文  参考訳（メタデータ） (2026-06-11T05:06:50Z)
• INFUSER: Influence-Guided Self-Evolution Improves Reasoning [54.101135873140066]
  2つの共進化的役割を持つ反復的協調学習フレームワークを導入する。 解答器は、生成元が提供する回答に対して標準正当性報酬で訓練される。 8B INF共進化ジェネレータは、数学とコーディングにおいて凍った32B思考ジェネレータより優れている。
  論文  参考訳（メタデータ） (2026-06-08T05:40:36Z)
• Dr. Kernel: Reinforcement Learning Done Right for Triton Kernel Generations [32.98036846113632]
  カーネル生成のための強化学習(RL)について検討する。 そこで我々は,不偏利推定を行うために,ターンレベル強化-Leave-One-Out (TRLOO)を提案する。 本稿では、プロファイリングに基づくリワード(PR)とプロファイリングに基づくリジェクションサンプリング(PRS)を導入し、この問題を克服する。
  論文  参考訳（メタデータ） (2026-02-05T17:01:09Z)
• Taming the Long-Tail: Efficient Reasoning RL Training with Adaptive Drafter [52.111923076688505]
  強力な推論能力を持つ大規模言語モデル(LLM)のトレーニングは、複雑な問題解決において新たなフロンティアを解放する重要なマイルストーンとなる。 本稿では,適応的投機的復号化を組み込むことで,RL学習の無作為に推論を高速化するシステムであるTLTを提案する。
  論文  参考訳（メタデータ） (2025-11-20T18:59:25Z)
• Thinking Before Running! Efficient Code Generation with Thorough Exploration and Optimal Refinement [47.89758553708932]
  textbfThinkCoderは、徹底的な探索と最適な精錬を組み合わせたフレームワークです。 探索フェーズは、潜在的な解を探すことによって解空間を多様化し、続いて精度を高める精製フェーズが続く。 テスト時間計算のオーバーヘッドを最小化するために、Reinforced Self-Training (ReST) を用いた優先駆動最適化を導入する。
  論文  参考訳（メタデータ） (2024-12-30T07:02:15Z)
• MALT: Improving Reasoning with Multi-Agent LLM Training [67.76186488361685]
  MALT(Multi-Agent LLM Training)は、推論プロセスを生成、検証、改善ステップに分割する、新しいポストトレーニング戦略である。 MATH、GSM8K、CSQAでは、MALTは、それぞれ15.66%、7.42%、9.40%の相対的な改善で同じベースラインLLMを上回っている。
  論文  参考訳（メタデータ） (2024-12-02T19:30:36Z)
• REBEL: Reward Regularization-Based Approach for Robotic Reinforcement Learning from Human Feedback [61.54791065013767]
  報酬関数と人間の嗜好の相違は、現実世界で破滅的な結果をもたらす可能性がある。 近年の手法は、人間の嗜好から報酬関数を学習することで、不適応を緩和することを目的としている。 本稿では,ロボットRLHFフレームワークにおける報酬正規化の新たな概念を提案する。
  論文  参考訳（メタデータ） (2023-12-22T04:56:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。