論文の概要: Frontier Learning: Training LLM Reasoners at the Edge of Capability

• arxiv url: http://arxiv.org/abs/2609.35426v1
• Date: Mon, 28 Sep 2026 15:35:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-02 05:33:14.576497
• Title: Frontier Learning: Training LLM Reasoners at the Edge of Capability
• Title（参考訳）: Frontier Learning: LLMレゾナを能力の端でトレーニングする
• Abstract要約: 大規模言語モデル(LLM)のポストトレーニングは、推論能力を改善するためにうまく適用されている。 既存のパイプラインは、GRPO損失を使用してトレーニング前に指定された問題のプールに微調整する。 学習信号は、ポリシーのロールアウトが成功と失敗を混ぜた場合にのみ発生するため、これは基本的に制限される。 本稿では,プロシージャジェネレータをオンラインで使用し,継続的なトレーニング問題を発生させる,オープンな訓練後学習手法であるフロンティア学習を提案する。
• 参考スコア（独自算出の注目度）: 10.451279636801301
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement Learning-based post-training of Large Language Models (LLM) has been successfully applied to improve their reasoning capabilities. Existing pipelines primarily finetune LLMs on a fixed pool of problems specified prior to training using the GRPO loss. This is fundamentally limiting, as learning signal arises only when policy rollouts mix successes and failures, causing the useful portion of any fixed pool to quickly become stale as the model improves. To address this, we propose frontier learning, an open-ended post-training approach in which procedural generators are used online to continually produce informative training problems. It treats the generator's task-specific parameters as a search space and uses a regret signal to prioritize and explore frontier difficulty levels in order to focus training at the edge of the model's evolving reasoning capabilities. Across several reasoning tasks and model families, our approach consistently achieves higher relative gains over fixed-pool baselines, demonstrating that effective post-training requires not only selecting useful problems, but continually generating them at the edge of capability.
• Abstract（参考訳）: 強化学習に基づくLarge Language Models(LLM)のポストトレーニングは、推論能力を改善するためにうまく適用されている。 既存のパイプラインは、GRPO損失を使用してトレーニング前に指定された問題の固定プール上で、LLMを微調整する。 学習信号は、ポリシーのロールアウトが成功と失敗を混合するときにのみ発生するため、固定プールの有用な部分は、モデルが改善されるにつれて急速に停滞する。 そこで本稿では,プロシージャジェネレータをオンラインで利用し,情報教育の課題を継続的に生み出す,オープンな訓練後学習手法であるフロンティア学習を提案する。 ジェネレータのタスク固有のパラメータを探索空間として扱い、後悔信号を使ってフロンティアの難易度を優先順位付けし探索し、モデルの進化する推論能力の端にトレーニングを集中させる。 いくつかの推論タスクやモデルファミリにおいて,本手法は固定プールベースラインよりも高い相対的なゲインを一貫して達成し,効果的なポストトレーニングは有用な問題を選択するだけでなく,能力の端で連続的に生成する必要があることを示した。

関連論文リスト

• Unlocking the Unsolvable: Teacher-Guided Curriculum for Data-Efficient RLVR [2.6806257130827658]
  128の解決不可能な問題に対するトレーニングは、2,000個のプロブレムコーパスでトレーニングされたGRPOと一致またはそれ以上である。 本研究では,無誘導問題解決に向けた学習を支援するモノトンフロンティアカリキュラム (MFC) を提案する。
  論文  参考訳（メタデータ） (2026-09-12T15:22:22Z)
• Training Reasoning Models on Saturated Problems via Failure-Prefix Conditioning [0.3823356975862005]
  本研究では,飽和問題から学習する簡易かつ効果的な手法であるフェールコンディショニングを提案する。 障害発生条件付けにより,中級難易度問題における訓練条件に適合する性能向上が期待できる。 以上の結果から, 故障条件付けは飽和問題に対するRLVRトレーニングの拡張に有効な経路であることが示唆された。
  論文  参考訳（メタデータ） (2026-01-28T18:29:21Z)
• Scaf-GRPO: Scaffolded Group Relative Policy Optimization for Enhancing LLM Reasoning [49.290631188365786]
  Scaf-GRPOは、モデルの独立した学習が停滞した時に介入するトレーニングフレームワークである。 これはQwen2.5-Math-7Bモデルのパス@1スコアを、バニラGRPOベースラインよりも44.3%向上させる。 この結果から、我々のフレームワークは、それまで到達範囲を超えていた問題を解決するモデルの能力を解き放つ、堅牢で効果的な方法論を提供することを示した。
  論文  参考訳（メタデータ） (2025-10-22T17:41:30Z)
• HINT: Helping Ineffective Rollouts Navigate Towards Effectiveness [49.72591739116668]
  強化学習(RL)は、大規模言語モデル(LLM)の長いチェーン・オブ・シント(CoT)推論能力を高めるための重要な要因となっている。 しかし、GRPOのような一般的な手法は、タスクの難しさがモデルの能力を超えると失敗し、スパーシリティと非効率なトレーニングに報いる。 我々は、適応的なヒントフレームワークであるHINT: Helping In Effective Rollouts Navigate Towards Effectiveを提案する。
  論文  参考訳（メタデータ） (2025-10-10T13:42:03Z)
• Training-Free Group Relative Policy Optimization [34.73950078782136]
  我々は,Large Language Model (LLM) エージェントが,経験的知識を先行するトークンとして学習することで,出力分布に類似した効果を得られることを論じる。 我々は,LLMエージェントの性能をパラメータ更新なしで向上する,費用対効果の高いソリューションであるTraining-Free Group Relative Policy Optimization (Training-Free GRPO)を提案する。 数学的推論とWeb検索タスクの実験により、DeepSeek-V3.1-Terminusに適用されたトレーニングフリーGRPOは、ドメイン外のパフォーマンスを大幅に改善することを示した。
  論文  参考訳（メタデータ） (2025-10-09T13:18:17Z)
• RL Grokking Recipe: How Does RL Unlock and Transfer New Algorithms in LLMs? [92.4931695205957]
  DELTA-Codeは、学習可能性と伝達可能性という2つの基本的な側面を探索するために設計された、合成符号問題ファミリーのベンチマークである。 実験の結果, ほぼゼロ報酬の期間が延長された後, RL訓練モデルが突然, ほぼ完全な精度に上昇した。 従来未解決であった問題ファミリの学習性を確保するため,深い報酬を伴うウォームアップ,経験リプレイ,カリキュラムトレーニング,ループ内検証などの重要なトレーニング項目を探索する。
  論文  参考訳（メタデータ） (2025-09-25T11:20:56Z)
• LLM-Guided Reinforcement Learning: Addressing Training Bottlenecks through Policy Modulation [7.054214377609925]
  強化学習(RL)は、様々な領域で顕著な成功を収めている。 複雑なタスクに対する効果的なポリシーの訓練は依然として難しい。 既存のトレーニングボトルネックを軽減するアプローチは、2つのカテゴリに分類される。
  論文  参考訳（メタデータ） (2025-05-27T03:40:02Z)
• LLM Post-Training: A Deep Dive into Reasoning Large Language Models [131.10969986056]
  大規模言語モデル (LLMs) は自然言語処理の状況を変え、多様な応用をもたらした。 ポストトレーニング手法により、LLMは知識を洗練させ、推論を改善し、事実の正確性を高め、ユーザの意図や倫理的配慮をより効果的に整合させることができる。
  論文  参考訳（メタデータ） (2025-02-28T18:59:54Z)
• Prompt Tuning with Diffusion for Few-Shot Pre-trained Policy Generalization [55.14484317645865]
  我々は,オフライン強化学習タスクにおいて,例外的な品質向上を促す条件拡散モデルを構築した。 本稿では,Promptディフューザがプロンプトチューニングプロセスの堅牢かつ効果的なツールであることを示し,メタRLタスクにおいて高い性能を示す。
  論文  参考訳（メタデータ） (2024-11-02T07:38:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。