論文の概要: LLMZero: Discovering Adaptive Training Strategies for RL Post-Training via LLM Agents

• arxiv url: http://arxiv.org/abs/2606.18388v1
• Date: Tue, 16 Jun 2026 18:33:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-18 17:16:50.847934
• Title: LLMZero: Discovering Adaptive Training Strategies for RL Post-Training via LLM Agents
• Title（参考訳）: LLMZero:LLMエージェントによるRL後トレーニングのための適応的トレーニング戦略の発見
• Abstract要約: トレーニング後の戦略はデータセットに依存しており、繰り返し発生する経験的パターンを明らかにする。 正規化パラメータは、シフトトレーニングのダイナミクスに応答して発振する。 我々は,LLMエージェントが木探索を通じて学習軌跡を探索するシステムを用いた。
• 参考スコア（独自算出の注目度）: 51.74109282213905
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: RL post-training strategies are dataset-dependent and reveal a recurring empirical pattern: capacity parameters accumulate monotonically across stages, while regularization parameters predominantly oscillate in response to shifting training dynamics. This distinction matters because fixed schedules commit all parameters to fixed trajectories and therefore cannot express the non-stationary exploration-exploitation tradeoffs that regularization must track; the principle provides actionable design rules for multi-stage training. We discover this through LLMZero, a system where LLM agents search over training trajectories via tree search, diagnosing pathologies at each checkpoint and proposing coordinated multi-parameter transitions. Across 4 diverse GRPO tasks, LLMZero discovers strategies that improve over the base model by 9% to 140% relative and over grid search by 6% to 15% relative, consistently outperforming random search and the skill-based agent. The structural principle transfers across tasks, providing an explanation for why discovered strategies take qualitatively different forms yet share similar parameter dynamics.
• Abstract（参考訳）: キャパシティパラメータはステージ毎に単調に蓄積され、正規化パラメータはシフトトレーニングのダイナミクスに応じて主として振動する。 この区別は、固定スケジュールが全てのパラメータを固定軌道にコミットするので、正規化が追跡すべき静止しない探索・探索のトレードオフを表現できないためである。 LLMエージェントが木探索、各チェックポイントでの病理診断、協調した多パラメータ遷移の提案を通じて、トレーニング軌跡を探索するシステムであるLLMZeroを通してこれを発見する。 LLMZeroは、4つの多様なGRPOタスクにわたって、ベースモデルよりも9%から140%、グリッドサーチより6%から15%改善する戦略を発見し、ランダムサーチとスキルベースエージェントを一貫して上回る。 構造原理はタスク間で伝達され、発見された戦略が定性的に異なる形式を取るが、同様のパラメータのダイナミクスを共有する理由を説明する。

関連論文リスト

• Effective Reinforcement Learning for Agentic Search by Recycling Zero-Variance Queries During Training [28.12666966542811]
  本研究では,将来的な再サンプリングのために,ゼロ分散グループを可変プールに返却するクエリリサイクルを提案する。 本稿では, リサイクルクエリが, 学習終了までに有効バッチの約4分の3を供給していることを示す。
  論文  参考訳（メタデータ） (2026-06-09T11:12:58Z)
• Dynamic Latent Routing [3.2461838619378702]
  我々は、ジェネラル・ディクストラ・サーチ(GDS)を導入し、中間的最適部分政治の時間的構成により、グローバルなゴール獲得ポリシーを復元できることを証明した。 GDSの根底にある「探索、選択、更新」原理に触発され、単一の訓練段階において動的探索を通して離散潜在コード、ルーティングポリシー、モデルパラメータを共同学習する言語モデル後学習法である動的潜時ルーティング(DLR)を提案する。
  論文  参考訳（メタデータ） (2026-05-14T03:35:46Z)
• Stratified GRPO: Handling Structural Heterogeneity in Reinforcement Learning of LLM Search Agents [90.45197506653341]
  大規模言語モデル(LLM)エージェントは、複雑なマルチステップ問題を解決するために、検索エンジンのような外部ツールに依存している。 サーチエージェントの軌道は構造的に不均一であり、サーチコールの数、配置、結果の変動は、根本的に異なる応答方向と報酬分布をもたらす。 1つのグローバルベースラインを使用する標準方針勾配法は、私たちが認識し、層間バイアスとして定式化するものに苦しむ。 本稿では,SAN (Stratified Advantage Normalization) の中心成分であるStratified GRPOを提案する。
  論文  参考訳（メタデータ） (2025-10-07T17:59:13Z)
• Your Reward Function for RL is Your Best PRM for Search: Unifying RL and Search-Based TTS [62.22644307952087]
  本稿では、RLベースと検索ベースTTSの最初の自然統合であるAIRL-Sを紹介する。 逆逆強化学習(AIRL)とグループ相対政策最適化(GRPO)を組み合わせることで、正しい推論トレースから高密度な動的PRMを直接学習する。 提案手法は,GPT-4oと一致して,ベースモデル上での平均9%の性能向上を図っている。
  論文  参考訳（メタデータ） (2025-08-19T23:41:15Z)
• Omni-Thinker: Scaling Multi-Task RL in LLMs with Hybrid Reward and Task Scheduling [66.0871543682453]
  我々はOmni-Thinkerについて紹介する。Omni-Thinkerは多種多様なタスクにわたって大きな言語モデルをスケールする統合強化学習フレームワークである。 我々のスケジューラは,BWTに基づいてタスクを順序付けし,マルチタスク性能を向上する。
  論文  参考訳（メタデータ） (2025-07-20T01:50:16Z)
• SRFT: A Single-Stage Method with Supervised and Reinforcement Fine-Tuning for Reasoning [20.442971494407896]
  大規模言語モデル (LLM) は推論タスクにおいて顕著な進歩を遂げているが、スーパービジョンファインチューニング (SFT) と強化学習 (RL) の最適統合は依然として根本的な課題である。 本稿では,エントロピーを考慮した重み付け機構により,両方のファインチューニングパラダイムを統一する単一ステージ手法であるSupervised Reinforcement Fine-Tuning (SRFT)を提案する。 大規模な実験の結果、SRFTは平均精度59.1%に達し、5つの数学的推論ベンチマークでは0-RL法を9.0%上回り、3つのアウト・オブ・ディストリビューションベンチマークでは10.9%を上回った。
  論文  参考訳（メタデータ） (2025-06-24T16:31:37Z)
• LLM-Explorer: A Plug-in Reinforcement Learning Policy Exploration Enhancement Driven by Large Language Models [42.53342297631436]
  政策探究は強化学習(RL)において重要であり、既存のアプローチには欲求、ガウス過程などが含まれる。 大規模言語モデル(LLM)を用いたタスク固有探索戦略を適応的に生成するLLM-Explorerを設計する。 我々の設計は、DQNシリーズ、DDPG、TD3など、広く使われているRLアルゴリズムと互換性のあるプラグインモジュールである。
  論文  参考訳（メタデータ） (2025-05-21T09:24:23Z)
• Fast Adaptation with Behavioral Foundation Models [82.34700481726951]
  教師なしゼロショット強化学習は、行動基礎モデルの事前学習のための強力なパラダイムとして登場した。 有望な結果にもかかわらず、ゼロショットポリシーは、教師なしのトレーニングプロセスによって引き起こされるエラーにより、しばしば準最適である。 本稿では,事前訓練されたBFMの低次元タスク埋め込み空間を探索し,ゼロショットポリシーの性能を急速に向上させる高速適応手法を提案する。
  論文  参考訳（メタデータ） (2025-04-10T16:14:17Z)
• MALT: Improving Reasoning with Multi-Agent LLM Training [67.76186488361685]
  MALT(Multi-Agent LLM Training)は、推論プロセスを生成、検証、改善ステップに分割する、新しいポストトレーニング戦略である。 MATH、GSM8K、CSQAでは、MALTは、それぞれ15.66%、7.42%、9.40%の相対的な改善で同じベースラインLLMを上回っている。
  論文  参考訳（メタデータ） (2024-12-02T19:30:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。