論文の概要: ARISE: Adapting to Evolving Capability Gaps in Agentic Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2609.35532v1
- Date: Mon, 28 Sep 2026 16:14:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 21:03:28.328462
- Title: ARISE: Adapting to Evolving Capability Gaps in Agentic Reinforcement Learning
- Title（参考訳）: ARISE: エージェント強化学習における能力ギャップの進化に適応する
- Abstract要約: ARISEは、ロールアウトエビデンスを使用して評価基準、探索ガイダンス、トレーニング優先順位を継続的に適用する強化学習フレームワークである。
ARISEは、全体的なタスクパフォーマンスとトレーニング効率の両方をうまく向上させる。
- 参考スコア（独自算出の注目度）: 28.762002702466532
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As a long-horizon agent improves through experience, previously observed weaknesses may recede while new limitations emerge, continually changing what it still needs to learn. Yet the learning process often remains tied to a static view of these needs: fixed behavioral criteria and training priorities can become misaligned with evolving agent capabilities, while sparse task-level feedback makes such misalignment more difficult to detect. Even when capability gaps are identified, rollouts from the current policy may repeatedly reproduce the same failures rather than explore better alternatives. To address this, we introduce Adaptive Rubric-Skill Co-Evolution (ARISE), a reinforcement learning framework that uses rollout evidence to continually adapt evaluation criteria, exploration guidance, and training priorities. Rubrics evolve to reward partial behavioral progress, while their paired skills are refined and selectively activated to guide exploration toward unresolved weaknesses. Alongside this co-evolution, capability-based adaptive sampling prioritizes tasks that target behaviors needing further improvement. Experiments on two challenging long-horizon agent benchmarks, SkillsBench and Terminal-Bench, demonstrate that ARISE successfully enhances both overall task performance and training efficiency. The project page is at https://foundation-model-research.github.io/ARISE .
- Abstract（参考訳）: 長期的なエージェントが経験を通じて改善するにつれ、それまで観察されていた弱点が後退する一方、新たな制限が出現し、学習するために必要なものも継続的に変化する。
しかし、学習プロセスはしばしばこれらのニーズの静的な見方に結びついている: 固定された行動基準とトレーニングの優先順位は、進化するエージェント能力と不一致になり、タスクレベルのフィードバックが不足すると、そのようなミスアライメントの検出がより困難になる。
機能ギャップが特定されたとしても、現在のポリシーからのロールアウトは、より良い代替手段を探すのではなく、同じ障害を繰り返し再現する可能性がある。
これを解決するために、ロールアウトエビデンスを使用して評価基準、探索ガイダンス、トレーニング優先順位を継続的に適用する強化学習フレームワークであるAdaptive Rubric-Skill Co-Evolution(ARISE)を導入する。
ルーブリックは部分的な行動の進歩に報いるように進化し、ペアのスキルは洗練され、選択的に活性化され、未解決の弱点への探索を導く。
この共進化に加えて、能力ベースの適応的サンプリングは、さらなる改善を必要とする振る舞いをターゲットにしたタスクを優先順位付けする。
SkillsBenchとTerminal-Benchという2つの挑戦的なロングホライゾンエージェントベンチマークの実験は、ARISEが全体的なタスクパフォーマンスとトレーニング効率を向上することを示した。
プロジェクトページはhttps://foundation-model-research.github.io/ARISE にある。
関連論文リスト
- SkillEvoReg: Regularizing Agent Skill Evolution Against Overfitting [23.512756263596714]
SkillEvoRegは、ニューラルネットワークトレーニングにおけるアンチオーバーフィッティングテクニックにインスパイアされた、スキル進化のための一般的な正規化フレームワークである。
我々は、各システムのネイティブスキル進化器とタスク評価器を維持しながら、不均一なスキル進化システムにまたがるフレームワークをインスタンス化する。
論文 参考訳（メタデータ） (2026-09-25T06:11:26Z) - Beyond Endpoint Performance: Process-Level Evaluation of Self-Evolving Agents [20.811638832981178]
EvoPathBenchは、アーティファクトレベルの自己進化中の個々の機能を追跡するベンチマークである。
不可解なタスクへの一般化、無関係な学習後の保持、新しいエビデンスへのルール適応の3つの機能をテストする。
論文 参考訳（メタデータ） (2026-09-21T14:28:06Z) - EVOHARNESSBENCH: Can Your Agents Keep Pace with an Evolving Harness? [83.21711423118768]
EVOHARNESSBENCHは、制御されたハーネス進化下でエージェントを評価するためのベンチマークである。
検証器ベースのベンチマークから決定的に構築された17のマルチステージハーネスストリームを含んでいる。
論文 参考訳（メタデータ） (2026-09-03T03:24:02Z) - Rethinking Self-Evolution: A Constrained Exploration-Exploitation Process for Mitigating Skill Overfitting [20.811638832981178]
大規模言語モデル(LLM)エージェントは、過去のインタラクションからの経験を蓄積し再利用する必要がある。
データ駆動のスキル最適化は、実際の環境から収集された限られた軌道に過度に適合する傾向がある。
リスクを緩和する3段階フレームワークであるSkillBoostを提案する。
論文 参考訳（メタデータ） (2026-07-29T09:05:40Z) - Skill Self-Play: Pushing the Frontier of LLM Capability with Co-Evolving Skills [53.15216425100295]
本稿では,提案者,解決者,スキルコントローラからなる共進化型フレームワークであるスキルセルフプレイ(スキルSP)を紹介する。
プロジェクタは動的にサンプリングされたスキルを前提とした挑戦的なタスクを生成し、ソルバは能力境界を押し上げるための候補ソリューションを探索し、スキルコントローラは実行フィードバックを収集してスキルライブラリを更新および拡張する。
このインタラクティブな共進化は、構造化された検証とオープンな調査の間のギャップを効果的に埋める。
論文 参考訳（メタデータ） (2026-07-24T17:59:22Z) - Learning While Acting: A Skill-Enhanced Test-Time Co-Evolution Framework for Online Lifelong Learning Agents [32.49699221723716]
大規模言語モデル(LLM)エージェントが動的にインタラクティブな環境で動作するためには、生涯学習が不可欠である。
オンライン生涯学習エージェントのための2段階強化学習フレームワークであるSkill-enhanced Test-Time Co-Evolution(textttLifeSkill)を提案する。
論文 参考訳（メタデータ） (2026-06-03T12:38:57Z) - SkillRL: Evolving Agents via Recursive Skill-Augmented Reinforcement Learning [83.98129545309277]
生経験と政策改善のギャップを埋めるフレームワークであるSkillRLを提案する。
本手法では,階層型スキルライブラリであるSkillBankを構築するために,経験に基づく蒸留機構を導入する。
ALF、WebShop、および7つの検索強化タスクの実験結果は、SkillRLが最先端のパフォーマンスを達成することを示す。
論文 参考訳（メタデータ） (2026-02-09T03:17:17Z) - FAST: Similarity-based Knowledge Transfer for Efficient Policy Learning [57.4737157531239]
Transfer Learningは、タスク間で知識を伝達することで学習を加速する能力を提供する。
これは、負の転送、ドメイン適応、ソリッドソースポリシーの選択における非効率といった重要な課題に直面します。
本研究では,知識伝達の改善,タスク間のパフォーマンスの促進,計算コストの削減など,TLの課題に挑戦する。
論文 参考訳（メタデータ） (2025-07-27T22:21:53Z) - Learning Continually by Spectral Regularization [45.55508032009977]
連続学習アルゴリズムは、ネットワークのトレーニング性を維持しながら、良好な性能を維持することにより、可塑性の損失を軽減する。
我々は,初期化時のニューラルネットワークパラメータの特異値が学習の初期段階におけるトレーニング容易性の重要な要因であることから着想を得た,継続学習を改善するための新しい手法を開発した。
提案するスペクトル正規化器は,連続的な教師付きおよび強化学習環境において,様々なモデルアーキテクチャの訓練性と性能を維持可能であることを示す実験的検討を行った。
論文 参考訳（メタデータ） (2024-06-10T21:34:43Z) - Bridging the Imitation Gap by Adaptive Insubordination [88.35564081175642]
教官が特権情報にアクセスして意思決定を行う場合、この情報は模倣学習中に疎外されることを示す。
本稿では,このギャップに対処するため,適応的不規則化(ADVISOR)を提案する。
ADVISORは、トレーニング中の模倣と報酬に基づく強化学習損失を動的に重み付け、模倣と探索をオンザフライで切り替えることを可能にする。
論文 参考訳（メタデータ） (2020-07-23T17:59:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。