論文の概要: Trackable Skill Library Lifecycle Management for Agentic Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.25126v1
• Date: Sun, 18 Oct 2026 09:15:03 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:12:13.376513
• Title: Trackable Skill Library Lifecycle Management for Agentic Reinforcement Learning
• Title（参考訳）: エージェント強化学習のための追跡可能な図書館ライフサイクル管理
• Abstract要約: 本稿では,スキルトラッキングがスキルライブラリのフルライフサイクル管理を駆動するエージェントRLフレームワークであるTrackRLを提案する。 実証的な状態遷移プロセスとして,スキルライフサイクル管理を定式化する。 実験の結果,TrackRLは図書館支援およびスキルフリー評価において,近年のスキル強化RLベースラインよりも優れていた。
• 参考スコア（独自算出の注目度）: 33.67442314763715
• License:
• Abstract: Skill-augmented agentic RL has emerged as an effective approach to improving LLM agents on long-horizon tasks. Despite this progress, individual skills may follow distinct trajectories as the policy evolves, with some becoming redundant after the model internalizes their capabilities, others remaining valuable as external scaffolding, and still others turning harmful. However, existing skill library systems fail to identify each skill's true contribution due to free-riding among co-retrieved skills, difficulty confounding across tasks, and the absence of skill-specific counterfactual evidence, which prevents reliable skill lifecycle management. We propose TrackRL, an agentic RL framework where skill tracking drives skill library full lifecycle management. Specifically, within each GRPO group, we turn grouped sampling into online randomized controlled experiments. Independent random injection and within-group contrasts on the same task isolate each skill's true contribution, and reliability-weighted aggregation accumulates evidence across groups. As evidence accumulates, we continuously track skill utility, which measures the skill's causal contribution as external scaffolding, and model mastery, which reflects how far the corresponding capability has been internalized. Along this line, we formulate skill lifecycle management as an evidence-gated state-transition process that governs each skill from generation and admission through protected incubation to retention, retirement, or removal, while a soft capacity bound controls library growth. Experiments show that TrackRL outperforms recent skill-augmented RL baselines in both library-assisted and skill-free evaluation, with further analyses revealing how skill value shifts during policy learning and how evidence-driven state transitions shape skill library evolution. Our code is available at https://github.com/xizhu1022/TrackRL.
• Abstract（参考訳）: ロングホライゾンタスクにおけるLLMエージェントの改善に有効な手法として,スキル増強剤RLが出現している。 この進歩にもかかわらず、個々のスキルはポリシーが進化するにつれて異なる軌道を辿り、モデルが機能の内部化後に冗長になるものもあれば、外部の足場として価値のあるものもあれば、有害なものとなるものもある。 しかし,既存のスキルライブラリシステムでは,共用スキルのフリーライディング,タスク間の相違,スキル固有の反実的証拠の欠如,スキルライフサイクル管理の信頼性を損なうなど,各スキルの真の貢献を識別できない。 本稿では,スキルトラッキングがスキルライブラリのフルライフサイクル管理を駆動するエージェントRLフレームワークであるTrackRLを提案する。 具体的には、各GRPOグループ内で、グループサンプリングをオンラインランダム化制御実験に変換する。 独立したランダムインジェクションとグループ内のコントラストは同じタスクで各スキルの真の貢献を分離し、信頼性に富んだ集約はグループ全体で証拠を蓄積する。 証拠が蓄積されるにつれて、スキルの因果貢献を外部の足場として計測するスキルユーティリティと、対応する能力がどの程度内部化されているかを反映したモデルマスタリを継続的に追跡する。 この線に沿って、我々はスキルライフサイクル管理を、保護されたインキュベーションから保持、退職、または削除まで、各スキルの生成と受け入れを支配し、ソフトキャパシティが図書館の成長を制御するエビデンスゲート状態移行プロセスとして定式化する。 実験により、TrackRLは、ライブラリ支援とスキルフリー評価の両方において、最近のスキル強化されたRLベースラインよりも優れており、さらに、ポリシー学習中にスキル価値がどのように変化し、エビデンス駆動状態がスキルライブラリの進化を形作るかを明らかにする。 私たちのコードはhttps://github.com/xizhu1022/TrackRL.comで公開されています。

関連論文リスト

• SkillScaffold: Scaffolding Agentic Reinforcement Learning with Policy-Adaptive Skill Credit Assignment and Selective Injection [48.173384811583844]
  エージェント強化学習(RL)により、大規模言語モデルでは、検証可能な結果とのマルチターン相互作用から学習することができる。 SkillScaffoldは、低コストのスキルユーティリティ推定と選択的スキルインジェクションを組み合わせた、ポリシー適応型トレーニングスキャフォールドである。 ALFWorld、WebShop、ScienceWorld、および2ドルのBenchの実験は、強力なエージェントRLとスキルベースのRLベースラインよりも優れていることを示している。
  論文  参考訳（メタデータ） (2026-10-13T17:46:25Z)
• RSIPO: Recursive Self-Improving Policy Optimization for Agentic Reinforcement Learning via Skill-Policy Co-Evolution [77.88178178061172]
  本稿では、エージェントスキルとポリシーモデルをトレーニングプロセスを通じて共進化させる自己進化型エージェントRLフレームワークである、再帰的自己改善政策最適化(RSIPO)を紹介する。 Qwen2.5-7Bがベースモデルとなり、RSIPOはALFWorldで平均98.6%の成功率を記録し、それぞれ2番目に高いベースラインと標準GRPOに対して2.5%と17.4%の改善を達成した。
  論文  参考訳（メタデータ） (2026-10-11T16:54:58Z)
• Skill-V: Verifiable Self-Evolving Skill Library for Interactive Agents [52.62594580060118]
  検証可能な自己進化型スキルライブラリであるSkill-Vを紹介する。 我々は,図書館の進化を促進するために環境成果を用いており,特に,タスク失敗はスキル追加を動機付けている。 我々は、現在のタスクに確実に適用できないと判断された候補を除外するために、適用性に配慮したフィルタを用いる。
  論文  参考訳（メタデータ） (2026-10-08T11:59:42Z)
• SkillForge: Co-Evolving Skills and Agents via Dynamic Skill Lifecycles [24.57857375209223]
  本稿では、フィットネス駆動型スキルライフサイクルを通じて、スキルライブラリをコンパイルし、進化させるエージェントRL手法であるSkillForgeを提案する。 複数のインタラクティブなエージェントベンチマークで、SkillForgeは最高成功率を達成した。 SkillFurnaceは5k以上の注釈付きレコードのデータセットで、リタイアフィルタ付きSFTトラジェクトリをバンドルする。
  論文  参考訳（メタデータ） (2026-10-07T10:52:15Z)
• ARISE-RL: Agentic Rubric-Grounded Iterative Self-Evolution with Reinforcement Learning [74.19730275669227]
  ARISE-RLは、オープンエンドエージェントをトレーニングするための新しいフルサイクルの自己進化フレームワークである。 Reward-Gated Self-Evolution Distillation (RG-SED)を提案する。 ECR-Benchは,シングルツールディープリサーチとマルチツールトラベルプランニングを対象とする,専門家校正型ルーリックベンチマークスイートである。
  論文  参考訳（メタデータ） (2026-09-01T10:54:13Z)
• SKILLC: Learning Autonomous Skill Internalization in LLM Agents via Contrastive Credit Assignment [4.336665585098371]
  本稿では,このコントラストを内部化のための直接学習信号に変換するContrastive Skill Credit Assignment (CSCA) に基づくフレームワークであるSkillCを提案する。 textscSkillCは、同じポリシー更新内でアクティブなスキルタイプからのタスクに対して、ペア化されたスキル注入とスキルフリーのロールアウトをサンプリングする。 スムーズな検証レベル信号は、帰属強度、ロールアウトアロケーション、単調なアクティブセットプルーニングよりも適応的なカリキュラムを駆動する。
  論文  参考訳（メタデータ） (2026-05-27T03:21:19Z)
• SkillOS: Learning Skill Curation for Self-Evolving Agents [67.94374107466957]
  本稿では,自己進化エージェントのスキルキュレーションを学習するための,経験駆動型RLトレーニングレシピであるSkillOSを提案する。 SkillOSは、凍結したエージェントエグゼキュータとトレーニング可能なスキルキュレーターを組み合わせて、蓄積したエクスペリエンスから外部SkillRepoを更新する。 SkillOSは、メモリフリーと強力なメモリベースラインを、有効性と効率の両方で一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2026-05-07T17:31:50Z)
• SkillRL: Evolving Agents via Recursive Skill-Augmented Reinforcement Learning [83.98129545309277]
  生経験と政策改善のギャップを埋めるフレームワークであるSkillRLを提案する。 本手法では,階層型スキルライブラリであるSkillBankを構築するために,経験に基づく蒸留機構を導入する。 ALF、WebShop、および7つの検索強化タスクの実験結果は、SkillRLが最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2026-02-09T03:17:17Z)
• Reinforcement Learning for Self-Improving Agent with Skill Library [14.717149089634718]
  大規模言語モデル(LLM)に基づくエージェントは、複雑な推論とマルチターン相互作用において顕著な機能を示した。 有望なアプローチの1つは、エージェントが新しいスキルを学び、検証し、適用できるスキルライブラリを実装することである。 スキルライブラリによるエージェントの自己改善能力を高めるための強化学習(RL)に基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2025-12-18T21:58:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。