論文の概要: Dynamic Skill Lifecycle Management for Agentic Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2605.10923v2
• Date: Sun, 17 May 2026 05:50:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 23:51:08.265319
• Title: Dynamic Skill Lifecycle Management for Agentic Reinforcement Learning
• Title（参考訳）: エージェント強化学習のための動的スキルライフサイクル管理
• Abstract要約: 大規模な言語モデルエージェントは、複雑なタスクを解決するために、ますます外部スキルに依存している。 既存の手法では、外部スキルは永続的なガイダンスとして蓄積するか、ポリシーに内部化され、ゼロスキル推論につながると仮定している。 パラメトリック能力の制限とスキル間の不均一な限界貢献により、最適なアクティブスキルセットは非モノトニック、タスク、ステージ依存である。
• 参考スコア（独自算出の注目度）: 11.76119198695392
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language model agents increasingly rely on external skills to solve complex tasks, where skills act as modular units that extend their capabilities beyond what parametric memory alone supports. Existing methods assume external skills either accumulate as persistent guidance or internalized into the policy, eventually leading to zero-skill inference. We argue this assumption is overly restrictive, since with limited parametric capacity and uneven marginal contribution across skills, the optimal active skill set is non-monotonic, task- and stage-dependent. In this work, we propose SLIM, a framework of dynamic Skill LIfecycle Management for agentic reinforcement learning (RL), which treats the active external skill set as a dynamic optimization variable jointly updated with policy learning. Specifically, SLIM estimates each active skill's marginal external contribution through leave-one-skill-out validation, then applies three lifecycle operations: retaining high-value skills, retiring skills whose contribution becomes negligible after sufficient exposure, and expanding the skill bank when persistent failures reveal missing capability coverage. Experiments show that SLIM outperforms the best baselines by an average of 7.1% points across ALFWorld and SearchQA. Results further indicate that policy learning and external skill retention are not mutually exclusive: some skills are absorbed into the policy, while others continue to provide external value, supporting SLIM as a more general paradigm for skill-based agentic RL.
• Abstract（参考訳）: 大規模な言語モデルエージェントは、複雑なタスクを解決するために、ますます外部スキルに依存している。 既存の手法では、外部スキルは永続的なガイダンスとして蓄積するか、ポリシーに内部化され、最終的にはゼロスキル推論につながると仮定している。 パラメトリック能力の制限とスキル間の不均一な限界貢献により、最適なアクティブスキルセットは非モノトニック、タスク、ステージ依存である。 本研究では,エージェント強化学習(RL)のための動的スキルLIfecycle ManagementのフレームワークであるSLIMを提案する。 特に、SLIMは、各活動スキルの限界的外部貢献を、離脱ワンスキルアウトバリデーションを通じて推定し、次に、高価値スキルの維持、十分な露出後に貢献が無視されるスキルの引退、持続的障害が不足する能力カバレッジを明らかにするスキルバンクの拡大という3つのライフサイクル操作を適用する。 SLIM は ALFWorld と SearchQA で平均7.1% で最高のベースラインを達成している。 さらに、政策学習と外部スキル保持は相互排他的ではなく、一部のスキルはポリシーに吸収され、他のスキルは外部価値を提供し続け、スキルベースのエージェントRLのより一般的なパラダイムとしてSLIMを支持している。

関連論文リスト

• Coalition-Aware Skill Reliability for Self-Evolving Agents [49.43736235959317]
  エージェントのスキルバンクに蓄積したスキルが、実際にポジティブなメカニスティックな貢献をするかどうかを検討する。 銀行レベルが上昇する連立政権の公害は、負の連立政権レベルのスキル貢献を隠蔽し、クロスドメイン・ユーティリティ・リバーサル(クロスドメイン・リヴァーサル)であり、ソース・ベネシカル・スキルが移転後の効果を逆転させることを示している。 これらの知見は, スキル蓄積時の連帯認識スキル選択と, 移行後のラベルフリースキルマスキングの2つの信頼性介入の動機となった。
  論文  参考訳（メタデータ） (2026-08-23T21:35:22Z)
• AUSO: Action-Level Unified Skill Optimization from Internalization to Utilization [23.057686255420546]
  AUSOは、プログレッシブでアクション対応の最適化プロセスを通じて、スキル学習とスキル利用を実現する。 AUSOはトレーニングの開始時に、教師の指導と環境結果から共同で学習する。 政策が成熟するにつれて、AUSOはスキル条件とスキルフリーの両方の状況下で各サンプルアクションを評価する。
  論文  参考訳（メタデータ） (2026-08-21T16:53:27Z)
• Bidirectional Context Self-Distillation for Reinforcement Learning of Skill-Based LLM Agents [11.967142343676171]
  自己蒸留と強化学習を組み合わせたBCSD(Bi Context Self-Distillation)を提案する。 ALFWorldとWebShopの実験では、BCSDがモデルスケール全体で最高の全体的なパフォーマンスを達成している。
  論文  参考訳（メタデータ） (2026-08-10T12:53:06Z)
• Skill Self-Play: Pushing the Frontier of LLM Capability with Co-Evolving Skills [53.15216425100295]
  本稿では,提案者,解決者,スキルコントローラからなる共進化型フレームワークであるスキルセルフプレイ(スキルSP)を紹介する。 プロジェクタは動的にサンプリングされたスキルを前提とした挑戦的なタスクを生成し、ソルバは能力境界を押し上げるための候補ソリューションを探索し、スキルコントローラは実行フィードバックを収集してスキルライブラリを更新および拡張する。 このインタラクティブな共進化は、構造化された検証とオープンな調査の間のギャップを効果的に埋める。
  論文  参考訳（メタデータ） (2026-07-24T17:59:22Z)
• SIRI: Self-Internalizing Reinforcement Learning with Intrinsic Skills for LLM Agent Training [39.265999580317974]
  ロングホライゾンLSMエージェントは、再利用可能なスキルの恩恵を受けることができるが、既存のスキルベースの手法は、トレーニング中や推論時の永続的なスキル検索に外部スキルジェネレータに依存することが多い。 エージェントが外部スキルジェネレータや推論時スキルバンクを使わずに、スキルの発見、検証、内部化を可能にする3段階フレームワークである、内在的スキルを用いた自己内在的強化学習(SIRI)を提案する。
  論文  参考訳（メタデータ） (2026-06-01T15:02:59Z)
• Skill0.5: Joint Skill Internalization and Utilization for Out-of-Distribution Generalization in Agentic Reinforcement Learning [25.966432263031397]
  Skill0.5は、一般的なスキル内部化とタスク固有のスキル利用を組み合わせることで、スキル処理を明確に区別する新しいエージェントRLフレームワークである。 特典蒸留によって一般的なスキルを内包し、ハードタスクの認知基盤を構築すると同時に、ショートカットをペナルティ化し、特定のスキル利用を強制するための簡単なタスクを診断する。 ALFWorldとWebShopの実験では、Skill0.5はメモリベースのRLベースラインとスキルベースのRLベースラインの両方を上回っている。
  論文  参考訳（メタデータ） (2026-05-27T12:54:33Z)
• SKILLC: Learning Autonomous Skill Internalization in LLM Agents via Contrastive Credit Assignment [4.336665585098371]
  本稿では,このコントラストを内部化のための直接学習信号に変換するContrastive Skill Credit Assignment (CSCA) に基づくフレームワークであるSkillCを提案する。 textscSkillCは、同じポリシー更新内でアクティブなスキルタイプからのタスクに対して、ペア化されたスキル注入とスキルフリーのロールアウトをサンプリングする。 スムーズな検証レベル信号は、帰属強度、ロールアウトアロケーション、単調なアクティブセットプルーニングよりも適応的なカリキュラムを駆動する。
  論文  参考訳（メタデータ） (2026-05-27T03:21:19Z)
• Skill-R1: Agent Skill Evolution via Reinforcement Learning [84.35984979949502]
  Skill-R1は、検証可能な報酬からインスタンスレベルの繰り返しスキル最適化のための強化学習フレームワークである。 オープンソースモデルとクローズドソースモデルの両方とのブラックボックス互換性を維持しつつ、モデルレベルの更新よりも大幅に安価に適応できる。
  論文  参考訳（メタデータ） (2026-05-10T06:19:15Z)
• How Well Do Agentic Skills Work in the Wild: Benchmarking LLM Skill Usage in Realistic Settings [29.3744517703302]
  本研究は,段階的に挑戦的な現実的な環境下でのスキルユーティリティの総合的研究である。 その結果、設定がよりリアルになるにつれて、パフォーマンスは一貫して低下することがわかった。 クエリ固有の改善は、初期スキルが合理的な妥当性と品質を持つ場合に、性能を著しく回復することを示す。
  論文  参考訳（メタデータ） (2026-04-06T00:10:30Z)
• SKILL0: In-Context Agentic Reinforcement Learning for Skill Internalization [61.37478254738943]
  推論時のスキル向上は基本的に制限されている。 SKILL0は,スキル内部化のためのコンテキスト内強化学習フレームワークである。 SKILL0は標準のRLベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2026-04-02T17:03:05Z)
• Dynamic Dual-Granularity Skill Bank for Agentic RL [34.161117844675324]
  D2Skillはエージェント強化学習のための動的二重粒度スキルバンクである。 再利用可能な経験をタスクスキルに整理し、高いレベルのガイダンスとステップスキルを使って、きめ細かい意思決定支援とエラー修正を行う。
  論文  参考訳（メタデータ） (2026-03-30T17:32:11Z)
• SUSD: Structured Unsupervised Skill Discovery through State Factorization [12.57032768854794]
  教師なしスキル発見(USD)は、外因的な報酬に頼ることなく、多様なスキルセットを自律的に学習することを目的としている。 状態空間を独立成分に分解することで環境の構成構造を利用する新しいフレームワークであるSUSDを紹介する。 SUSDは異なる要因に異なるスキル変数を割り当て、スキル発見プロセスのよりきめ細かい制御を可能にする。
  論文  参考訳（メタデータ） (2026-02-02T04:21:33Z)
• Acquiring Diverse Skills using Curriculum Reinforcement Learning with Mixture of Experts [58.220879689376744]
  強化学習(Reinforcement Learning, RL)は, 優れた政策獲得のための強力なアプローチである。 多様なスキルを学習するための textbfDiverse textbfSkill textbfLearning (Di-SkilL) を提案する。 本稿では,Di-SkilLが多種多様なパフォーマンススキルを学習できるロボットシミュレーションタスクについて述べる。
  論文  参考訳（メタデータ） (2024-03-11T17:49:18Z)
• Skill-Based Reinforcement Learning with Intrinsic Reward Matching [77.34726150561087]
  Intrinsic Reward Matching (IRM) を提案する。 IRMにより、従来のスキル選択方法よりもはるかに効果的に事前訓練されたスキルを活用できる。
  論文  参考訳（メタデータ） (2022-10-14T00:04:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。