論文の概要: SkillForge: Co-Evolving Skills and Agents via Dynamic Skill Lifecycles
- arxiv url: http://arxiv.org/abs/2610.09832v2
- Date: Wed, 14 Oct 2026 04:01:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:14.989996
- Title: SkillForge: Co-Evolving Skills and Agents via Dynamic Skill Lifecycles
- Title（参考訳）: SkillForge: ダイナミックスキルライフサイクルによるスキルとエージェントの共進化
- Abstract要約: 本稿では、フィットネス駆動型スキルライフサイクルを通じて、スキルライブラリをコンパイルし、進化させるエージェントRL手法であるSkillForgeを提案する。
複数のインタラクティブなエージェントベンチマークで、SkillForgeは最高成功率を達成した。
SkillFurnaceは5k以上の注釈付きレコードのデータセットで、リタイアフィルタ付きSFTトラジェクトリをバンドルする。
- 参考スコア（独自算出の注目度）: 24.57857375209223
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Memory-augmented reinforcement learning strengthens LLM agents' ability to solve complex long-horizon tasks. Skills are one such form of memory, pairing instructions with an applicability condition over task types. However, retaining every skill indiscriminately as the policy improves lets obsolete or harmful entries accumulate and mislead the agent. We propose SkillForge, an agentic RL method that compiles and evolves the skill library through a fitness-driven skill lifecycle of trial, active, stable, and retired states, so that the skills and the model co-evolve throughout training. A pre-RL evaluation phase first uses the base model's own rollouts to pre-retire low-fitness skills, yielding a filtered library that then seeds supervised fine-tuning. Reinforcement learning takes over from this checkpoint, and at each iteration selective retirement, stabilization, and LLM-guided mutation continue to forge the skill library alongside policy optimization. Across multiple interactive agent benchmarks, SkillForge achieves the highest aggregate success rate, delivering up to 7.8% relative improvement over the strongest baseline while keeping the skill library compact throughout training. We introduce SkillFurnace, a dataset of 5k+ annotated records bundling retirement-filtered SFT trajectories, evolved skill libraries with fitness annotations, and retirement events with human-annotated failure categories to support research on skill quality and lifecycle management.
- Abstract（参考訳）: メモリ強化強化学習は、LLMエージェントが複雑な長距離タスクを解く能力を強化する。
スキルはそのようなメモリの一種であり、タスクタイプに対する適用性条件とペアリング命令である。
しかし、政策の改善に伴い、あらゆるスキルを無差別に保持することで、時代遅れまたは有害なエントリを蓄積させ、エージェントを誤解させる。
SkillForgeは、テスト、アクティブ、安定、および引退状態のフィットネス駆動型スキルライフサイクルを通じて、スキルライブラリをコンパイルし、進化させるエージェントRL手法であり、トレーニングを通してスキルとモデルが共進化するように提案する。
プレRL評価フェーズは、まずベースモデルのロールアウトを使用して、低適合性スキルを退避させ、フィルタライブラリを生成し、その後、種子を微調整する。
このチェックポイントから強化学習が受け継がれ、各イテレーションにおいて、選択的なリタイア、安定化、LLM誘導突然変異が、ポリシー最適化とともにスキルライブラリを鍛え続けている。
複数のインタラクティブエージェントベンチマークを通じて、SkillForgeは、トレーニングを通じてスキルライブラリをコンパクトにしながら、最強のベースラインに対して最大7.8%の相対的な改善を達成している。
SkillFurnaceは5k以上の注釈付きレコードのデータセットで、リタイアフィルター付きSFTトラジェクトリをバンドルし、フィットネスアノテーション付きスキルライブラリを進化させ、ヒューマンアノテーション付き障害カテゴリによるリタイアイベントを導入し、スキル品質とライフサイクル管理の研究を支援する。
関連論文リスト
- SkillForge: Evolving Verifiable Skills for Reinforcement Learning Agents [17.565432600589414]
大規模言語モデル(LLM)エージェントは、複雑な意思決定タスクのために強化学習(RL)を用いて訓練される。
SkillRLのような最近のスキルベースのアプローチは、生の軌跡からスキルを抽出することでこの問題に対処しようとしている。
SkillForgeは、環境相互作用を通じてスキルの検証と洗練を可能にする継続的スキル進化のためのフレームワークである。
論文 参考訳（メタデータ） (2026-08-25T15:52:10Z) - Generative Skill Composition for LLM Agents [58.47191648555256]
LLMエージェントは複雑なタスクを解決するためのスキルの恩恵を受ける。
スキルライブラリが成長するにつれて、適切なスキル構成を選択することが中心的なボトルネックとして現れている。
本稿では,タスク条件付きスキルシーケンス予測として構造化されたスキルコンポジションをインスタンス化するSkillComposerを提案する。
論文 参考訳（メタデータ） (2026-06-30T17:53:09Z) - SKILLC: Learning Autonomous Skill Internalization in LLM Agents via Contrastive Credit Assignment [4.336665585098371]
本稿では,このコントラストを内部化のための直接学習信号に変換するContrastive Skill Credit Assignment (CSCA) に基づくフレームワークであるSkillCを提案する。
textscSkillCは、同じポリシー更新内でアクティブなスキルタイプからのタスクに対して、ペア化されたスキル注入とスキルフリーのロールアウトをサンプリングする。
スムーズな検証レベル信号は、帰属強度、ロールアウトアロケーション、単調なアクティブセットプルーニングよりも適応的なカリキュラムを駆動する。
論文 参考訳（メタデータ） (2026-05-27T03:21:19Z) - SkillGraph: Skill-Augmented Reinforcement Learning for Agents via Evolving Skill Graphs [70.1970574147839]
有向グラフのノードとして再利用可能なスキルを表現するフレームワークであるSKILLGRAPHを提案する。
SKILLGRAPHは個々のスキルだけでなく、多段階意思決定をガイドできる順序付きスキルサブグラフも取得する。
実験により,SKILLGRAPHはメモリ拡張RL法に対して最先端の性能を実現することが示された。
論文 参考訳（メタデータ） (2026-05-12T12:21:49Z) - Skill-R1: Agent Skill Evolution via Reinforcement Learning [84.35984979949502]
Skill-R1は、検証可能な報酬からインスタンスレベルの繰り返しスキル最適化のための強化学習フレームワークである。
オープンソースモデルとクローズドソースモデルの両方とのブラックボックス互換性を維持しつつ、モデルレベルの更新よりも大幅に安価に適応できる。
論文 参考訳（メタデータ） (2026-05-10T06:19:15Z) - SkillOS: Learning Skill Curation for Self-Evolving Agents [67.94374107466957]
本稿では,自己進化エージェントのスキルキュレーションを学習するための,経験駆動型RLトレーニングレシピであるSkillOSを提案する。
SkillOSは、凍結したエージェントエグゼキュータとトレーニング可能なスキルキュレーターを組み合わせて、蓄積したエクスペリエンスから外部SkillRepoを更新する。
SkillOSは、メモリフリーと強力なメモリベースラインを、有効性と効率の両方で一貫して上回っていることを示す。
論文 参考訳（メタデータ） (2026-05-07T17:31:50Z) - Skill1: Unified Evolution of Skill-Augmented Agents via Reinforcement Learning [32.51284576274437]
永続的なスキルライブラリにより、言語モデルエージェントはタスク間で成功した戦略を再利用できる。
既存の手法は、これらの機能を分離または別々の報酬源で最適化し、部分的かつ矛盾する進化をもたらす。
Skill1は,共有タスクアウトカム目標に向けて,スキル選択,利用,蒸留を共同開発するための単一の政策を訓練するフレームワークである。
論文 参考訳（メタデータ） (2026-05-07T12:33:30Z) - SKILL0: In-Context Agentic Reinforcement Learning for Skill Internalization [61.37478254738943]
推論時のスキル向上は基本的に制限されている。
SKILL0は,スキル内部化のためのコンテキスト内強化学習フレームワークである。
SKILL0は標準のRLベースラインよりも大幅に改善されている。
論文 参考訳（メタデータ） (2026-04-02T17:03:05Z) - SkillRL: Evolving Agents via Recursive Skill-Augmented Reinforcement Learning [83.98129545309277]
生経験と政策改善のギャップを埋めるフレームワークであるSkillRLを提案する。
本手法では,階層型スキルライブラリであるSkillBankを構築するために,経験に基づく蒸留機構を導入する。
ALF、WebShop、および7つの検索強化タスクの実験結果は、SkillRLが最先端のパフォーマンスを達成することを示す。
論文 参考訳（メタデータ） (2026-02-09T03:17:17Z) - Reinforcement Learning for Self-Improving Agent with Skill Library [14.717149089634718]
大規模言語モデル(LLM)に基づくエージェントは、複雑な推論とマルチターン相互作用において顕著な機能を示した。
有望なアプローチの1つは、エージェントが新しいスキルを学び、検証し、適用できるスキルライブラリを実装することである。
スキルライブラリによるエージェントの自己改善能力を高めるための強化学習(RL)に基づくアプローチを提案する。
論文 参考訳（メタデータ） (2025-12-18T21:58:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。