論文の概要: SkillForge: Evolving Verifiable Skills for Reinforcement Learning Agents
- arxiv url: http://arxiv.org/abs/2608.24747v1
- Date: Tue, 25 Aug 2026 15:52:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-26 14:09:35.085966
- Title: SkillForge: Evolving Verifiable Skills for Reinforcement Learning Agents
- Title（参考訳）: SkillForge: 強化学習エージェントのための検証可能なスキルの進化
- Abstract要約: 大規模言語モデル(LLM)エージェントは、複雑な意思決定タスクのために強化学習(RL)を用いて訓練される。
SkillRLのような最近のスキルベースのアプローチは、生の軌跡からスキルを抽出することでこの問題に対処しようとしている。
SkillForgeは、環境相互作用を通じてスキルの検証と洗練を可能にする継続的スキル進化のためのフレームワークである。
- 参考スコア（独自算出の注目度）: 17.565432600589414
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language model (LLM) agents are trained with reinforcement learning (RL) for complex decision-making tasks. However, most RL-trained agents remain episodic and cannot accumulate reusable knowledge across episodes. Recent skill-based approaches, such as SkillRL, attempt to address this issue by extracting skills from raw trajectories, but treat the skill bank as an append-only repository without verifying whether stored skills remain effective. In this paper, we propose SkillForge, a framework for continuous skill evolution that enables skills to be verified and refined through environment interaction. By making skill usage explicit during agent interaction, RL can directly optimize both environment actions and skill invocation decisions. SkillForge further introduces evidence-based skill verification and multi-pathway skill induction, allowing the skill bank to continuously grow while maintaining its quality. Extensive experiments on ALFWorld, WebShop, and AppWorld show that SkillForge consistently outperforms SkillRL, demonstrating the effectiveness of continuously verified skills in training stronger LLM agents.
- Abstract（参考訳）: 大規模言語モデル(LLM)エージェントは、複雑な意思決定タスクのために強化学習(RL)を用いて訓練される。
しかし、ほとんどのRLを訓練した薬剤はエピソードのままであり、エピソード全体で再利用可能な知識を蓄積することはできない。
SkillRLのような最近のスキルベースのアプローチでは、生の軌跡からスキルを抽出することでこの問題に対処しようとしているが、スキルバンクは、ストアドスキルが有効かどうかを検証せずに、追加のみのリポジトリとして扱う。
本稿では,環境相互作用を通じてスキルの検証と洗練を可能にする継続的スキル進化のためのフレームワークであるSkillForgeを提案する。
エージェントインタラクション中にスキル使用を明示することにより、RLは環境アクションとスキル実行決定の両方を直接最適化することができる。
SkillForgeはさらに、エビデンスベースのスキル検証とマルチパススキル誘導を導入し、その品質を維持しながら、スキルバンクを継続的に成長させる。
ALFWorld、WebShop、AppWorldの大規模な実験によると、SkillForgeはSkillRLを一貫して上回り、強力なLDMエージェントのトレーニングにおいて継続的に検証されたスキルの有効性を示している。
関連論文リスト
- Co-Evolving Skill Generation and Policy Optimization [35.41582114275514]
既存の手法は通常、強力な言語モデルを使用してトラジェクトリを分析し、スキルを生成し、オンライントレーニング中に検索可能なスキルバンクを更新します。
プレストレージスキル検証のためのオンライン強化学習フレームワークを提案する。
論文 参考訳（メタデータ） (2026-06-07T17:55:55Z) - SkillComposer: Learning to Evolve Agent Skills for Specification and Generalization [99.18305770138677]
エージェントスキルは、エージェントの推論とアクションをガイドする再利用可能な戦略である。
現在の技術構築手法は、問題を一発抽出として扱う。
本稿では,スキル構築を3つの学習可能な操作に分解するフレームワークであるSkillComposerを紹介する。
論文 参考訳（メタデータ） (2026-06-04T12:16:08Z) - SKILLC: Learning Autonomous Skill Internalization in LLM Agents via Contrastive Credit Assignment [4.336665585098371]
本稿では,このコントラストを内部化のための直接学習信号に変換するContrastive Skill Credit Assignment (CSCA) に基づくフレームワークであるSkillCを提案する。
textscSkillCは、同じポリシー更新内でアクティブなスキルタイプからのタスクに対して、ペア化されたスキル注入とスキルフリーのロールアウトをサンプリングする。
スムーズな検証レベル信号は、帰属強度、ロールアウトアロケーション、単調なアクティブセットプルーニングよりも適応的なカリキュラムを駆動する。
論文 参考訳（メタデータ） (2026-05-27T03:21:19Z) - SkillGen: Verified Inference-Time Agent Skill Synthesis [60.927977774369516]
SkillGenは、ベースエージェントによって生成されたトラジェクトリから単一の監査可能なスキルを合成するフレームワークである。
再利用可能な成功パターン、繰り返し発生する障害モード、そして近くの成功に現れるが失敗に欠ける行動を特定する。
SkillGenの重要な特徴は、エージェントスキルを、全体的なパフォーマンスに対するスキルのネット効果を実証的に検証するための介入としてモデル化することです。
論文 参考訳（メタデータ） (2026-05-09T19:24:11Z) - SkillMaster: Toward Autonomous Skill Mastery in LLM Agents [27.651128308229378]
SkillMasterは、エージェントに新しいスキルを作り、既存のスキルを洗練させ、タスク解決中に蓄積したスキルを選択する訓練フレームワークである。
第一に、私たちは、軌道インフォームドスキルレビューを通じてエージェントを訓練し、完成したエピソードの証拠に基づいて、提案、更新、保持するためのエージェントを指導する。
第2に、各候補スキル編集は、関連するプローブタスクに対する対実的ユーティリティによって評価され、スキル編集決定を訓練するための直接学習信号を提供する。
第3に、DualAdv-GRPOを導入し、タスク解決行動とスキル編集決定の利点を個別に推定し、タスク解決における共同トレーニングを安定化する。
論文 参考訳（メタデータ） (2026-05-09T05:03:00Z) - SkillOS: Learning Skill Curation for Self-Evolving Agents [67.94374107466957]
本稿では,自己進化エージェントのスキルキュレーションを学習するための,経験駆動型RLトレーニングレシピであるSkillOSを提案する。
SkillOSは、凍結したエージェントエグゼキュータとトレーニング可能なスキルキュレーターを組み合わせて、蓄積したエクスペリエンスから外部SkillRepoを更新する。
SkillOSは、メモリフリーと強力なメモリベースラインを、有効性と効率の両方で一貫して上回っていることを示す。
論文 参考訳（メタデータ） (2026-05-07T17:31:50Z) - From Context to Skills: Can Language Models Learn from Context Skillfully? [56.5857437218136]
Ctx2Skillは、コンテキスト固有のスキルを自律的に発見、洗練、選択する自己進化フレームワークである。
より良い文脈学習能力を得るために、どんな言語モデルにもプラグインできる。
論文 参考訳（メタデータ） (2026-04-30T09:53:15Z) - Co-Evolving LLM Decision and Skill Bank Agents for Long-Horizon Tasks [83.4942519570046]
大型言語モデル(LLM)はゲームプレイエージェントとして有望な代替手段を提供するが、一貫した長期的意思決定に苦戦することが多い。
我々は、LLM決定エージェントが学習可能なスキルバンクからスキルを回収し、アクションテイクをガイドするコ進化フレームワークであるCOSPLAYを提案する。
当社のフレームワークは,スキル検索とアクション生成を学習するための意思決定エージェントを改良し,スキルバンクエージェントは,契約とともに継続的にスキルを抽出し,洗練し,更新する。
論文 参考訳（メタデータ） (2026-04-22T18:17:17Z) - EvoSkills: Self-Evolving Agent Skills via Co-Evolutionary Verification [85.3692584167951]
Anthropicは、LLMエージェントが多段階のプロフェッショナルタスクに取り組むためのスキルの概念を提案する。
ツールは単一の自己完結型関数であり、スキルは相互依存型多ファイルアーティファクトの構造化バンドルである。
EvoSkillsは、エージェントが複雑なマルチファイルスキルパッケージを自律的に構築できる自己進化型スキルフレームワークである。
論文 参考訳（メタデータ） (2026-04-02T06:43:20Z) - Dynamic Dual-Granularity Skill Bank for Agentic RL [34.161117844675324]
D2Skillはエージェント強化学習のための動的二重粒度スキルバンクである。
再利用可能な経験をタスクスキルに整理し、高いレベルのガイダンスとステップスキルを使って、きめ細かい意思決定支援とエラー修正を行う。
論文 参考訳（メタデータ） (2026-03-30T17:32:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。