論文の概要: Progressive Agent Skill Generation via Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2608.01678v1
• Date: Mon, 03 Aug 2026 04:14:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:25.326169
• Title: Progressive Agent Skill Generation via Reinforcement Learning
• Title（参考訳）: 強化学習によるプログレッシブエージェントスキル生成
• Abstract要約: 高品質なエージェントスキルを段階的に生成する強化学習手法であるSkill-$を提案する。 具体的には、スキル構築を個別に評価可能な編集に分解するシーケンシャルな編集プロセスとして、スキル生成を定式化する。 実験によると、Skill-$はパイプラインスタイルの統合に基づく手法よりも効果的なスキルを生み出す。
• 参考スコア（独自算出の注目度）: 29.782307460602876
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing skill generation methods largely rely on heuristics or pipeline-style consolidation, which must be specially designed for different evidence sources. In contrast, learning-based approaches offer a more unified way to model skill generation across heterogeneous sources. However, learning-based skill generation remains challenging because skills lack a natural supervision signal based on relevance or correctness; their value can largely be determined only by whether they improve the behavior of the agent on downstream tasks. To address this challenge, we propose Skill-$α$, a reinforcement learning method for progressively generating high-quality agent skills. Specifically, we formulate skill generation as a sequential editing process that decomposes skill construction into individually evaluable edits, and introduce a novel rollback reward that evaluates each edit by comparing downstream execution under the original and edited skills on an anchored query. Extensive experiments show that Skill-$α$ generates more effective skills than methods based on heuristics or pipelines in both document-to-skill and experience-to-skill settings. Under the main GPT-4o worker, Skill-$α$ improves average downstream success rates over the strongest skill-generation baseline by 3.3 points on CL-Bench and 6.7 points on tau2-bench. Further ablations validate the importance of rollback reward and progressive generation.
• Abstract（参考訳）: 既存のスキル生成手法はヒューリスティックスやパイプラインスタイルの統合に大きく依存しており、異なる証拠ソースのために特別に設計されなければならない。 対照的に、学習ベースのアプローチは、異種ソース間でスキル生成をモデル化するより統一的な方法を提供する。 しかし、学習に基づくスキル生成は、関連性や正確性に基づく自然な監視信号が欠如しているため、依然として困難なままであり、その価値は下流作業におけるエージェントの行動を改善するかによってのみ決定される。 この課題に対処するため、我々は、高品質なエージェントスキルを段階的に生成する強化学習手法であるSkill-$α$を提案する。 具体的には、スキル構築を個別に評価可能な編集に分解するシーケンシャルな編集プロセスとして、スキル生成を定式化し、アンカードクエリ上で、オリジナルおよび編集されたスキル下での下流実行を比較して、各編集を評価する新しいロールバック報酬を導入する。 大規模な実験によると、Skill-$α$は、ドキュメント・トゥ・スキルと経験・トゥ・スキルの両方の設定において、ヒューリスティックやパイプラインに基づく方法よりも効果的なスキルを生成する。 GPT-4oでは、Skill-$α$は最強のスキルジェネレーションベースラインよりも平均ダウンストリーム成功率をCL-Benchで3.3ポイント、Tau2-benchで6.7ポイント向上させる。 さらに、ロールバック報酬とプログレッシブジェネレーションの重要性を検証する。

関連論文リスト

• SkillComposer: Learning to Evolve Agent Skills for Specification and Generalization [99.18305770138677]
  エージェントスキルは、エージェントの推論とアクションをガイドする再利用可能な戦略である。 現在の技術構築手法は、問題を一発抽出として扱う。 本稿では,スキル構築を3つの学習可能な操作に分解するフレームワークであるSkillComposerを紹介する。
  論文  参考訳（メタデータ） (2026-06-04T12:16:08Z)
• SkillRevise: Improving LLM-Authored Agent Skills via Trace-Conditioned Skill Revision [41.562357872885826]
  SkillReviseはエージェントスキルを反復的に洗練するために設計された実行基盤フレームワークである。 SkillReviseは、実行エビデンスからスキル欠陥を診断し、一般的なメモリから関連する修復原則を検索し、実行順に編集を適用する。 単発ベースラインを大幅に上回り、SkillsBenchにおけるベースエージェントの成功率は36.05%から61.63%に向上した。
  論文  参考訳（メタデータ） (2026-05-31T10:19:13Z)
• Skill-R1: Agent Skill Evolution via Reinforcement Learning [84.35984979949502]
  Skill-R1は、検証可能な報酬からインスタンスレベルの繰り返しスキル最適化のための強化学習フレームワークである。 オープンソースモデルとクローズドソースモデルの両方とのブラックボックス互換性を維持しつつ、モデルレベルの更新よりも大幅に安価に適応できる。
  論文  参考訳（メタデータ） (2026-05-10T06:19:15Z)
• SkillGen: Verified Inference-Time Agent Skill Synthesis [60.927977774369516]
  SkillGenは、ベースエージェントによって生成されたトラジェクトリから単一の監査可能なスキルを合成するフレームワークである。 再利用可能な成功パターン、繰り返し発生する障害モード、そして近くの成功に現れるが失敗に欠ける行動を特定する。 SkillGenの重要な特徴は、エージェントスキルを、全体的なパフォーマンスに対するスキルのネット効果を実証的に検証するための介入としてモデル化することです。
  論文  参考訳（メタデータ） (2026-05-09T19:24:11Z)
• SkillMaster: Toward Autonomous Skill Mastery in LLM Agents [27.651128308229378]
  SkillMasterは、エージェントに新しいスキルを作り、既存のスキルを洗練させ、タスク解決中に蓄積したスキルを選択する訓練フレームワークである。 第一に、私たちは、軌道インフォームドスキルレビューを通じてエージェントを訓練し、完成したエピソードの証拠に基づいて、提案、更新、保持するためのエージェントを指導する。 第2に、各候補スキル編集は、関連するプローブタスクに対する対実的ユーティリティによって評価され、スキル編集決定を訓練するための直接学習信号を提供する。 第3に、DualAdv-GRPOを導入し、タスク解決行動とスキル編集決定の利点を個別に推定し、タスク解決における共同トレーニングを安定化する。
  論文  参考訳（メタデータ） (2026-05-09T05:03:00Z)
• SkillLens: Adaptive Multi-Granularity Skill Reuse for Cost-Efficient LLM Agents [6.293920920196533]
  SkillLensは階層的なスキル進化フレームワークで、スキルをポリシー、戦略、手順、プリミティブの4層グラフにまとめる。 セマンティックなスキルシードを検索し、スキルグラフの次数補正されたランダムウォークを通じて拡張し、各訪問したユニットが受け入れられ、分解され、書き直され、スキップされるかどうかを検証器を使って決定する。 MuLocbenchとALFWorld全体で、SkillLensは、強いスキルベースのベースラインよりも一貫して改善されている。
  論文  参考訳（メタデータ） (2026-05-08T18:48:04Z)
• SkillOS: Learning Skill Curation for Self-Evolving Agents [67.94374107466957]
  本稿では,自己進化エージェントのスキルキュレーションを学習するための,経験駆動型RLトレーニングレシピであるSkillOSを提案する。 SkillOSは、凍結したエージェントエグゼキュータとトレーニング可能なスキルキュレーターを組み合わせて、蓄積したエクスペリエンスから外部SkillRepoを更新する。 SkillOSは、メモリフリーと強力なメモリベースラインを、有効性と効率の両方で一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2026-05-07T17:31:50Z)
• EvoSkills: Self-Evolving Agent Skills via Co-Evolutionary Verification [85.3692584167951]
  Anthropicは、LLMエージェントが多段階のプロフェッショナルタスクに取り組むためのスキルの概念を提案する。 ツールは単一の自己完結型関数であり、スキルは相互依存型多ファイルアーティファクトの構造化バンドルである。 EvoSkillsは、エージェントが複雑なマルチファイルスキルパッケージを自律的に構築できる自己進化型スキルフレームワークである。
  論文  参考訳（メタデータ） (2026-04-02T06:43:20Z)
• Skill-Based Reinforcement Learning with Intrinsic Reward Matching [77.34726150561087]
  Intrinsic Reward Matching (IRM) を提案する。 IRMにより、従来のスキル選択方法よりもはるかに効果的に事前訓練されたスキルを活用できる。
  論文  参考訳（メタデータ） (2022-10-14T00:04:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。