論文の概要: SkillDuet: Co-Evolving Models and Skills through Response Feedback
- arxiv url: http://arxiv.org/abs/2611.12109v2
- Date: Thu, 12 Nov 2026 07:04:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:32.883495
- Title: SkillDuet: Co-Evolving Models and Skills through Response Feedback
- Title(参考訳): SkillDuet: レスポンスフィードバックによるモデルとスキルの共進化
- Abstract要約: 本稿では,モデル応答フィードバックを通じてパラメータ更新とスキル進化を調整するフレームワークであるSkillDuetを紹介する。
Qwen3-4Bで、SkillDuetはALFWorldで98.57%、WebShopで92.97%の成功率を達成した。
- 参考スコア(独自算出の注目度): 6.068467078706089
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: During reinforcement learning, experience can be both internalized in LLM parameters and retained externally as reusable textual skills. Parameter updates alter the model's behavior and the interaction experience from which new skills are extracted. These skills, in turn, guide the model's subsequent interactions and parameter updates. As the model's capabilities evolve, previously beneficial skills may become redundant or detrimental. We present SkillDuet, a framework that coordinates parameter updates and skill evolution through model response feedback. Skills extracted from on-policy trajectories guide parameter updates through OPD at every step. A response-based score, Strength, ranks candidate skills by the magnitude of the shift they induce in the current model's responses, and the highest-scoring skills are periodically consolidated into a persistent global skill set (Global). The updated model and Global jointly guide subsequent interactions, generating experience for further parameter and skill updates. With Qwen3-4B, SkillDuet achieves success rates of 98.57% on ALFWorld and 92.97% on WebShop, exceeding the matched SEED-API baseline by 2.86 and 5.47 percentage points, respectively. Ablations show that response-based skill selection and Global consolidation improve task performance. Further experiments show that the benefits of retained skills depend on both their content and their compatibility with the model. SkillDuet provides a concrete mechanism for model-skill co-evolution and skill-level recursive self-improvement.
- Abstract(参考訳): 強化学習中、経験はLLMパラメータに内部化され、再利用可能なテキストスキルとして外部に保持される。
パラメータ更新は、モデルの振る舞いと、新しいスキルが抽出されるインタラクションエクスペリエンスを変える。
これらのスキルは、モデルのその後のインタラクションとパラメータ更新をガイドします。
モデルの能力が進化するにつれて、以前は有益だったスキルが冗長あるいは有害になる可能性がある。
本稿では,モデル応答フィードバックを通じてパラメータ更新とスキル進化を調整するフレームワークであるSkillDuetを紹介する。
オンライントラジェクトリから抽出されたスキルは、すべてのステップでPDを通じてパラメーターを更新する。
応答に基づくスコア、強度、現在のモデルの反応において、それらが引き起こすシフトの大きさの候補スキルをランク付けし、最高のスコア付けスキルを定期的に、永続的なグローバルスキルセット(Global)に統合する。
更新されたモデルとGlobalは、その後のインタラクションを共同でガイドし、さらなるパラメータとスキル更新のためのエクスペリエンスを生成する。
Qwen3-4Bで、SkillDuetはALFWorldで98.57%、WebShopで92.97%の成功率を達成した。
アブレーションは、応答に基づくスキル選択とグローバルな統合によってタスクパフォーマンスが向上することを示している。
さらなる実験により、保持スキルの利点は、その内容とモデルとの互換性の両方に依存することが示された。
SkillDuetは、モデルスキルの共進化とスキルレベルの再帰的自己改善のための具体的なメカニズムを提供する。
関連論文リスト
- How Agent Skills Evolve: A Large-Scale Empirical Study of Skills on GitHub [9.399228586178287]
大規模な言語モデルベースのエージェントは、モデルを再訓練することなくタスク固有の知識を再利用するために、ますます外部スキルに依存している。
既存の研究は主に静的な視点からエージェントスキルを調べ、その進化は現実世界のリポジトリにほとんど探索されていないままである。
エージェントスキルに関する大規模な実証研究を行い、GitHubから84,200のスキルと750,898のコミットを入手した。
論文 参考訳(メタデータ) (2026-11-03T07:46:48Z) - WikiSkill: Compiling Agent Experience into Persistent Knowledge for Skill Evolution [16.55630974027974]
我々は、永続的知識ベース(wiki)でエージェントスキルを共進化させるフレームワークであるWikiSkillを紹介する。
WikiSkillは最先端のスキル進化手法より一貫して優れています。
また、進化したスキルはモデルやモデルファミリー間で効果的に伝達され、他のモデルによって進化したスキルは、自己進化したスキルより優れていることもわかりました。
論文 参考訳(メタデータ) (2026-08-27T17:59:11Z) - SkillForge: Evolving Verifiable Skills for Reinforcement Learning Agents [17.565432600589414]
大規模言語モデル(LLM)エージェントは、複雑な意思決定タスクのために強化学習(RL)を用いて訓練される。
SkillRLのような最近のスキルベースのアプローチは、生の軌跡からスキルを抽出することでこの問題に対処しようとしている。
SkillForgeは、環境相互作用を通じてスキルの検証と洗練を可能にする継続的スキル進化のためのフレームワークである。
論文 参考訳(メタデータ) (2026-08-25T15:52:10Z) - SkillCommit: Evolving Agent Skills through Behaviorally Validated Scope Expansion [15.498568310060229]
我々は、経験を再利用可能なスキルの階層的なライブラリに変換するオンラインスキル進化フレームワークであるSkillCommitを提案する。
関連スキルが蓄積されるにつれて、SkillCommitは共通の行動メカニズムを共有するスキルをハイレベルなスキルに抽象化する。
RuleArena、OpenExempt、KOR-Benchの実験では、SkillCommitはさまざまなドメインにわたるエージェントパフォーマンスを一貫して改善している。
論文 参考訳(メタデータ) (2026-08-15T11:03:07Z) - Skill is Not One-Size-Fits-All: Model-Aware Skill Alignment for LLM Agents [9.144810798419975]
LLMエージェントは、長期の対話的タスクのパフォーマンスを向上させるために、意思決定時に取得した外部キュレートされたスキル・プロデューラルな指示を徐々に取り出す。
エージェントの重みを変更することなく、各ターゲットのバックボーンにスキルを適応させるフレームワークであるMASA Model-Aware Skill Alignmentを提案する。
MASAは、最強のベースラインで最大25.8ポイントを獲得して、常に最高の総合成績を収めている。
論文 参考訳(メタデータ) (2026-05-29T01:34:42Z) - Skill-R1: Agent Skill Evolution via Reinforcement Learning [84.35984979949502]
Skill-R1は、検証可能な報酬からインスタンスレベルの繰り返しスキル最適化のための強化学習フレームワークである。
オープンソースモデルとクローズドソースモデルの両方とのブラックボックス互換性を維持しつつ、モデルレベルの更新よりも大幅に安価に適応できる。
論文 参考訳(メタデータ) (2026-05-10T06:19:15Z) - SkillOS: Learning Skill Curation for Self-Evolving Agents [67.94374107466957]
本稿では,自己進化エージェントのスキルキュレーションを学習するための,経験駆動型RLトレーニングレシピであるSkillOSを提案する。
SkillOSは、凍結したエージェントエグゼキュータとトレーニング可能なスキルキュレーターを組み合わせて、蓄積したエクスペリエンスから外部SkillRepoを更新する。
SkillOSは、メモリフリーと強力なメモリベースラインを、有効性と効率の両方で一貫して上回っていることを示す。
論文 参考訳(メタデータ) (2026-05-07T17:31:50Z) - From Context to Skills: Can Language Models Learn from Context Skillfully? [56.5857437218136]
Ctx2Skillは、コンテキスト固有のスキルを自律的に発見、洗練、選択する自己進化フレームワークである。
より良い文脈学習能力を得るために、どんな言語モデルにもプラグインできる。
論文 参考訳(メタデータ) (2026-04-30T09:53:15Z) - SKILL0: In-Context Agentic Reinforcement Learning for Skill Internalization [61.37478254738943]
推論時のスキル向上は基本的に制限されている。
SKILL0は,スキル内部化のためのコンテキスト内強化学習フレームワークである。
SKILL0は標準のRLベースラインよりも大幅に改善されている。
論文 参考訳(メタデータ) (2026-04-02T17:03:05Z) - SkillMimic: Learning Basketball Interaction Skills from Demonstrations [85.23012579911378]
我々は、エージェントがインタラクションスキルを学習する方法を根本的に変える統合データ駆動フレームワークであるSkillMimicを紹介した。
私たちの重要な洞察は、統合されたHOI模倣報酬は、HOIデータセットから多様な相互作用パターンの本質を効果的に捉えることができるということです。
評価のために,約35分間のバスケットボールスキルを含む2つのバスケットボールデータセットを収集,導入した。
論文 参考訳(メタデータ) (2024-08-12T15:19:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。