論文の概要: UniSkill: Learning Actor-Aligned Skill Proposals for an Evolving Policy
- arxiv url: http://arxiv.org/abs/2610.10164v1
- Date: Wed, 07 Oct 2026 14:41:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 21:58:22.96102
- Title: UniSkill: Learning Actor-Aligned Skill Proposals for an Evolving Policy
- Title（参考訳）: UniSkill: 進化する政策のためのアクター指向スキルの提案を学習する
- Abstract要約: 大規模な言語モデルエージェントは、以前のインタラクションから抽出された再利用可能なスキルを維持することで、タスク全体を改善することができる。
我々はUniSkillを紹介し、これは共有ポリシーを使って環境と対話し、スキルバンクの編集を提案する。
UniSkill は ALFWorld で98.4%、WebShop で84.7% を達成している。
- 参考スコア（独自算出の注目度）: 9.513897571648462
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language model agents can improve across tasks by retaining reusable skills distilled from prior interactions. Recent work jointly optimizes task execution and skill extraction, enabling the policy and skillbank to co-evolve. However, as the actor continues learning, rewarding skill proposals through their reuse in subsequent training steps may conflate skill benefits with actor improvement, while directly testing each proposed skill requires costly additional actor rollouts. In this paper, we introduce UniSkill, which uses a shared policy to interact with the environment and propose skillbank edits (Add, Update, or No Edit) from the resulting trajectories. Specifically, the actor learns from environment rewards, while contrastive action feedback guides skill proposal learning. This feedback provides an actor-alignment signal by measuring how replacing the retrieved skill with a proposed skill changes the current actor's action log-likelihood gap between previously collected successful and failed trajectories from the same task, thereby avoiding new rollouts for each proposal. Since proposal-level feedback may suppress an otherwise appropriate edit operation when the proposed skill content scores poorly, we further apply skill-edit support regularization to preserve exploration. Empirically, UniSkill achieves strong performance, reaching 98.4% success on ALFWorld and 84.7% on WebShop while maintaining stable joint training. Further ALFWorld experiments show that UniSkill remains effective when the shared policy uses a smaller backbone. Our implementation is available at https://github.com/LimOkii/UniSKill.
- Abstract（参考訳）: 大規模な言語モデルエージェントは、以前のインタラクションから抽出された再利用可能なスキルを維持することで、タスク全体を改善することができる。
最近の作業は、タスクの実行とスキル抽出を共同で最適化し、ポリシーとスキルバンクの共同開発を可能にしている。
しかし、アクターが学び続けるにつれて、その後のトレーニングステップで再利用することで、スキルの提案に報酬を与えると、アクターの改善によってスキルのメリットが説明され、提案されたスキルを直接テストするには、コストがかかるアクターロールアウトが必要になる。
本稿では、UniSkillを紹介し、環境とのインタラクションに共有ポリシーを使用し、その結果の軌跡からスキルバンク編集(Add、Update、No Edit)を提案する。
具体的には、アクターは環境報酬から学習し、対照的な行動フィードバックはスキル提案学習を導く。
このフィードバックは、検索したスキルを、提案したスキルに置き換えることによって、前回収集した成功軌道と失敗軌道との間の現在のアクターの動作ログのようなギャップが、同一タスクからどのように変化するかを測定することにより、各提案に対する新たなロールアウトを回避することにより、アクター調整信号を提供する。
提案手法は,提案手法が不十分な場合,適切な編集操作を抑えることができるため,探索の保存のために,スキル編集支援の正規化も適用する。
経験的に、UniSkillは高いパフォーマンスを達成し、ALFWorldで98.4%、WebShopで84.7%を達成し、安定したジョイントトレーニングを維持している。
さらにALFWorldの実験では、共有ポリシが小さなバックボーンを使用する場合、UniSkillが有効であることが示されている。
実装はhttps://github.com/LimOkii/UniSKill.comで公開しています。
関連論文リスト
- Stable and Efficient Real-World Online VLA Post-Training via Asynchronous Replay-Anchored Policy Improvement [60.83624556700821]
本稿では,リプレイ動作における批評家とアクターの更新の両方を基盤として,ロールアウトと学習を同時に行うフレームワークを提案する。
RAPolicyを4つのシングルタスク設定と1つのジョイント5タスク設定で実世界で評価し,オンライントレーニングの予算は1～2時間に過ぎなかった。
論文 参考訳（メタデータ） (2026-09-19T08:45:18Z) - SkillAlign: Aligning Skill Interfaces for LLM-based Agents [14.545296091572688]
私たちは、同じスキルが、どのように露出するかによって、助けになり、気を散らし、誤解を招く可能性があると論じます。
本稿では,多視点プロシージャカードとして候補スキルを表すプロバイダに依存しないフレームワークであるSkillAlignを提案する。
以上の結果から,スキル強化エージェントは,どのスキルを使用するかだけでなく,それらのスキルの提示方法も最適化すべきであることが示唆された。
論文 参考訳（メタデータ） (2026-09-07T09:11:03Z) - AUSO: Action-Level Unified Skill Optimization from Internalization to Utilization [23.057686255420546]
AUSOは、プログレッシブでアクション対応の最適化プロセスを通じて、スキル学習とスキル利用を実現する。
AUSOはトレーニングの開始時に、教師の指導と環境結果から共同で学習する。
政策が成熟するにつれて、AUSOはスキル条件とスキルフリーの両方の状況下で各サンプルアクションを評価する。
論文 参考訳（メタデータ） (2026-08-21T16:53:27Z) - Skill Self-Play: Pushing the Frontier of LLM Capability with Co-Evolving Skills [53.15216425100295]
本稿では,提案者,解決者,スキルコントローラからなる共進化型フレームワークであるスキルセルフプレイ(スキルSP)を紹介する。
プロジェクタは動的にサンプリングされたスキルを前提とした挑戦的なタスクを生成し、ソルバは能力境界を押し上げるための候補ソリューションを探索し、スキルコントローラは実行フィードバックを収集してスキルライブラリを更新および拡張する。
このインタラクティブな共進化は、構造化された検証とオープンな調査の間のギャップを効果的に埋める。
論文 参考訳（メタデータ） (2026-07-24T17:59:22Z) - Co-Evolving Skill Generation and Policy Optimization [35.41582114275514]
既存の手法は通常、強力な言語モデルを使用してトラジェクトリを分析し、スキルを生成し、オンライントレーニング中に検索可能なスキルバンクを更新します。
プレストレージスキル検証のためのオンライン強化学習フレームワークを提案する。
論文 参考訳（メタデータ） (2026-06-07T17:55:55Z) - SKILLC: Learning Autonomous Skill Internalization in LLM Agents via Contrastive Credit Assignment [4.336665585098371]
本稿では,このコントラストを内部化のための直接学習信号に変換するContrastive Skill Credit Assignment (CSCA) に基づくフレームワークであるSkillCを提案する。
textscSkillCは、同じポリシー更新内でアクティブなスキルタイプからのタスクに対して、ペア化されたスキル注入とスキルフリーのロールアウトをサンプリングする。
スムーズな検証レベル信号は、帰属強度、ロールアウトアロケーション、単調なアクティブセットプルーニングよりも適応的なカリキュラムを駆動する。
論文 参考訳（メタデータ） (2026-05-27T03:21:19Z) - SkillOS: Learning Skill Curation for Self-Evolving Agents [67.94374107466957]
本稿では,自己進化エージェントのスキルキュレーションを学習するための,経験駆動型RLトレーニングレシピであるSkillOSを提案する。
SkillOSは、凍結したエージェントエグゼキュータとトレーニング可能なスキルキュレーターを組み合わせて、蓄積したエクスペリエンスから外部SkillRepoを更新する。
SkillOSは、メモリフリーと強力なメモリベースラインを、有効性と効率の両方で一貫して上回っていることを示す。
論文 参考訳（メタデータ） (2026-05-07T17:31:50Z) - Skill1: Unified Evolution of Skill-Augmented Agents via Reinforcement Learning [32.51284576274437]
永続的なスキルライブラリにより、言語モデルエージェントはタスク間で成功した戦略を再利用できる。
既存の手法は、これらの機能を分離または別々の報酬源で最適化し、部分的かつ矛盾する進化をもたらす。
Skill1は,共有タスクアウトカム目標に向けて,スキル選択,利用,蒸留を共同開発するための単一の政策を訓練するフレームワークである。
論文 参考訳（メタデータ） (2026-05-07T12:33:30Z) - Skill-Based Reinforcement Learning with Intrinsic Reward Matching [77.34726150561087]
Intrinsic Reward Matching (IRM) を提案する。
IRMにより、従来のスキル選択方法よりもはるかに効果的に事前訓練されたスキルを活用できる。
論文 参考訳（メタデータ） (2022-10-14T00:04:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。