論文の概要: UCOB: Learning to Utilize and Evolve Agentic Skills via Credit-Aware On-Policy Bidirectional Self-Distillation
- arxiv url: http://arxiv.org/abs/2606.29502v1
- Date: Sun, 28 Jun 2026 17:02:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:15.944213
- Title: UCOB: Learning to Utilize and Evolve Agentic Skills via Credit-Aware On-Policy Bidirectional Self-Distillation
- Title（参考訳）: UCOB: クレジット・アウェア・オン・ポリシィ双方向自己蒸留によるエージェントスキルの活用と活用の学習
- Abstract要約: UCOBは、クレジット・アウェア・オン・ポリティクスの双方向自己蒸留によるエージェントスキルの活用と進化を学習するためのフレームワークである。
UCOBは、スキル条件付きプロンプトと非スキルプロンプトを、同じモデルの2つのオンラインコンテキストビューとして扱う。
便利なスキル条件の動作を内部化し、誤解を招くスキルの使用を訂正し、タスク/状態スキルのメモリ更新をガイドする。
- 参考スコア（独自算出の注目度）: 34.96538778716135
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Skill memories can improve agentic reinforcement learning by reusing past experience as textual guidance, but retrieved skills are not oracular: they may help in one state while misleading the same policy in another. This makes the common privileged-teacher assumption fragile, namely that a skill-conditioned prompt can be treated as a fixed teacher for the no-skill prompt. We introduce UCOB, a framework for learning to utilize and evolve agentic skills via credit-aware on-policy bidirectional self-distillation. UCOB treats skill-conditioned and no-skill prompts as two on-policy context views of the same model, compares their return-to-go within the same task and anchor state, and uses the higher-return view as the local teacher. This local credit signal internalizes useful skill-conditioned behavior, corrects misleading skill usage, and guides task/state skill memory updates, utility-aware retrieval, and reflection self-training. Experiments on agentic tasks, including ALFWorld, WebShop, and Search-QA, show that UCOB outperforms skill-free RL, skill-memory baselines, and self-distillation methods across model scales, with up to 23.5 and 18.0 point gains over SOTA baselines on ALFWorld and WebShop. Ablations and analyses further validate its core mechanisms and efficiency.
- Abstract（参考訳）: スキル記憶は、過去の経験をテキスト指導として再利用することで、エージェント強化学習を改善することができるが、回収されたスキルは、ある状態において有効であり、別の状態において同じ方針を誤解させる可能性がある。
これにより、一般的な特権教師の仮定は脆弱になり、スキル条件のプロンプトは、非スキルプロンプトの固定教師として扱うことができる。
UCOBは、クレジット・アウェア・オン・ポリティクスの双方向自己蒸留によるエージェントスキルの活用と進化を学習するためのフレームワークである。
UCOBは、スキル条件付きプロンプトと非スキルプロンプトを、同じモデルの2つのオン・ポリシー・コンテキストビューとして扱い、同じタスクとアンカー状態内でのリターン・トゥ・ゴーを比較し、地元の教師として高いリターン・ビューを使用する。
このローカルクレジット信号は、有用なスキル条件付き動作を内部化し、ミスリードスキルの使用を補正し、タスク/状態スキルのメモリ更新、ユーティリティ認識検索、リフレクション自己学習をガイドする。
ALFWorld、WebShop、Search-QAなどのエージェントタスクの実験では、UCOBはスキルのないRL、スキルメモリベースライン、モデルスケールでの自己蒸留メソッドよりも優れており、ALFWorldとWebShopのSOTAベースラインよりも最大23.5および18.0ポイント向上している。
アブレーションと分析は、そのコアメカニズムと効率をさらに検証する。
関連論文リスト
- SkillForge: Evolving Verifiable Skills for Reinforcement Learning Agents [17.565432600589414]
大規模言語モデル(LLM)エージェントは、複雑な意思決定タスクのために強化学習(RL)を用いて訓練される。
SkillRLのような最近のスキルベースのアプローチは、生の軌跡からスキルを抽出することでこの問題に対処しようとしている。
SkillForgeは、環境相互作用を通じてスキルの検証と洗練を可能にする継続的スキル進化のためのフレームワークである。
論文 参考訳（メタデータ） (2026-08-25T15:52:10Z) - Evo-Harness: Context-to-Harness Skill Compilation for Self-Evolving Agents [67.97365535829098]
経験から学ぶことは、有能で自己改善型の大規模言語モデル(LLM)エージェントの開発に不可欠である。
Evo-Harnessは、ノイズの多いシングルショット実行を、クロスドメインとトピックレベルの適応のための再利用可能なスキルハーネスに蒸留する。
本分析は,エボ・ハーネスの有効性を実証し,LLMエージェントがリアルタイムで効果的に学習する方法の原理的理解を提供する。
論文 参考訳（メタデータ） (2026-08-15T06:43:56Z) - Bidirectional Context Self-Distillation for Reinforcement Learning of Skill-Based LLM Agents [11.967142343676171]
自己蒸留と強化学習を組み合わせたBCSD(Bi Context Self-Distillation)を提案する。
ALFWorldとWebShopの実験では、BCSDがモデルスケール全体で最高の全体的なパフォーマンスを達成している。
論文 参考訳（メタデータ） (2026-08-10T12:53:06Z) - Skill Self-Play: Pushing the Frontier of LLM Capability with Co-Evolving Skills [53.15216425100295]
本稿では,提案者,解決者,スキルコントローラからなる共進化型フレームワークであるスキルセルフプレイ(スキルSP)を紹介する。
プロジェクタは動的にサンプリングされたスキルを前提とした挑戦的なタスクを生成し、ソルバは能力境界を押し上げるための候補ソリューションを探索し、スキルコントローラは実行フィードバックを収集してスキルライブラリを更新および拡張する。
このインタラクティブな共進化は、構造化された検証とオープンな調査の間のギャップを効果的に埋める。
論文 参考訳（メタデータ） (2026-07-24T17:59:22Z) - Skill is Not One-Size-Fits-All: Model-Aware Skill Alignment for LLM Agents [9.144810798419975]
LLMエージェントは、長期の対話的タスクのパフォーマンスを向上させるために、意思決定時に取得した外部キュレートされたスキル・プロデューラルな指示を徐々に取り出す。
エージェントの重みを変更することなく、各ターゲットのバックボーンにスキルを適応させるフレームワークであるMASA Model-Aware Skill Alignmentを提案する。
MASAは、最強のベースラインで最大25.8ポイントを獲得して、常に最高の総合成績を収めている。
論文 参考訳（メタデータ） (2026-05-29T01:34:42Z) - SkillOS: Learning Skill Curation for Self-Evolving Agents [67.94374107466957]
本稿では,自己進化エージェントのスキルキュレーションを学習するための,経験駆動型RLトレーニングレシピであるSkillOSを提案する。
SkillOSは、凍結したエージェントエグゼキュータとトレーニング可能なスキルキュレーターを組み合わせて、蓄積したエクスペリエンスから外部SkillRepoを更新する。
SkillOSは、メモリフリーと強力なメモリベースラインを、有効性と効率の両方で一貫して上回っていることを示す。
論文 参考訳（メタデータ） (2026-05-07T17:31:50Z) - From Context to Skills: Can Language Models Learn from Context Skillfully? [56.5857437218136]
Ctx2Skillは、コンテキスト固有のスキルを自律的に発見、洗練、選択する自己進化フレームワークである。
より良い文脈学習能力を得るために、どんな言語モデルにもプラグインできる。
論文 参考訳（メタデータ） (2026-04-30T09:53:15Z) - SkillX: Automatically Constructing Skill Knowledge Bases for Agents [27.56549031749266]
SkillXは、プラグアンドプレイのスキル知識ベースを構築するための、完全に自動化されたフレームワークである。
3つのシナジスティックなイノベーションに基づいて構築された、完全に自動化されたパイプラインを通じて運用される。
実験の結果、SkillKBは、より弱いベースエージェントにプラグインされた場合、タスクの成功と実行効率を一貫して改善している。
論文 参考訳（メタデータ） (2026-04-06T16:09:33Z) - SKILL0: In-Context Agentic Reinforcement Learning for Skill Internalization [61.37478254738943]
推論時のスキル向上は基本的に制限されている。
SKILL0は,スキル内部化のためのコンテキスト内強化学習フレームワークである。
SKILL0は標準のRLベースラインよりも大幅に改善されている。
論文 参考訳（メタデータ） (2026-04-02T17:03:05Z) - Dynamic Dual-Granularity Skill Bank for Agentic RL [34.161117844675324]
D2Skillはエージェント強化学習のための動的二重粒度スキルバンクである。
再利用可能な経験をタスクスキルに整理し、高いレベルのガイダンスとステップスキルを使って、きめ細かい意思決定支援とエラー修正を行う。
論文 参考訳（メタデータ） (2026-03-30T17:32:11Z) - PolySkill: Learning Generalizable Skills Through Polymorphic Abstraction [20.687269802717893]
新しいフレームワークであるPolySkillを導入し、エージェントが一般化可能な構成スキルを学習できるようにする。
実験の結果,本手法はWebサイトにおけるスキルの再利用を1.7倍に改善することがわかった。
エージェントが自身の目標を特定して洗練させることで、PolySkillはエージェントのより良いカリキュラムを学ぶ能力を高める。
論文 参考訳（メタデータ） (2025-10-17T17:56:00Z) - Choreographer: Learning and Adapting Skills in Imagination [60.09911483010824]
我々は、その世界モデルを利用して想像力のスキルを学び、適応するモデルベースのエージェントであるChoreographerを紹介する。
提案手法は探索とスキル学習のプロセスを切り離し,モデルの潜在状態空間におけるスキルの発見を可能にする。
Choreographerはオフラインデータからスキルを学ぶことができ、探索ポリシーと同時にデータを集めることができる。
論文 参考訳（メタデータ） (2022-11-23T23:31:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。