論文の概要: Evolving Together, Failing Apart: The Skill-Policy Co-evolution Trap in Self-Improving Agents

• arxiv url: http://arxiv.org/abs/2610.20845v1
• Date: Wed, 14 Oct 2026 19:29:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.042058
• Title: Evolving Together, Failing Apart: The Skill-Policy Co-evolution Trap in Self-Improving Agents
• Title（参考訳）: 共に進化し、失敗する部分:自己改善剤におけるスキル・ポリティィ共進化のトラップ
• Abstract要約: スキル・ポリティクスの共進化は自己改善エージェントにとって有望なパラダイムである。 現在の評価は、彼らが訓練した最終銀行の政策を左右するものだ。 しかし、デプロイ後、ポリシーモデルの再トレーニングよりも頻繁に、スキルを書き直したり、追加したり、削除したりすることができる。
• 参考スコア（独自算出の注目度）: 95.92890289314823
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Skill-policy co-evolution, in which an agent's policy model and its skill bank improve each other during training, is a promising paradigm for self-improving agents. Current evaluations score the co-evolved policy on the final bank it trained with (the delivered bank). After deployment, however, skills may be rewritten, added or removed more frequently than the policy model is retrained, leaving the policy to operate on a drifted skill bank that neither the training objective nor existing evaluation protocols address. In this paper, we first establish, through theoretical and empirical analysis, that the fragility hidden by this blind spot is not incidental. The acceptance rule these methods share (cooperative acceptance) ties a policy's competence to the bank it co-evolved with, leaving it fragile once skills drift, regardless of the implementation; empirically, sensitivity to skill drift grows as co-evolution training proceeds. We therefore introduce the CO-evolution Drift Audit (CODA), a deployment-oriented evaluation protocol that simulates skill drift and, alongside success rate under worst-case drift, introduces two new metrics: a consistency rate under meaning-preserving edits and a resistance rate to corrupted skills. Across four co-evolution methods and five benchmarks (six settings), worst-case success is 5-13 points below the peak measured for each delivered pair, erasing 52-93% of the delivered bank's gain over the no-skill baseline. CODA thus reframes the target of co-evolution, from peak performance on the co-evolved bank to the ability to harness skills however they evolve, and provides a shared standard against which future methods can be audited.
• Abstract（参考訳）: エージェントの政策モデルとそのスキルバンクが訓練中に互いに改善するスキル・ポリティクスの共進化は、自己改善エージェントにとって有望なパラダイムである。 現在の評価は、彼らが訓練した最終銀行(納入銀行)について、共同開発した政策をスコア付けしている。 しかし、配備後、政策モデルが再訓練されるよりも、スキルの書き直し、追加、削除が頻繁に行われ、訓練対象や既存の評価プロトコルが対応していない、漂流したスキルバンクで運用する方針が残されている。 本稿では,まず理論的,実証的な分析を通じて,この盲点に隠された脆弱性は偶発的ではないことを示す。 これらの手法が共通する(協調的受容)受け入れルールは、政策の能力と、それとの共同進化した銀行との結びつきを結び付け、その実施にかかわらず、スキルドリフトが脆弱なままにしておく。 そこで我々は,CO-evolution Drift Audit(CODA)という,スキルドリフトをシミュレートするデプロイメント指向評価プロトコルを導入するとともに,最悪の場合ドリフトにおける成功率と合わせて,意味保存編集における一貫性率と,破損したスキルに対する抵抗率という2つの新しい指標を導入する。 4つの共進化法と5つのベンチマーク(6つの設定)で、最悪のケースの成功は、納品された各ペアのピーク値より5-13ポイント低く、納品された銀行のノスキルベースラインに対する利得の52-93%を消している。 したがって、CODAは、共進化の目標を、共進化銀行におけるピークパフォーマンスから、彼らが進化するスキルを活用する能力へと再編成し、将来の手法を監査できる共有標準を提供する。

関連論文リスト

• RSIPO: Recursive Self-Improving Policy Optimization for Agentic Reinforcement Learning via Skill-Policy Co-Evolution [77.88178178061172]
  本稿では、エージェントスキルとポリシーモデルをトレーニングプロセスを通じて共進化させる自己進化型エージェントRLフレームワークである、再帰的自己改善政策最適化(RSIPO)を紹介する。 Qwen2.5-7Bがベースモデルとなり、RSIPOはALFWorldで平均98.6%の成功率を記録し、それぞれ2番目に高いベースラインと標準GRPOに対して2.5%と17.4%の改善を達成した。
  論文  参考訳（メタデータ） (2026-10-11T16:54:58Z)
• SkillCycle: Co-Evolving Agent Policies and Skill Banks [19.5212965105977]
  SkillCycleはエージェントポリシーとスキルバンクを共同開発するためのフレームワークです。 SkillCycleは、固定されたスキルバンクとルータによるポリシー学習と、凍結されたポリシーによるルールリビジョンの2つのフェーズを交互に行う。 WebShopでは、3BモデルのSkillCycleは74.74%の成功率と88.37のスコアを推論時のスキル入力なしで達成している。
  論文  参考訳（メタデータ） (2026-10-07T04:33:48Z)
• Learning from Runtime Feedback through Failure-Bank Self-Evolution for Vision-Language-Action Models [29.06758511498909]
  FailBankは、ランタイムフィードバックを永続的なポリシー改善に変換するフレームワークである。 VLA-Arenaベンチマークで2つの難易度と2つのVLAバックボーンで評価した。
  論文  参考訳（メタデータ） (2026-09-30T14:23:36Z)
• Coalition-Aware Skill Reliability for Self-Evolving Agents [49.43736235959317]
  エージェントのスキルバンクに蓄積したスキルが、実際にポジティブなメカニスティックな貢献をするかどうかを検討する。 銀行レベルが上昇する連立政権の公害は、負の連立政権レベルのスキル貢献を隠蔽し、クロスドメイン・ユーティリティ・リバーサル(クロスドメイン・リヴァーサル)であり、ソース・ベネシカル・スキルが移転後の効果を逆転させることを示している。 これらの知見は, スキル蓄積時の連帯認識スキル選択と, 移行後のラベルフリースキルマスキングの2つの信頼性介入の動機となった。
  論文  参考訳（メタデータ） (2026-08-23T21:35:22Z)
• Skill Self-Play: Pushing the Frontier of LLM Capability with Co-Evolving Skills [53.15216425100295]
  本稿では,提案者,解決者,スキルコントローラからなる共進化型フレームワークであるスキルセルフプレイ(スキルSP)を紹介する。 プロジェクタは動的にサンプリングされたスキルを前提とした挑戦的なタスクを生成し、ソルバは能力境界を押し上げるための候補ソリューションを探索し、スキルコントローラは実行フィードバックを収集してスキルライブラリを更新および拡張する。 このインタラクティブな共進化は、構造化された検証とオープンな調査の間のギャップを効果的に埋める。
  論文  参考訳（メタデータ） (2026-07-24T17:59:22Z)
• VIMPO: Value-Implicit Policy Optimization for LLMs [106.88933849641272]
  GRPOのようなグループ相対的手法は、批評家の訓練を避けるが、典型的には全てのトークンに軌道レベルの利点を割り当てる。 アクター批判的手法は、より密集した学習信号を提供するが、学習価値関数を自身のトレーニング不安定性で要求する。 本稿では,KL-正規化強化学習の最適条件からポリシ実装値関数を導出する,批判のないポリシ最適化手法であるVIMPOを紹介する。
  論文  参考訳（メタデータ） (2026-06-18T09:44:12Z)
• Self-evolving LLM agents with in-distribution Optimization [60.05867547965365]
  大規模言語モデル(LLM)は最近、複雑な環境で対話的なエージェントのための強力なコントローラとして登場した。 本稿では,自動プロセス・リワードラベリングとポリシー学習を統一するLDMエージェントの自己進化フレームワークであるQ-Evolveを提案する。 我々は,AlfWorld,WebShop,ScienceWorldの手法を評価し,Q-Evolveがサンプル効率,堅牢性,全体的なタスク性能において高いベースラインを達成していることを示す。
  論文  参考訳（メタデータ） (2026-06-05T15:09:52Z)
• Proteus: A Self-Evolving Red Team for Agent Skill Ecosystems [0.0]
  エージェントスキルは実行可能な振る舞いとコンテキスト設定ドキュメンテーションの両方を公開する。 現実的な攻撃者は、監査と実行時のフィードバックを使って、繰り返しスキルを書き直すことができる。 Proteusは形式化された5軸スキルアタックスペースを検索する。
  論文  参考訳（メタデータ） (2026-05-12T10:05:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。