論文の概要: Practice Makes Unsafe: Skill Misevolution in Self-Improving LLM Agents
- arxiv url: http://arxiv.org/abs/2608.12851v1
- Date: Thu, 13 Aug 2026 05:47:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-14 18:29:38.407778
- Title: Practice Makes Unsafe: Skill Misevolution in Self-Improving LLM Agents
- Title（参考訳）: 安全でないプラクティス:自己改善型LLMエージェントにおけるスキルのミス進化
- Abstract要約: 我々はSkillMisevo-Gymを紹介した。SkillMisevo-Gymは、エージェントフレームワーク間でスキル状態をバージョン管理するライフサイクルアウェアハーネスである。
また、安全でないコンテンツを修復し、その後の再利用を管理するラッパーであるSafeEvolveを紹介します。
- 参考スコア（独自算出の注目度）: 7.8654950055159345
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Self-improving LLM agents convert successful trajectories into persistent cross-task state. An unsafe success can thereby become reusable policy after its triggering input disappears. Skill evolution makes this failure measurable by distilling operational trajectories into executable, transferable, and inspectable procedures. Because evolution optimizes task outcomes rather than procedure safety, compromised experience can cause skill misevolution. Existing benchmarks measure current behavior or static artifacts but cannot attribute risk across authoring, retrieval, and later execution. To expose this lifecycle, we introduce SkillMisevo-Gym, a lifecycle-aware harness that versions skill state across agent frameworks, and SkillMisevo-Bench, a frozen design from malicious exposure to carryover tasks, with concept-aligned benign tasks and nine lifecycle metrics. We also introduce SafeEvolve, a wrapper that repairs unsafe content and governs subsequent reuse. Across 25 agent-method configurations, each covering 525 tasks in 25 episodes, all 21 evolved configurations author unsafe artifacts, while only fifteen lead to fresh-session harm. In the exposure sweep, three malicious tasks raise carryover ASR from 16.0% to 35.3%. Across representative skill evolution methods, SafeEvolve reduces unsafe retrieval and fresh-session harm by 26.7 and 17.3 percentage points, respectively, while mean benign utility changes by only 0.4 points. Together, persistent-adaptation safety must govern what updates write and what future executors reuse. Code is available at https://github.com/henrymao2004/misevolve.
- Abstract（参考訳）: 自己改善LDMエージェントは、成功した軌道を永続的なクロスタスク状態に変換する。
これにより、インプットのトリガーが消えると、安全でない成功が再利用可能なポリシーとなる。
スキルの進化により、この故障は、運用軌道を実行可能な、転送可能な、検査可能な手順に蒸留することで測定できる。
進化はプロシージャの安全性よりもタスクの成果を最適化するので、妥協した経験はスキルのミス進化を引き起こす可能性がある。
既存のベンチマークは現在の振る舞いや静的アーティファクトを測定するが、オーサリング、検索、実行後のリスクを評価できない。
このライフサイクルを公開するために、私たちはSkillMisevo-Gymを紹介します。SkillMisevo-Gymは、エージェントフレームワーク間でスキル状態をバージョン管理するライフサイクル認識ハーネスであり、悪質な露出から実行タスクへのフリーズデザインで、概念に整合した良質なタスクと9つのライフサイクルメトリクスです。
また、安全でないコンテンツを修復し、その後の再利用を管理するラッパーであるSafeEvolveを紹介します。
25のエージェント-メソッド構成で、それぞれ25エピソードで525のタスクをカバーし、21の進化した構成はすべて、安全でないアーティファクトを作者として記述する。
暴露調査では、3つの悪意あるタスクがASRを16.0%から35.3%に引き上げた。
代表的スキル進化法全体では、SafeEvolveは安全でない検索と再セッションの損失をそれぞれ26.7と17.3のパーセンテージで減らし、良質なユーティリティーの平均は0.4ポイントしか変化しない。
共に、永続的適応安全性は、更新の書き込みと将来のエグゼクタの再利用を統制しなければならない。
コードはhttps://github.com/henrymao2004/misevolve.comで公開されている。
関連論文リスト
- SafeEvolve: Harness-Policy Co-Evolution from Agent Experience for Safety Alignment [51.263370090136696]
エージェント安全アライメントのための経験駆動型フレームワークであるSafeEvolveを提案する。
我々は、完了したオン・ポリティィ・トラジェクトリから安全経験を活用して、ハーネス・ポリティ共進化の継続ループを駆動する。
Qwen3.5-4B の場合、SafeEvolve は AgentDojo の 3 倍の ASR 削減を実現し、良質なユーティリティを 59.79% から 61.86% に改善した。
論文 参考訳（メタデータ） (2026-09-02T16:19:54Z) - Defense-as-Skill: Evolving Runtime Guard Skill for Skill-Augmented Agents [30.77975669386977]
我々は、ランタイムガード自体をインストール可能で、検査可能で、編集可能なスキルとして実装する防衛パラダイムであるDefense-as-Skillを提案する。
私たちのガードであるSkillSonarは、ユーザのタスク境界に対するセンシティブなアクションをチェックし、各アクションを許容、再計画、確認決定にルーティングします。
論文 参考訳（メタデータ） (2026-09-01T16:19:31Z) - SHE: Trajectory-driven Safety Harness Evolution for LLM Agents [63.74895225415523]
既存の安全メカニズムは、ハーネスを固定されたデプロイメントアーティファクトとして扱い、新興リスクで進化する能力を制限する。
我々は、ロールアウト軌道から安全な境界を進化させるフレームワークであるSafety Harness Evolutionを提案する。
Agent-SafetyBenchの実験では、SHEはハーネスの進化を通じて安全性を効果的に向上し、静的なSafeHarnessと比較して3.1倍のASR削減を実現している。
論文 参考訳（メタデータ） (2026-08-10T17:35:08Z) - When Experience Becomes Instruction: Trajectory Poisoning in Self-Evolving Agent Skill Systems [9.77811063571131]
SES (Self-evolving skill) システムは、信頼できない経験を信頼できない指導にすることを可能にした。
本稿では,この促進プロセスに対するトラジェクティブ・ポジショニング・アタックであるPoisonedEvolutionを紹介する。
スキルヴィジブルなブラックボックス攻撃者は、目標とするスキルを検査し、有界な証拠を提供することができるが、プライベートプールや進化ロジックを観察したり、スキルバンクを編集することはできない。
論文 参考訳（メタデータ） (2026-08-06T03:32:43Z) - SkillJack: Persistent Skill Backdoors in Self-Evolving Agents [5.713807329849712]
textbfSkillJackは、自己進化エージェントの体験からスキルへのパイプラインを利用する最初の攻撃である。
ランタイムコンテキストを直接操作する代わりに、SkillJackはエージェント自身の学習プロセスをハイジャックして、悪意のある振る舞いを再利用可能なスキルレパートリーに埋め込む。
以上の結果から,新たな攻撃面としてのスキル進化と,スキルライフサイクル保護のモチベーションが示された。
論文 参考訳（メタデータ） (2026-08-04T11:51:23Z) - OpenART: Scaling Agent Red Teaming via Open-Ended Environment Evolution [71.06848799741152]
AIエージェントは、初期状態の変化が将来的な決定に影響を与える可能性のある永続的な環境で動作する。
現在の安全ベンチマークは、短い静的タスクにフォーカスするため、累積的なリスクを捕捉できないことが多い。
環境の進化を通じて、スケーラブルなエージェントレッドチームのためのオープンなアリーナであるOpenARTを紹介します。
論文 参考訳（メタデータ） (2026-08-01T13:51:55Z) - Self-Evolving Just-In-Time Memory for Proactive Embodied Safety [13.342067741014455]
既存の安全アプローチは、安全でないアクションをブロックしたり、過度に注意を喚起するために、ランタイムガードレールに依存しています。
我々は,プログレッシブ・スタンリング・ガードレールからアクティブ・ハザード対策まで,安全を具体化した自己進化型Just-In-Time Memoryフレームワークを紹介した。
論文 参考訳（メタデータ） (2026-06-26T14:26:24Z) - SkillHarm: Lifecycle-Aware Skill-Based Attacks via Automated Construction [89.03272793385054]
エージェントスキルはエージェントワークフローにおける特権的な位置を占め、サードパーティスキルを脆弱な攻撃面にする。
我々はスキルベースアタックのベンチマークであるSkillHarmを紹介した。
攻撃成功率はFPPが86.3%、SMPが69.3%である。
論文 参考訳（メタデータ） (2026-06-01T17:45:39Z) - On-Policy Self-Evolution via Failure Trajectories for Agentic Safety Alignment [54.30690671490447]
既存の安全アライメント信号は、主に応答レベルまたは政治外である。
FATEは、検証済みの失敗を専門家のデモンストレーションなしで修復管理に変換する。
FATEは攻撃成功率を33.5%、有害なコンプライアンスを82.6%削減し、外的軌道安全診断を6.5%改善する。
論文 参考訳（メタデータ） (2026-05-12T09:56:28Z) - Learning Without Losing Identity: Capability Evolution for Embodied Agents [14.412476605788482]
エンボディエージェントのための機能中心進化パラダイムを提案する。
我々はロボットが認知的アイデンティティとして永続的なエージェントを維持するべきだと主張する。
エージェントアイデンティティから機能進化を分離する統合されたフレームワークを提案する。
論文 参考訳（メタデータ） (2026-04-09T04:51:07Z) - Your Agent May Misevolve: Emergent Risks in Self-evolving LLM Agents [58.69865074060139]
エージェントの自己進化が意図しない方法で逸脱し、望ましくない結果や有害な結果に至る場合について検討する。
我々の経験から、誤進化は広範囲にわたるリスクであり、最上位のLSM上に構築されたエージェントにも影響を及ぼすことが判明した。
我々は、より安全で信頼性の高い自己進化型エージェントを構築するためのさらなる研究を促すための潜在的な緩和戦略について議論する。
論文 参考訳（メタデータ） (2025-09-30T14:55:55Z) - SafeAgentBench: A Benchmark for Safe Task Planning of Embodied LLM Agents [58.65256663334316]
我々は,対話型シミュレーション環境におけるLLMエージェントの安全性を考慮したタスク計画のための最初のベンチマークであるSafeAgentBenchを紹介する。
SafeAgentBenchは、(1)10の潜在的な危険と3つのタスクタイプをカバーするために厳格にキュレートされた750のタスクの実行可能な多種多様な高品質データセット、(2)低レベルコントローラを備えた普遍的な実施環境、9つの最先端ベースラインに対して17のハイレベルアクションでマルチエージェント実行をサポートするSafeAgentEnv、(3)実行とセマンティックの両方の観点から信頼性の高い評価方法を含む。
論文 参考訳（メタデータ） (2024-12-17T18:55:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。