論文の概要: Can Benign Skills Induce Misaligned Behavior in LLM Agents?
- arxiv url: http://arxiv.org/abs/2611.04299v1
- Date: Tue, 03 Nov 2026 04:29:17 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-04 17:42:11.073011
- Title: Can Benign Skills Induce Misaligned Behavior in LLM Agents?
- Title（参考訳）: 良性スキルはLLM剤のミスアライメント行動を引き起こすか?
- Abstract要約: 適度なスキルを加えると、エージェントは、安全要件に違反した外部アクションを実行する可能性がある。
スキル増強は、平均して10.3ポイント(pp)の良質なタスク精度を向上させるが、安全でないアクションレート(UAR)も10.3pp%向上する。
- 参考スコア（独自算出の注目度）: 33.50057841368287
- License:
- Abstract: LLM agents increasingly rely on reusable skills to plan tasks, invoke tools, recover from errors, and complete workflows without modifying model parameters. Although these skills are typically developed to enhance benign tasks, they may also make an agent more capable of executing procedures for harmful purposes. We study this risk, which we call skill-induced behavioral misalignment: adding benign skills may cause an agent to execute external actions that violate safety requirements. We first conduct a systematic study to validate the existence of this phenomenon. It compares agents with and without benign skills across five LLM backbones and three benchmarks under matched requests. On average, skill augmentation improves benign task accuracy by 10.3 percentage points (pp), but also increases unsafe action rate (UAR) by 10.3 pp. The regression also occurs with skills curated by experts. A paired trajectory analysis shows that 24 of 50 newly unsafe trajectories fail to complete the harmful objective, revealing violations that task completion alone would miss. We further disclose multiple factors and scenarios that could exacerbate this risk. (1) Evolving skills with benign feedback can amplify unsafe execution; (2) This regression is more pronounced when retrieved skills are matched to task and contain procedural guidance; (3) Distilling benign experience into reusable skills yield higher UAR compared with their source trajectories. (4) A guard that checks proposed tool actions before execution reduces violations while retaining gains on benign tasks. All these findings confirm the significance of skill-induced behavioral misalignment, and the urgent need for new mitigation solutions.
- Abstract（参考訳）: LLMエージェントは、タスクの計画、ツールの実行、エラーからの回復、モデルパラメータの変更なしにワークフローを完了するための再利用可能なスキルに依存している。
これらのスキルは、通常、良心的なタスクを強化するために開発されるが、有害な目的のために手順を実行するエージェントをより有能にすることもある。
我々は,このリスクについて検討し,そのリスクをスキルが引き起こす行動の不整合(playal behavioral misalignment)と呼ぶ: 良識を加えると,エージェントは,安全要件に違反した外部アクションを実行することになる。
我々はまず,この現象の存在を検証するための系統的研究を行う。
エージェントと5つのLCMバックボーンと3つのベンチマークをマッチしたリクエストで比較する。
スキル増強は、平均して10.3ポイント(pp)の良質なタスク精度を向上させるが、安全でないアクションレート(UAR)も10.3pp%向上する。
このレグレッションは、専門家がキュレートしたスキルによっても発生します。
ペアの軌道解析により、新しく安全でない50の軌道のうち24の軌道が有害な目標を達成できないことが示され、タスク完了単独で見逃すであろう違反が明らかになった。
我々はさらに、このリスクを悪化させる可能性のある複数の要因とシナリオを明らかにします。
1) 良性フィードバックによるスキルの発達は, 安全でない実行を増幅しうる; (2) 検索したスキルがタスクと一致し, 手続き的指導を含む場合, この回帰は, (3) 良性体験を再利用可能なスキルに拡張することで, 元の軌跡と比較して高いUARが得られる。
(4) 実行前に提案されたツールアクションをチェックするガードは、良質なタスクの利得を維持しながら違反を減らす。
これらの結果から, スキル誘発行動不整合の重要性と, 新たな緩和ソリューションの必要性が示唆された。
関連論文リスト
- SEABench: Benchmarking Endogenous Misalignment In Self-Evolving Agents [49.54988737892722]
自己進化型LDMエージェントは、ハーネスを変更することで、デプロイ後に改善する能力で有名になった。
SEABenchは、エージェントの自己進化から生じる内因性不整合を研究するためのベンチマークである。
自己進化はタスク完了率を高めるが、安全上の失敗の犠牲になることが多い。
論文 参考訳（メタデータ） (2026-09-28T16:46:25Z) - Defense-as-Skill: Evolving Runtime Guard Skill for Skill-Augmented Agents [30.77975669386977]
我々は、ランタイムガード自体をインストール可能で、検査可能で、編集可能なスキルとして実装する防衛パラダイムであるDefense-as-Skillを提案する。
私たちのガードであるSkillSonarは、ユーザのタスク境界に対するセンシティブなアクションをチェックし、各アクションを許容、再計画、確認決定にルーティングします。
論文 参考訳（メタデータ） (2026-09-01T16:19:31Z) - When Not to Imitate: Boundary-Aware Skill Memory for Reliable Tool-Use LLM Agents [62.10623192614306]
過去の成功からスキルを抽出することは、Large Language Model (LLM)エージェントの効率的な進化に不可欠である。
textbfBoundary-Aware Skill Memory (BASM)を提案する。
BASMは、成功度の高いスキルメモリベースラインを一貫して上回る。
論文 参考訳（メタデータ） (2026-08-23T10:16:06Z) - TRUSS: Towards Task-Reliable and User-Safe Automated Agent Skill Generation [13.298401993417611]
TRUSSは、機能的で安全性の高いエージェントスキルを生成するためのエビデンスガイド付きフレームワークである。
我々は,SkillGenBenchの168個のSkillInjectアーティファクト,155個のSkillSafetyBenchケース,および187個のタスクについてTRUSSを評価した。
スキル生成では、TRUSSはタスク効率を17.11%から52.94%に引き上げ、ベンチマークセキュリティ率は50.80%から100.00%に向上した。
論文 参考訳（メタデータ） (2026-08-18T09:52:57Z) - Demystifying Agent Skills: Why They Work-Until They Don't [58.92875630998418]
既存の評価は、スキルが集約されたタスクの成功を改善するかどうかを主に測定する。
我々は、表現、結果アノテーション、検索難易度、スキルのクロスフレームワークの影響を分離する。
我々はこれらの観察を3つの高レベルカテゴリと12のスキルユースモードの分類に集約する。
論文 参考訳（メタデータ） (2026-08-14T07:26:38Z) - Practice Makes Unsafe: Skill Misevolution in Self-Improving LLM Agents [7.8654950055159345]
我々はSkillMisevo-Gymを紹介した。SkillMisevo-Gymは、エージェントフレームワーク間でスキル状態をバージョン管理するライフサイクルアウェアハーネスである。
また、安全でないコンテンツを修復し、その後の再利用を管理するラッパーであるSafeEvolveを紹介します。
論文 参考訳（メタデータ） (2026-08-13T05:47:43Z) - Agent Skills Can Be Harmful: An Empirical Study of Skill-Induced Failures in LLM Agents [9.71657681051469]
本稿では,タスクの失敗とコストの低下を特定の負荷スキルにもたらすことによって,スキルが引き起こすエージェントの失敗を包括的に分析する。
我々はSkillsBenchとSWE-Skills-Benchでこのフレームワークをインスタンス化し、125の機能障害と182の効率低下を含む307のスキル誘発障害を発生させる。
安全で低コストなスキル再利用のための研究トピックとツールの改善を提案する。
論文 参考訳（メタデータ） (2026-08-12T10:15:19Z) - The Regression Tax: Decomposing Why Skills Help and Hurt LLM Agents [0.12891210250935145]
LLMエージェントに手続き的スキルを加えることは、通常、タスク成功の平均的な改善によって評価される。
この指標は重要なコストを隠蔽します。
約6,000回のランでエージェントとスキルと非スキルを比較して、双方を計測する。
論文 参考訳（メタデータ） (2026-07-24T17:50:03Z) - SkillGen: Verified Inference-Time Agent Skill Synthesis [60.927977774369516]
SkillGenは、ベースエージェントによって生成されたトラジェクトリから単一の監査可能なスキルを合成するフレームワークである。
再利用可能な成功パターン、繰り返し発生する障害モード、そして近くの成功に現れるが失敗に欠ける行動を特定する。
SkillGenの重要な特徴は、エージェントスキルを、全体的なパフォーマンスに対するスキルのネット効果を実証的に検証するための介入としてモデル化することです。
論文 参考訳（メタデータ） (2026-05-09T19:24:11Z) - Capability-Oriented Training Induced Alignment Risk [101.37328448441208]
我々は、強化学習で訓練された言語モデルが、その報酬を最大化するために欠陥を利用することを自然に学習するかどうかを考察する。
我々の実験は、モデルがこれらの脆弱性を常に活用し、タスクの正しさや安全性を犠牲にして報酬を著しく増大させる機会論的戦略を発見していることを示している。
我々の研究結果は、将来のAIの安全作業がコンテンツモデレーションを超えて、トレーニング環境の厳格な監査と確保、および報奨メカニズム自体に拡張する必要があることを示唆している。
論文 参考訳（メタデータ） (2026-02-12T16:13:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。