論文の概要: Agent Skills Can Be Harmful: An Empirical Study of Skill-Induced Failures in LLM Agents
- arxiv url: http://arxiv.org/abs/2608.11888v1
- Date: Wed, 12 Aug 2026 10:15:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-13 19:07:54.553065
- Title: Agent Skills Can Be Harmful: An Empirical Study of Skill-Induced Failures in LLM Agents
- Title（参考訳）: エージェントスキルは有害である: LLMエージェントにおけるスキル誘発障害の実証的研究
- Abstract要約: 本稿では,タスクの失敗とコストの低下を特定の負荷スキルにもたらすことによって,スキルが引き起こすエージェントの失敗を包括的に分析する。
我々はSkillsBenchとSWE-Skills-Benchでこのフレームワークをインスタンス化し、125の機能障害と182の効率低下を含む307のスキル誘発障害を発生させる。
安全で低コストなスキル再利用のための研究トピックとツールの改善を提案する。
- 参考スコア（独自算出の注目度）: 9.71657681051469
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Agent skills are the de facto mechanism for extending LLM agents with reusable guidance. A skill can shape the agent's task execution, including planning, tool use, problem-solving, and validation. Prior work reported mixed results of agent skills: some skills improve task success rates, while others have no effect, increase token use and execution time, and even reduce success rates. This paper presents a comprehensive analysis of skill-induced agent failures by attributing task failures and cost regressions to specific loaded skills. We introduce a differential analysis framework that attributes a failure or regression to a skill by comparing a target skill-guided run against a no-skill or semantically matched skill reference run that solves the same task, or solves it more cheaply. We instantiate this framework on SkillsBench and SWE-Skills-Bench, yielding 307 skill-induced failures, including 125 functional failures and 182 efficiency regressions. We also build SkillTriage, a taxonomy-guided attribution tool that normalizes paired cases, extracts differential evidence, and produces triage reports. Our major findings include: (1) Skill induced functional failures are rarely caused by obviously irrelevant skills; instead, seemingly relevant skills often make the agent incorrectly implement or omit task-required implementation elements. (2) Skill-induced efficiency regressions are not explained by prompt length alone. (3) The largest sources within Excessive Procedure are excessive verification and heavy implementation pipelines, contributing 67 and 30 cases, respectively. This shows that skills often turn validation checklists and construction recipes into mandatory work. Based on our findings, we propose research topics and tooling improvements for safer and more cost-aware skill reuse.
- Abstract（参考訳）: エージェントスキルは、再利用可能なガイダンスでLLMエージェントを拡張するための事実上のメカニズムである。
スキルは、計画、ツールの使用、問題解決、バリデーションを含む、エージェントのタスク実行を形作ることができる。
あるスキルはタスクの成功率を改善するが、他のスキルは効果がなく、トークンの使用量や実行時間も増加し、成功率も低下する。
本稿では,タスクの失敗とコストの低下を特定の負荷スキルにもたらすことによって,スキルが引き起こすエージェントの失敗を包括的に分析する。
そこで本研究では,目標とするスキル誘導ランと,同じタスクを解いたり,より安価に解決したりするスキル参照ランとを比較して,障害や回帰をスキルに属性付ける差分解析フレームワークを提案する。
我々はSkillsBenchとSWE-Skills-Benchでこのフレームワークをインスタンス化し、125の機能障害と182の効率低下を含む307のスキル誘発障害を発生させる。
SkillTriageも開発しています。これは分類誘導属性ツールで、ペアのケースを正規化し、異なるエビデンスを抽出し、トリアージレポートを生成します。
1) スキル誘導機能障害は, 明らかに無関係なスキルによって生じることは稀であり, その代わりに, エージェントが誤ってタスク要求の実装要素を実装したり省略したりすることが多い。
2) スキルが引き起こす効率の回帰は, 即時長だけでは説明できない。
3)エクサシブ・プロシージャにおける最大のソースは過剰な検証と過剰な実装パイプラインであり,67例と30例にそれぞれ寄与している。
これは、バリデーションチェックリストや建設レシピを必須の作業に変換するスキルがしばしばあることを示している。
そこで本研究では,より安全で低コストなスキル再利用のための研究トピックとツールの改善を提案する。
関連論文リスト
- When Not to Imitate: Boundary-Aware Skill Memory for Reliable Tool-Use LLM Agents [62.10623192614306]
過去の成功からスキルを抽出することは、Large Language Model (LLM)エージェントの効率的な進化に不可欠である。
textbfBoundary-Aware Skill Memory (BASM)を提案する。
BASMは、成功度の高いスキルメモリベースラインを一貫して上回る。
論文 参考訳（メタデータ） (2026-08-23T10:16:06Z) - Demystifying Agent Skills: Why They Work-Until They Don't [58.92875630998418]
既存の評価は、スキルが集約されたタスクの成功を改善するかどうかを主に測定する。
我々は、表現、結果アノテーション、検索難易度、スキルのクロスフレームワークの影響を分離する。
我々はこれらの観察を3つの高レベルカテゴリと12のスキルユースモードの分類に集約する。
論文 参考訳（メタデータ） (2026-08-14T07:26:38Z) - Skill-Use: Can LLMs Actually Use Skills in Agentic Harnesses? [38.776828282073865]
プログレッシブな開示下でのスキル使用を評価するベンチマークであるSkill-Useを紹介する。
トリガーは、エージェントが関連するスキルを起動するかどうかを計測し、コンプライアンスは、それが所定の手順に従うかを忠実に測定し、バウンダリは、それが禁止された操作を避けるかどうかを計測する。
スキル・ユース(SU)スコアは、スキルが起動された後にのみ3つとクレジットの実行を組み合わせる。
論文 参考訳（メタデータ） (2026-08-05T13:29:16Z) - The Regression Tax: Decomposing Why Skills Help and Hurt LLM Agents [0.12891210250935145]
LLMエージェントに手続き的スキルを加えることは、通常、タスク成功の平均的な改善によって評価される。
この指標は重要なコストを隠蔽します。
約6,000回のランでエージェントとスキルと非スキルを比較して、双方を計測する。
論文 参考訳（メタデータ） (2026-07-24T17:50:03Z) - SkillAudit: Ground-Truth-Free Skill Evolution via Paired Trajectory Auditing [81.51044612408793]
SkillAuditは、地味なフィードバックなしにエージェントスキルを進化させるフレームワークである。
行動の違いを編集指導に変換するために、SkillAuditはProcess-Aligned Contrastive Evaluationを使用する。
Refineはノイズや無関係なガイダンスを広く有用なスキルから取り除き、修復はタスクと競合するパスを置き換える。
論文 参考訳（メタデータ） (2026-06-12T08:20:09Z) - SkillJuror: Measuring How Agent Skill Organization Changes Runtime Behavior [23.11308948097101]
現在のベンチマークでは、スキルがどのように組織化されているのかを区別することは滅多にありません。
我々は、この区別をプログレッシブ・開示(Progressive Disclosure)を通じて研究し、簡潔なルートファイルが要求に応じてリソースを支援するためにエージェントを指示する。
本稿では,スキル記述パラダイムを評価するフレームワークであるSkillJurorを紹介する。
論文 参考訳（メタデータ） (2026-06-10T01:11:50Z) - What Should a Skill Remember? Quality--Cost Trade-offs in Cost-Aware Skill Rewriting for Language Model Agents [58.87681796862133]
我々は経済的なレンズを通してスキルの書き直しを勉強する。
我々のフレームワークは、情報保存戦略を用いて、スキル構造をプロファイルし、スキルを書き換える。
SkillsBenchの実験は、戦略間の異なる品質とコストのトレードオフを明らかにしている。
論文 参考訳（メタデータ） (2026-06-08T12:36:51Z) - SkillComposer: Learning to Evolve Agent Skills for Specification and Generalization [99.18305770138677]
エージェントスキルは、エージェントの推論とアクションをガイドする再利用可能な戦略である。
現在の技術構築手法は、問題を一発抽出として扱う。
本稿では,スキル構築を3つの学習可能な操作に分解するフレームワークであるSkillComposerを紹介する。
論文 参考訳（メタデータ） (2026-06-04T12:16:08Z) - SkillRevise: Improving LLM-Authored Agent Skills via Trace-Conditioned Skill Revision [41.562357872885826]
SkillReviseはエージェントスキルを反復的に洗練するために設計された実行基盤フレームワークである。
SkillReviseは、実行エビデンスからスキル欠陥を診断し、一般的なメモリから関連する修復原則を検索し、実行順に編集を適用する。
単発ベースラインを大幅に上回り、SkillsBenchにおけるベースエージェントの成功率は36.05%から61.63%に向上した。
論文 参考訳（メタデータ） (2026-05-31T10:19:13Z) - SkillGen: Verified Inference-Time Agent Skill Synthesis [60.927977774369516]
SkillGenは、ベースエージェントによって生成されたトラジェクトリから単一の監査可能なスキルを合成するフレームワークである。
再利用可能な成功パターン、繰り返し発生する障害モード、そして近くの成功に現れるが失敗に欠ける行動を特定する。
SkillGenの重要な特徴は、エージェントスキルを、全体的なパフォーマンスに対するスキルのネット効果を実証的に検証するための介入としてモデル化することです。
論文 参考訳（メタデータ） (2026-05-09T19:24:11Z) - SkillOS: Learning Skill Curation for Self-Evolving Agents [67.94374107466957]
本稿では,自己進化エージェントのスキルキュレーションを学習するための,経験駆動型RLトレーニングレシピであるSkillOSを提案する。
SkillOSは、凍結したエージェントエグゼキュータとトレーニング可能なスキルキュレーターを組み合わせて、蓄積したエクスペリエンスから外部SkillRepoを更新する。
SkillOSは、メモリフリーと強力なメモリベースラインを、有効性と効率の両方で一貫して上回っていることを示す。
論文 参考訳（メタデータ） (2026-05-07T17:31:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。