論文の概要: Demystifying Agent Skills: Why They Work-Until They Don't
- arxiv url: http://arxiv.org/abs/2608.14036v1
- Date: Fri, 14 Aug 2026 07:26:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-17 20:14:29.306956
- Title: Demystifying Agent Skills: Why They Work-Until They Don't
- Title（参考訳）: Demystifying Agent Skills:なぜ効かないのか?
- Abstract要約: 既存の評価は、スキルが集約されたタスクの成功を改善するかどうかを主に測定する。
我々は、表現、結果アノテーション、検索難易度、スキルのクロスフレームワークの影響を分離する。
我々はこれらの観察を3つの高レベルカテゴリと12のスキルユースモードの分類に集約する。
- 参考スコア（独自算出の注目度）: 58.92875630998418
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Skills have emerged as a practical and effective approach for enhancing LLM agents at inference time through structured packages of knowledge. However, existing evaluations largely measure whether skills improve aggregated task success, leaving a more fundamental question underexplored: \emph{\textbf{When do skills help, why do they work, and where do they fail?}} Through controlled experiments across various benchmarks, agent harnesses and LLMs, we isolate the effects of representation, outcome annotation, retrieval difficulty, and cross-framework robustness of skills. To further answer this question, we design a contrastive study that combines controlled quantitative experiments with paired trajectory analysis. We normalize 8,135 trial records from controlled experiments and retain 238 valid unique labels from 240 open-coded records. We consolidate these observations into a taxonomy of three high-level categories and twelve skill-use modes: skills work when noisy trajectories become procedural anchors that stabilize execution. Skills improve over Workflow Memory by 6.06 points in matched comparisons. Procedural anchoring accounts for 65.7\% of skill cases, versus 4.5\% for explicit knowledge injection, showing that skills stabilize action rather than inject missing facts. Retrieval is a separate bottleneck: as pools grow from 5 to 100, actual-use precision falls from 29.6\% to 3.3\%. Confusable distractors impair offline identification, yet downstream success remains stable; exact ground-truth invocation is neither sufficient nor necessary. Skills fail under brittle assumptions, incompatible contexts, or insufficient adaptation. These findings move evaluation beyond aggregate success rates and guide reliable self-evolving agents.
- Abstract（参考訳）: 知識の構造化パッケージを通して,LLMエージェントを推論時に拡張するための実用的で効果的な手法として,スキルが登場した。
しかし、既存の評価は、スキルが集約されたタスクの成功を改善するかどうかを主に測定する。
(3) 各種ベンチマーク,エージェントハーネス,LSMの制御実験を通じて,表現,結果アノテーション,検索難易度,スキルのクロスフレームロバスト性の影響を分離した。
この疑問にさらに答えるために、制御された定量的実験とペア軌道解析を組み合わせたコントラッシブな研究を設計する。
制御された実験から8,135の試験記録を正規化し、240個のオープンコードレコードから238個の有効なユニークなラベルを保持する。
我々はこれらの観察を,3つの高度なカテゴリと12のスキル・ユース・モードの分類に集約する: ノイズの多い軌道が実行を安定させる手続き的アンカーとなるときのスキル・ワーク。
スキルは、マッチした比較でWorkflow Memoryよりも6.06ポイント向上する。
手続き的アンカーは、スキルケースの65.7%、明示的な知識注入の4.5.%を占めており、不足した事実を注入するよりも、スキルが安定していることを示している。
プールが5から100に成長するにつれて、実際の使用精度は29.6\%から3.3\%に低下する。
障害のあるイントラクタはオフラインの識別を損なうが、ダウンストリームの成功は安定している。
スキルは不安定な仮定、互換性のないコンテキスト、あるいは不十分な適応の下で失敗する。
これらの結果は、総合的な成功率を超えて評価を移動し、信頼性の高い自己進化剤を誘導する。
関連論文リスト
- When Not to Imitate: Boundary-Aware Skill Memory for Reliable Tool-Use LLM Agents [62.10623192614306]
過去の成功からスキルを抽出することは、Large Language Model (LLM)エージェントの効率的な進化に不可欠である。
textbfBoundary-Aware Skill Memory (BASM)を提案する。
BASMは、成功度の高いスキルメモリベースラインを一貫して上回る。
論文 参考訳（メタデータ） (2026-08-23T10:16:06Z) - Agent Skills Can Be Harmful: An Empirical Study of Skill-Induced Failures in LLM Agents [9.71657681051469]
本稿では,タスクの失敗とコストの低下を特定の負荷スキルにもたらすことによって,スキルが引き起こすエージェントの失敗を包括的に分析する。
我々はSkillsBenchとSWE-Skills-Benchでこのフレームワークをインスタンス化し、125の機能障害と182の効率低下を含む307のスキル誘発障害を発生させる。
安全で低コストなスキル再利用のための研究トピックとツールの改善を提案する。
論文 参考訳（メタデータ） (2026-08-12T10:15:19Z) - Agent Skills Matter: Inferring Proprietary Skills from Execution Trajectories [28.506562107355652]
本稿では,エージェント動作におけるスキルシグネチャの繰り返しを利用するフレームワークであるSigLeakを紹介する。
多様な、意思決定に富んだ診断タスクを構築し、スキル対応とスキル障害のトラジェクトリとを対比し、分離されたパターンから再構築されたスキルを反復的に洗練する。
平均的なスキル障害参照よりも成功率を6.88ポイント引き上げ、総合スキルシムを達成している。
論文 参考訳（メタデータ） (2026-07-28T10:40:59Z) - The Regression Tax: Decomposing Why Skills Help and Hurt LLM Agents [0.12891210250935145]
LLMエージェントに手続き的スキルを加えることは、通常、タスク成功の平均的な改善によって評価される。
この指標は重要なコストを隠蔽します。
約6,000回のランでエージェントとスキルと非スキルを比較して、双方を計測する。
論文 参考訳（メタデータ） (2026-07-24T17:50:03Z) - Not All Skills Help: Measuring and Repairing Agent Knowledge [47.498075849595374]
ASSAYは、生成をキュレーションから分離するフレームワークである。
スキルごとの因果属性を小さな開発セットで計算する。
ライブラリをオフラインで再構築し、各テストタスクに対して負の効果でスキルを抑圧する。
論文 参考訳（メタデータ） (2026-06-13T16:37:38Z) - SkillAudit: Ground-Truth-Free Skill Evolution via Paired Trajectory Auditing [81.51044612408793]
SkillAuditは、地味なフィードバックなしにエージェントスキルを進化させるフレームワークである。
行動の違いを編集指導に変換するために、SkillAuditはProcess-Aligned Contrastive Evaluationを使用する。
Refineはノイズや無関係なガイダンスを広く有用なスキルから取り除き、修復はタスクと競合するパスを置き換える。
論文 参考訳（メタデータ） (2026-06-12T08:20:09Z) - Under the Hood of SKILL.md: Semantic Supply-chain Attacks on AI Agent Skill Registry [49.83108591873481]
SKILL.md - エージェントスキルライフサイクルの3つのステージを対象とするアタックのみを調査する。
SKILL.mdは受動的ドキュメントではなく、サードパーティのエージェントが発見し、信頼し、使用する機能を形成する運用テキストであることを示す。
論文 参考訳（メタデータ） (2026-05-12T02:11:54Z) - SkillGen: Verified Inference-Time Agent Skill Synthesis [60.927977774369516]
SkillGenは、ベースエージェントによって生成されたトラジェクトリから単一の監査可能なスキルを合成するフレームワークである。
再利用可能な成功パターン、繰り返し発生する障害モード、そして近くの成功に現れるが失敗に欠ける行動を特定する。
SkillGenの重要な特徴は、エージェントスキルを、全体的なパフォーマンスに対するスキルのネット効果を実証的に検証するための介入としてモデル化することです。
論文 参考訳（メタデータ） (2026-05-09T19:24:11Z) - SkillFlow:Benchmarking Lifelong Skill Discovery and Evolution for Autonomous Agents [33.117459452689964]
SkillFlowは、20家族にわたる166のタスクのベンチマークで、各家族内のタスク構成がドメインに依存しない実行フロー(DAEF)に従う。
エージェントはAgentic Lifelong Learningプロトコルで評価され、スキルなしで開始し、各ファミリー内でタスクをシーケンシャルに解決し、トラジェクトリおよびルーリック駆動のスキルパッチを通じてレッスンを外部化し、更新されたライブラリを前進させる。
論文 参考訳（メタデータ） (2026-04-19T07:51:46Z) - SkillsBench: Benchmarking How Well Agent Skills Work Across Diverse Tasks [61.89812116484928]
エージェントスキルは、LLMエージェントを推論時に増強する手続き的知識の構造化パッケージである。
SkillsBenchは、11のドメインにわたる86のタスクのベンチマークであり、キュレートされたスキルと決定論的検証との組み合わせを示す。
キュレートされたスキルは平均パスレートを16.2ポイント(pp)上昇させるが、効果は領域によって大きく異なる。
自己生成スキルは平均的に何の利益も与えず、モデルが消費から得られる手続き的な知識を確実に説明できないことを示している。
論文 参考訳（メタデータ） (2026-02-13T07:06:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。