論文の概要: When Skills Don't Help: A Negative Result on Procedural Knowledge for Tool-Grounded Agents in Offensive Cybersecurity
- arxiv url: http://arxiv.org/abs/2605.20023v2
- Date: Sun, 24 May 2026 20:30:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-26 16:32:37.762763
- Title: When Skills Don't Help: A Negative Result on Procedural Knowledge for Tool-Grounded Agents in Offensive Cybersecurity
- Title（参考訳）: スキルが役に立たないとき: 攻撃的サイバーセキュリティにおけるツールを取り巻くエージェントの手続き的知識に関する否定的な結果
- Authors: Samuel Jacob Chacko, James Hugglestone, Chashi Mahiul Islam, Xiuwen Liu,
- Abstract要約: スキルは、推論時にエージェントにロードされた手続き的知識の構造化パッケージである。
様々な領域で平均16.2%の割合でタスクパス率を改善することが広く報告されている。
しかし、同じベンチマークでは、スキルの導入時に負のデルタに苦しむ84のタスクのうち16が広範囲に分散している。
- 参考スコア（独自算出の注目度）: 1.3591163361204688
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Agent Skills, structured packages of procedural knowledge loaded into an LLM agent at inference time, are widely reported to improve task pass rates by an average of 16.2~percentage points across diverse domains. Yet the same benchmarks show wide variance, with 16 of 84 tasks suffering negative deltas when Skills are introduced. The community has not yet articulated a clean mechanism for \emph{when} Skills help and when they are merely redundant overhead. We re-analyze a recently published 180-run controlled study of an MCP-grounded autonomous Capture-the-Flag (CTF) agent under four documentation conditions of increasing richness (591, 12865, 17253, and 36001 tokens) and show that these conditions correspond almost exactly to a No-Skills, Experiential-Skills, Curated-Skills, and Comprehensive-Skills ablation. In offensive cybersecurity, a domain not deeply covered by existing Skills benchmarks, the marginal benefit of Skills collapses. The spread between the no-Skills and full-Skills conditions is only 8.9~pp ($p = 0.71$, $χ^2$; $p = 0.25$, Cochran--Armitage trend test; five of six pairwise Cohen's $h$ values fall below the $0.2$ small-effect threshold). We argue that the missing variable is \emph{environment-feedback bandwidth}. When an agent's tool layer returns strict, schema-validated, low-latency observations, the environment itself supplies the procedural correction signal that Skills are normally needed to provide. As a result, the marginal benefit of curated Skills diminishes substantially, and, in some cases (e.g., our timing side-channel setting), actively degrades performance. We articulate a falsifiable hypothesis, sketch its design implications for compound AI systems, and will release the reanalysis pipeline to support replication.
- Abstract（参考訳）: エージェントスキル(Agen Skills)は、LLMエージェントに推論時にロードされる手続き的知識の構造化パッケージであり、様々なドメインで平均16.2〜1%のタスクパス率を改善するために広く報告されている。
しかし、同じベンチマークでは、スキルの導入時に負のデルタに苦しむ84のタスクのうち16が広範囲に分散している。
コミュニティはまだ,‘emph{when} Skills’のクリーンなメカニズムを明確化していない。
我々は最近、リッチネス(591, 12865, 17253, 36001トークン)の4つのドキュメンテーション条件下で、MPPを基盤とした自律的キャプチャー・ザ・フラッグ(CTF)エージェントの180ラン制御研究を再解析し、これらの条件が、ほぼ正確にはNo-Skills、Experiential-Skills、Curated-Skills、Comprehensive-Skillsのアブレーションに対応することを示す。
攻撃的なサイバーセキュリティにおいて、既存のSkillsベンチマークで深くカバーされていないドメインは、Skillsの限界的な利益が崩壊する。
ノスキル条件とフルスキル条件の間の拡散は、わずか8.9~pp(p = 0.71$, $ ^2$; $p = 0.25$, Cochran-Armitageトレンドテスト; 6対のコーエンの$h$の値のうち、0.2$以下の値である)である。
欠けている変数は \emph{environment-feedback bandwidth} である。
エージェントのツール層が厳密でスキーマ検証された低レイテンシな観測を返すと、環境自体が通常、Skillsが提供する必要がある手続き的訂正信号を提供する。
その結果、キュレートされたスキルの限界的な利点は著しく低下し、いくつかのケース(例えば、タイミング側チャンネルの設定)では、積極的に性能が低下する。
フェール可能な仮説を具体化し、複雑なAIシステムに対する設計上の意味をスケッチし、レプリケーションをサポートするために再分析パイプラインをリリースする。
関連論文リスト
- The Capability Paradox: How Smarter Auditors Make Multi-Agent Systems Less Secure [11.822284421559814]
これは、有害な要求がドメイン固有の物語の中に隠され、Workerレポートを通じてマネージャに伝達される攻撃である。
労働者の能力が増加するにつれて、平均的なシステムレベルの攻撃成功率(ASR)は18.4%から63.9%に増加し、94.4%がピークである。
非対称なドメイン能力とWorkersのペアを組み合わさった異種アンサンブル検証を提案する。
論文 参考訳（メタデータ） (2026-05-17T14:42:44Z) - Proteus: A Self-Evolving Red Team for Agent Skill Ecosystems [0.0]
エージェントスキルは実行可能な振る舞いとコンテキスト設定ドキュメンテーションの両方を公開する。
現実的な攻撃者は、監査と実行時のフィードバックを使って、繰り返しスキルを書き直すことができる。
Proteusは形式化された5軸スキルアタックスペースを検索する。
論文 参考訳（メタデータ） (2026-05-12T10:05:54Z) - CADMAS-CTX: Contextual Capability Calibration for Multi-Agent Delegation [0.0]
CADMAS-CTXはコンテキストキャリブレーションのためのフレームワークである。
階層的なコンテキスト能力プロファイルは、静的なスキルレベルの信頼性をコンテキスト条件の後方に置き換える。
GAIAとSWE-benchベンチマークを用いて,本手法の有効性を実証的に検証した。
論文 参考訳（メタデータ） (2026-04-20T08:30:28Z) - Tight Convergence Rates for Online Distributed Linear Estimation with Adversarial Measurements [66.94250413799232]
分散パラメータ-サーバ-ワーカー設定における乱数ベクトル$X$の推定について検討する。
主な課題は、敵の計測と非同期である。
その結果, 分散線形推定におけるロバスト性, 識別性, 統計的効率の統一的有限時間評価が得られた。
論文 参考訳（メタデータ） (2026-04-07T11:45:55Z) - Measuring and Exploiting Confirmation Bias in LLM-Assisted Security Code Review [6.417595678110472]
ソフトウェアサプライチェーン攻撃において,確認バイアスがLSMベースの脆弱性検出に影響を及ぼすか,また,この障害モードを悪用できるかを検討する。
調査1では,5つのフレーミング条件下で4つの最先端モデルに対して評価された250個のCVE脆弱性/パッチペアに対する制御実験により,確認バイアスを定量化する。
調査2は、既知の脆弱性を再導入する敵のプルリクエストを模倣して、セキュリティの改善やプルリクエストメタデータによる緊急機能修正を実施可能であることを評価する。
論文 参考訳（メタデータ） (2026-03-19T10:40:27Z) - SkillsBench: Benchmarking How Well Agent Skills Work Across Diverse Tasks [61.89812116484928]
エージェントスキルは、LLMエージェントを推論時に増強する手続き的知識の構造化パッケージである。
SkillsBenchは、11のドメインにわたる86のタスクのベンチマークであり、キュレートされたスキルと決定論的検証との組み合わせを示す。
キュレートされたスキルは平均パスレートを16.2ポイント(pp)上昇させるが、効果は領域によって大きく異なる。
自己生成スキルは平均的に何の利益も与えず、モデルが消費から得られる手続き的な知識を確実に説明できないことを示している。
論文 参考訳（メタデータ） (2026-02-13T07:06:06Z) - SABER: Small Actions, Big Errors -- Safeguarding Mutating Steps in LLM Agents [52.20768003832476]
我々は$$-Bench (Airline/Retail) および SWE-Bench Verified 上での実行トレースを分析する。
成功を失敗に戻すための、先進的な逸脱、最初期の行動、レベル分岐を形式化する。
モデルに依存しない,勾配のない,テスト時のセーフガードである cm を導入します。
論文 参考訳（メタデータ） (2025-11-26T01:28:22Z) - Impatient Users Confuse AI Agents: High-fidelity Simulations of Human Traits for Testing Agents [58.00130492861884]
TraitBasisは、AIエージェントを体系的にストレステストするための軽量でモデルに依存しない方法である。
TraitBasisは、ステアブルなユーザ特性に対応するアクティベーション空間で方向を学習する。
We observed on average a 2%-30% performance degradation on $tau$-Trait across frontier model。
論文 参考訳（メタデータ） (2025-10-06T05:03:57Z) - On the Resilience of LLM-Based Multi-Agent Collaboration with Faulty Agents [58.79302663733703]
大規模言語モデルに基づくマルチエージェントシステムは、専門家エージェントの協力により、様々なタスクにまたがる優れた能力を示している。
不器用なエージェントや悪意のあるエージェントが与える影響 - システム全体のパフォーマンスにおいて、頻繁にタスクでエラーを犯すものは、いまだに過小評価されていない。
本稿では,下流タスクにおける障害要因下での各種システム構造のレジリエンスについて検討する。
論文 参考訳（メタデータ） (2024-08-02T03:25:20Z) - Dissecting Adversarial Robustness of Multimodal LM Agents [70.2077308846307]
我々は、VisualWebArena上に現実的な脅威モデルを用いて、200の敵タスクと評価スクリプトを手動で作成する。
我々は,クロボックスフロンティアLMを用いた最新のエージェントを,リフレクションやツリーサーチを行うエージェントを含む,壊すことに成功している。
AREを使用して、新しいコンポーネントの追加に伴うロバスト性の変化を厳格に評価しています。
論文 参考訳（メタデータ） (2024-06-18T17:32:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。