論文の概要: When Skills Tell Agents Not to Ask: A Large-Scale Study of Oversight Directives in Agent Skills
- arxiv url: http://arxiv.org/abs/2610.37734v1
- Date: Tue, 27 Oct 2026 13:21:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-01 01:32:09.893376
- Title: When Skills Tell Agents Not to Ask: A Large-Scale Study of Oversight Directives in Agent Skills
- Title（参考訳）: エージェントが質問しないようにするスキル:エージェントスキルにおける監督的指示の大規模研究
- Abstract要約: 本研究は, 監視下降方向の大規模研究である。
GitSkillsから133万の英語スキルを分析します。
17のスキルのうち1つは緩やかな指示を含んでいる。
- 参考スコア（独自算出の注目度）: 3.551916939320369
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Agent skills, reusable instruction packages centred on a SKILL.md file, extend AI agents on demand, and a single line in a widely copied skill reaches every agent that loads it. Some lines are oversight-loosening directives: they tell the agent to proceed without approval, to bypass checks with --no-verify, or to keep working without checking in. Although such directives can remove a checkpoint from every agent that loads them, no prior work has examined them. We present the first large-scale study of oversight-loosening directives, analyzing 1.53 million English skills from GitSkills. We split skills into units (sentences, bullets, table cells, and code lines), develop a codebook that labels oversight directives by polarity, mechanism, and scope, label 2,097 units by hand, and train a detector to scale the analysis. Our results show that about one in seventeen skills (about 88,000 skills) contains a loosening directive. These directives most often loosen oversight through permission flags, and most of them (70.1%) apply unconditionally rather than only in specific contexts such as CI. Compared with skills that have the same amount of oversight language, skills that run shell code, install packages, or use sudo have 1.7-1.8 times the odds of containing a loosening directive, an association that holds across all our robustness checks, and they do not compensate with more tightening. Loosening spreads through a few upstream skills rather than through edits by their adopters: 2.4% of the skill families that carry loosening account for half of all copies of loosening-carrying skills, and 1.1% of distinct loosening units for half of all loosening occurrences. Open-source skill scanners catch at most 46% of loosening directives, with a precision below 0.4, while the LLM behind them, prompted with our codebook instead, catches 61% at a precision of 0.71.
- Abstract（参考訳）: エージェントスキル、SKILL.mdファイルを中心とした再利用可能な命令パッケージ、オンデマンドでAIエージェントを拡張し、広くコピーされたスキルの1行は、それをロードするすべてのエージェントに到達する。
エージェントに承認なしに進むように指示したり、--no-verifyでチェックをバイパスしたり、チェックインせずに仕事を続けるように指示します。
このようなディレクティブは、それらをロードするすべてのエージェントからチェックポイントを削除することができるが、事前の作業ではチェックポイントを検査しない。
我々は,GitSkillsから133万の英語スキルを解析し,視界を損なうディレクティブの大規模研究を行った。
スキルを単位(文、弾丸、テーブルセル、コードライン)に分割し、極性、メカニズム、スコープによる監督命令をラベル付けするコードブックを開発し、手動で2,097ユニットをラベル付けし、分析をスケールするために検出器を訓練しました。
その結果,17のスキルのうち1つ(約88,000のスキル)が緩やかな指示を含んでいることがわかった。
これらのディレクティブはパーミッションフラグを通じて監視を緩めることが多く、ほとんどのディレクティブ(70.1%)はCIのような特定のコンテキストに限らず無条件で適用される。
同じ量の監視言語を持つスキル、シェルコードを実行するスキル、パッケージをインストールするスキル、あるいはsudoを使用するスキルは、ゆるやかなディレクティブを含む確率の1.7～1.8倍です。
ルーズニングは、採用者の編集によってではなく、上流のスキルに広がり、2.4%がルーズニングのスキルのコピーの半分をルーズニングのスキルを担っているスキルファミリー、そして1.1%がルーズニングのスキルの半数をルーズニングのユニットに占めている。
オープンソースのスキルスキャナは、約46%のゆるいディレクティブをキャッチし、精度は0.4以下である。
関連論文リスト
- Scan Before You Install: Detecting and Mitigating Local and Composite Vulnerabilities in Skills [20.817336331051752]
既存のスキャナは主に、公開リポジトリの意図しない脆弱性ではなく、悪意のあるスキルをターゲットにしている。
本研究では,コンテンツ抽出,局所解析,複合解析,検証,報告,緩和という6つのモジュールスキャナを開発した。
95.90%のリコールを4.22%の偽陽性率で達成し、MalSkillBenchの1000のスキルのバランスの取れたサンプルでは、F1は0.947であり、他のスキャナよりも優れていた。
論文 参考訳（メタデータ） (2026-10-27T19:43:31Z) - AgentHorizon: Evaluating Agentic Judges for Long-Horizon Computer-Use Tasks [67.28108897589799]
AgentHorizonは、1,373のコンピュータ利用タスクのベンチマークである。
同様の(しかし互換性のない)要求を完了したのと、成功した軌道を区別する能力について、審査員を評価した。
我々の最高のエージェント・ジャッジであるGPT-5.5は、AHサブセット上で80.9%のバランスの取れた精度を達成する。
論文 参考訳（メタデータ） (2026-10-08T01:03:48Z) - Stealth Apart, Harm Together: Skill Cascading Attacks on Skill-Based Agent Systems [79.08507314067253]
スキルカスケード攻撃では、悪意のある目的が複数のスキルに分散され、それぞれの変更が独立して良さそうに見えるが、それらの組み合わせの実行は有害である。
本研究は, コンポーネントレベルの完全性とシステムレベルの安全性のギャップを浮き彫りにし, 個別のスキルではなく, クロススキルの相互作用を理由とする防御を呼び掛けた。
論文 参考訳（メタデータ） (2026-09-24T18:00:18Z) - Demystifying Agent Skills: Why They Work-Until They Don't [58.92875630998418]
既存の評価は、スキルが集約されたタスクの成功を改善するかどうかを主に測定する。
我々は、表現、結果アノテーション、検索難易度、スキルのクロスフレームワークの影響を分離する。
我々はこれらの観察を3つの高レベルカテゴリと12のスキルユースモードの分類に集約する。
論文 参考訳（メタデータ） (2026-08-14T07:26:38Z) - Detecting Malicious Agent Skills in the Wild using Attention [0.0]
LLMエージェントは、ユーザの特権で実行されるサードパーティによって書かれた命令のファイルベースのパッケージである、スキルを徐々にロードする。
悪意のあるスキルは、データを流出させたり、エージェントをハイジャックしたり、サプライチェーンの足場として永続化することができる。
この体制のために設計された2段式検出器であるLocate-and-Judgeを紹介する。
論文 参考訳（メタデータ） (2026-06-22T14:41:06Z) - SkillAudit: Ground-Truth-Free Skill Evolution via Paired Trajectory Auditing [81.51044612408793]
SkillAuditは、地味なフィードバックなしにエージェントスキルを進化させるフレームワークである。
行動の違いを編集指導に変換するために、SkillAuditはProcess-Aligned Contrastive Evaluationを使用する。
Refineはノイズや無関係なガイダンスを広く有用なスキルから取り除き、修復はタスクと競合するパスを置き換える。
論文 参考訳（メタデータ） (2026-06-12T08:20:09Z) - SkillMutator: Benchmarking and Defending Language-and-Code Cross-modal Attacks on LLM Agent Skills [7.465256215885481]
大きな言語モデル(LLM)エージェントは、エージェントスキルをロードすることで、実行時にその機能を拡張する。
スキルの振る舞いは自然言語命令と実行可能コードの両方に依存しているため、その安全性を評価するにはクロスモーダル推論が必要である。
我々は、Agent Skillsに対する言語とコードのクロスモーダル攻撃をインストール時に検出する最初のベンチマークであるSkillMutatorを紹介した。
論文 参考訳（メタデータ） (2026-06-12T06:27:12Z) - MalSkillBench: A Runtime-Verified Benchmark of Malicious Agent Skills [24.371534406647978]
MalSkillBenchは、悪質なエージェントスキルの最初のランタイム検証ベンチマークである。
コードインジェクションは94.5%に達するが、迅速なインジェクションは75.8%に過ぎない。
データセット、パイプライン、ベースライン、結果をリリースしています。
論文 参考訳（メタデータ） (2026-06-05T10:43:19Z) - Under the Hood of SKILL.md: Semantic Supply-chain Attacks on AI Agent Skill Registry [49.83108591873481]
SKILL.md - エージェントスキルライフサイクルの3つのステージを対象とするアタックのみを調査する。
SKILL.mdは受動的ドキュメントではなく、サードパーティのエージェントが発見し、信頼し、使用する機能を形成する運用テキストであることを示す。
論文 参考訳（メタデータ） (2026-05-12T02:11:54Z) - Credential Leakage in LLM Agent Skills: A Large-Scale Empirical Study [51.717224133855886]
サードパーティのスキルはLLMエージェントを強力な能力で拡張するが、特権のある環境では機密情報を扱うことが多い。
静的解析,サンドボックステスト,手動検査を用いて17,022のスキル(SkillsMPで170,226からサンプリング)を分析した。
我々は,1,708の課題で520の脆弱なスキルを識別し,10の漏洩パターン(事故4件,反対6件)の分類を導出する。
論文 参考訳（メタデータ） (2026-04-03T14:50:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。