論文の概要: SkillsMetric: Mapping the Detection Boundary of Static Analysis for Malicious Agent Skills
- arxiv url: http://arxiv.org/abs/2608.08468v1
- Date: Sun, 09 Aug 2026 04:19:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:36.837114
- Title: SkillsMetric: Mapping the Detection Boundary of Static Analysis for Malicious Agent Skills
- Title（参考訳）: Skills Metric: 悪意のあるエージェントスキルの静的解析境界のマッピング
- Abstract要約: textscSkillsMetricは5段階の静的解析フレームワークで、パターン密度、統計異常、データフローのテナント、インポート異常、能力ミスマッチの次元に沿ってスキルパッケージをスコアする。
我々は、コードレベル、システムレベル、セマンティックレベルの脅威にまたがる16の攻撃型にまたがる2266のスキルの逆評価データセットを構築し、SkillMD-138Kコーパスの完全な評価を行う。
我々のフレームワークは AUC の 0.93 と 5 倍のクロスバリデーション F1 の 73.4%$pm$0.5% を達成する。
- 参考スコア（独自算出の注目度）: 12.451393173022344
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Agent Skills---structured packages of instructions and scripts that augment LLM-based agents---are rapidly proliferating, yet their security properties remain under-explored. We present \textsc{SkillsMetric}, a five-stage static analysis framework that scores skill packages along pattern density, statistical anomaly, dataflow taint, import anomaly, and capability mismatch dimensions. We construct an adversarial evaluation dataset of 2{,}266 skills spanning 16~attack types across code-level, system-level, and semantic-level threats, and evaluate on the full SkillMD-138K corpus. Our framework achieves an AUC of 0.93 and 5-fold cross-validated F1 of 73.4\%$\pm$0.5\%, with strong detection of data exfiltration (93\%) and steganographic payloads (93\%). Crucially, we identify fundamental blind spots: \emph{host destruction} attacks using common shell commands evade all five stages (0\% detection), and \emph{prompt injection} via natural-language manipulation achieves only 42\% detection. These findings establish that static analysis alone is insufficient for skill security, motivating defense-in-depth architectures that combine fast static pre-screening with semantic review.
- Abstract（参考訳）: エージェントスキル - LLMベースのエージェントを増強する命令とスクリプトの構造化パッケージ。
これは5段階の静的解析フレームワークで、パターン密度、統計異常、データフローのテナント、インポート異常、キャパシティミスマッチの次元に沿ってスキルパッケージをスコアする。
我々は、コードレベル、システムレベル、セマンティックレベルの脅威にまたがる16種類の攻撃型にまたがる2{,}266スキルの逆評価データセットを構築し、全SkillMD-138Kコーパスで評価する。
本フレームワークは, 73.4\%$\pm$0.5\%のAUCと5倍のクロスバリデーションF1を達成し, データ抽出(93\%)とステガノグラフペイロード(93\%)を強く検出する。
重要な点として、共通シェルコマンドによるemph{host destroy}攻撃は5段階すべて回避し(0\%検出)、自然言語操作によるemph{prompt Injection}は42\%しか検出できない。
これらの結果から,静的解析だけではスキルセキュリティには不十分であり,高速な静的事前スクリーニングとセマンティックレビューを組み合わせたディフェンス・イン・ディープスアーキテクチャを動機付けることが確認された。
関連論文リスト
- Behavioral Integrity Verification for AI Agent Skills [9.127363793428119]
我々はこれを行動整合性検証(BIV)問題として定式化する。
OpenClawレジストリの49,943のスキルでは、逸脱分類が広範な記述と実装のギャップを明らかにしている。
906スキルの悪質なスキル検出ベンチマークでは、BIVは0.946のF1に達し、最先端のルールベースとシングルパスのLCMベースラインを上回っている。
論文 参考訳（メタデータ） (2026-05-12T08:41:09Z) - You Told Me to Do It: Measuring Instructional Text-induced Private Data Leakage in LLM Agents [9.719776777345364]
外部文書を自律的に処理する高特権のLLMエージェントは、タスクを自動化するためにますます信頼されている。
これらのエージェントには、最小限のセキュリティ監視で端末アクセス、制御、アウトバウンドネットワーク接続が与えられる。
emphTrusted Executor Dilemmaと呼ばれるこの信頼モデルの基本的脆弱性を測定する。
この脆弱性は、実装バグではなく、命令追従設計パラダイムの構造的な結果である。
論文 参考訳（メタデータ） (2026-03-12T12:35:46Z) - When Detectors Forget Forensics: Blocking Semantic Shortcuts for Generalizable AI-Generated Image Detection [48.75021863792367]
Vision Foundation Models (VFMs, emphe.g., CLIP) は、しばしば目に見えない生成パイプラインを使って生成された画像に一般化するのに苦労する。
textbfGeometric Semantic Decoupling (GSD)を提案する。
GSDはバッチワイズ統計から意味論的方向を推定し、幾何学的制約によってそれらを投影し、アーティファクト検出器は意味論的不変な法医学的証拠に依存するように強制する。
論文 参考訳（メタデータ） (2026-03-10T06:16:35Z) - When Benchmarks Lie: Evaluating Malicious Prompt Classifiers Under True Distribution Shift [0.0]
有害なリクエスト、ジェイルブレイク、間接的なプロンプトインジェクション、抽出攻撃にまたがる18のデータセットのベンチマークを用いて、包括的な分析を行う。
我々は,真のアウト・オブ・ディストリビューションの一般化を評価するために,LODO(Leave-One-Dataset-Out)評価を提案する。
論文 参考訳（メタデータ） (2026-02-15T14:21:43Z) - Prompt Injection Attacks on Agentic Coding Assistants: A Systematic Analysis of Vulnerabilities in Skills, Tools, and Protocol Ecosystems [0.0]
本稿では,エージェント・コーディング・アシスタントを対象としたインジェクション・アタックの包括的解析を行う。
メタアナリシスは78の最近の研究から得られた知見を合成する。
以上の結果から,セキュリティコミュニティはプロンプトインジェクションを第一級脆弱性クラスとして扱う必要があることが示唆された。
論文 参考訳（メタデータ） (2026-01-24T18:39:21Z) - Multi-Agent Taint Specification Extraction for Vulnerability Detection [49.27772068704498]
コンテナ分析を使用した静的アプリケーションセキュリティテスト(SAST)ツールは、高品質な脆弱性検出結果を提供するものとして広く見なされている。
本稿では,Large Language Models (LLM) のセマンティック理解と従来の静的プログラム解析を戦略的に組み合わせたマルチエージェントシステムであるSemTaintを提案する。
私たちは、SemTaintを最先端のSASTツールであるCodeQLと統合し、これまでCodeQLで検出できなかった162の脆弱性の106を検出して、その効果を実証しています。
論文 参考訳（メタデータ） (2026-01-15T21:31:51Z) - Agent Skills in the Wild: An Empirical Study of Security Vulnerabilities at Scale [26.757365536859453]
AIエージェントフレームワークの台頭はエージェントスキル、命令を含むモジュールパッケージ、エージェント機能を動的に拡張する実行可能なコードを導入した。
このアーキテクチャは強力なカスタマイズを可能にするが、スキルは暗黙の信頼と最小限の拒否によって実行され、重要なが不適合なアタックサーフェスを生み出す。
2つの主要な市場から42,447のスキルを収集し、この新興エコシステムの最初の大規模な経験的セキュリティ分析を行います。
論文 参考訳（メタデータ） (2026-01-15T12:31:52Z) - AutoMalDesc: Large-Scale Script Analysis for Cyber Threat Research [81.04845910798387]
脅威検出のための自然言語の説明を生成することは、サイバーセキュリティ研究において未解決の問題である。
本稿では,大規模に独立して動作する自動静的解析要約フレームワークAutoMalDescを紹介する。
アノテーション付きシード(0.9K)データセットや方法論,評価フレームワークなど,100万以上のスクリプトサンプルの完全なデータセットを公開しています。
論文 参考訳（メタデータ） (2025-11-17T13:05:25Z) - VulAgent: Hypothesis-Validation based Multi-Agent Vulnerability Detection [55.957275374847484]
VulAgentは仮説検証に基づくマルチエージェント脆弱性検出フレームワークである。
セマンティクスに敏感なマルチビュー検出パイプラインを実装しており、それぞれが特定の分析の観点から一致している。
平均して、VulAgentは全体的な精度を6.6%改善し、脆弱性のある固定されたコードペアの正確な識別率を最大450%向上させ、偽陽性率を約36%削減する。
論文 参考訳（メタデータ） (2025-09-15T02:25:38Z) - ASSERT: Automated Safety Scenario Red Teaming for Evaluating the
Robustness of Large Language Models [65.79770974145983]
ASSERT、Automated Safety Scenario Red Teamingは、セマンティックなアグリゲーション、ターゲットブートストラップ、敵の知識注入という3つの方法で構成されている。
このプロンプトを4つの安全領域に分割し、ドメインがモデルの性能にどのように影響するかを詳細に分析する。
統計的に有意な性能差は, 意味的関連シナリオにおける絶対分類精度が最大11%, ゼロショット逆数設定では最大19%の絶対誤差率であることがわかった。
論文 参考訳（メタデータ） (2023-10-14T17:10:28Z) - How Robust are Randomized Smoothing based Defenses to Data Poisoning? [66.80663779176979]
我々は、トレーニングデータの品質の重要性を強調する堅牢な機械学習モデルに対して、これまで認識されていなかった脅威を提示します。
本稿では,二段階最適化に基づく新たなデータ中毒攻撃法を提案し,ロバストな分類器のロバスト性を保証する。
我々の攻撃は、被害者が最先端のロバストな訓練方法を用いて、ゼロからモデルを訓練しても効果的である。
論文 参考訳（メタデータ） (2020-12-02T15:30:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。