論文の概要: SkillSieve: A Hierarchical Triage Framework for Detecting Malicious AI Agent Skills
- arxiv url: http://arxiv.org/abs/2604.06550v1
- Date: Wed, 08 Apr 2026 00:58:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-09 17:30:51.279985
- Title: SkillSieve: A Hierarchical Triage Framework for Detecting Malicious AI Agent Skills
- Title（参考訳）: SkillSieve: 悪意あるAIエージェントスキルを検出する階層的なトリアージフレームワーク
- Abstract要約: SkillSieveは3層検出フレームワークで、必要に応じてより深く分析する。
400スキルのラベル付きベンチマークでは、SkillSieveは0.800 F1を達成し、ClawVetの0.421を上回った。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: OpenClaw's ClawHub marketplace hosts over 13,000 community-contributed agent skills, and between 13% and 26% of them contain security vulnerabilities according to recent audits. Regex scanners miss obfuscated payloads; formal static analyzers cannot read the natural language instructions in SKILL.md files where prompt injection and social engineering attacks hide. Neither approach handles both modalities. SkillSieve is a three-layer detection framework that applies progressively deeper analysis only where needed. Layer 1 runs regex, AST, and metadata checks through an XGBoost-based feature scorer, filtering roughly 86% of benign skills in under 40ms on average at zero API cost. Layer 2 sends suspicious skills to an LLM, but instead of asking one broad question, it splits the analysis into four parallel sub-tasks (intent alignment, permission justification, covert behavior detection, cross-file consistency), each with its own prompt and structured output. Layer 3 puts high-risk skills before a jury of three different LLMs that vote independently and, if they disagree, debate before reaching a verdict. We evaluate on 49,592 real ClawHub skills and adversarial samples across five evasion techniques, running the full pipeline on a 440 ARM single-board computer. On a 400-skill labeled benchmark, SkillSieve achieves 0.800 F1, outperforming ClawVet's 0.421, at an average cost of 0.006 per skill. Code, data, and benchmark are open-sourced.
- Abstract（参考訳）: OpenClawのClawHubマーケットプレースでは、13,000以上のコミュニティに分散したエージェントスキルが提供されている。
正規の静的アナライザはSKILL.mdファイルでは、インジェクションやソーシャルエンジニアリング攻撃が隠される自然言語命令を読めない。
どちらのアプローチも両方のモダリティを扱いません。
SkillSieveは3層検出フレームワークで、必要に応じてより深く分析する。
Layer 1は、XGBoostベースの機能スコアラを通じて、regex、AST、メタデータチェックを実行する。
レイヤ2は不審なスキルをLSMに送信するが、広義の質問をする代わりに、分析を4つの並列サブタスク(インテントアライメント、パーミッションの正当化、隠蔽行動の検出、ファイル間の整合性)に分割し、それぞれ独自のプロンプトと構造化された出力で出力する。
レイヤー3は、独立して投票する3つの異なるLDMの陪審員の前に、高いリスクのスキルを課す。
我々は,440個のARMシングルボードコンピュータ上で全パイプラインを動作させる5つの回避手法における,49,592個の実ClawHubスキルと敵のサンプルを評価した。
400スキルのラベル付きベンチマークでは、SkillSieveは0.800 F1を達成し、ClawVetの0.421を平均0.006のコストで上回っている。
コード、データ、ベンチマークはオープンソースである。
関連論文リスト
- Towards a Risk Assessment of Malicious Skill Files in Coding Agents [9.553517006800913]
我々は、自律型コーディングエージェントの分野に3つの貢献をしている。
まず、141個の実世界のシェルコマンドを良識に変換する対人的スキル合成法を提案する。
第2に、再現可能な評価パイプライン結合が成層化を実行し、エビデンスアンカー、拒否拒否、決定論的宣言インテントオーバーライドを行う。
第3に,5,629回の実行が完了した2つのエンタープライズグレードエージェントの大規模評価だ。
論文 参考訳（メタデータ） (2026-08-05T11:33:43Z) - SkillGate: Cost Efficient Runtime Malicious Skill File Detection in Coding Agents [9.553517006800913]
ソフトウェアエンジニアリングチームは、AIコーディングエージェントを第一級の生産性ツールとしてデプロイした。
悪意のあるスキルファイルは、エージェントの振る舞いをサイレントにプログラムしたり、認証情報を流出させたり、生成されたコードにバックドアを注入したり、エージェントアクションを攻撃者が制御するエンドポイントにリダイレクトしたりすることができる。
我々は、エージェントのインストール前にAIスキルパッケージをスクリーニングするデプロイ可能なセキュリティゲートウェイであるSkillGateを紹介する。
論文 参考訳（メタデータ） (2026-07-28T11:50:19Z) - VISUALSKILL: Multimodal Skills for Computer-Use Agents [63.79539541125141]
ターゲットアプリケーション毎に調整された階層型マルチモーダルスキルであるVISUALSKILLを提案する。
著者によるドキュメンテーションとライブアプリケーションUI探索を組み合わせた2段階のパイプラインで、それぞれのスキルを構築します。
2つのCUAベンチマークでは、Claude Code CLIエージェントがClaude Opus 4.6によって支援され、VISUALSKILLで平均スコア0.456に達した。
論文 参考訳（メタデータ） (2026-06-16T19:57:07Z) - MalSkillBench: A Runtime-Verified Benchmark of Malicious Agent Skills [24.371534406647978]
MalSkillBenchは、悪質なエージェントスキルの最初のランタイム検証ベンチマークである。
コードインジェクションは94.5%に達するが、迅速なインジェクションは75.8%に過ぎない。
データセット、パイプライン、ベースライン、結果をリリースしています。
論文 参考訳（メタデータ） (2026-06-05T10:43:19Z) - Behavioral Integrity Verification for AI Agent Skills [9.127363793428119]
我々はこれを行動整合性検証(BIV)問題として定式化する。
OpenClawレジストリの49,943のスキルでは、逸脱分類が広範な記述と実装のギャップを明らかにしている。
906スキルの悪質なスキル検出ベンチマークでは、BIVは0.946のF1に達し、最先端のルールベースとシングルパスのLCMベースラインを上回っている。
論文 参考訳（メタデータ） (2026-05-12T08:41:09Z) - Under the Hood of SKILL.md: Semantic Supply-chain Attacks on AI Agent Skill Registry [49.83108591873481]
SKILL.md - エージェントスキルライフサイクルの3つのステージを対象とするアタックのみを調査する。
SKILL.mdは受動的ドキュメントではなく、サードパーティのエージェントが発見し、信頼し、使用する機能を形成する運用テキストであることを示す。
論文 参考訳（メタデータ） (2026-05-12T02:11:54Z) - AcademiClaw: When Students Set Challenges for AI Agents [69.70303995121154]
AcademiClaw(アカデミクロー)は、大学生の実際の学術的切断から直接引き出された80の複雑な長い水平タスクのベンチマークである。
最高のモデルでさえ、55%のパスレートしか達成できないことを示す。
AcademiClawとそのオープンソースデータとコードが、OpenClawコミュニティにとって有用なリソースになることを願っています。
論文 参考訳（メタデータ） (2026-05-04T14:40:42Z) - SkillAttack: Automated Red Teaming of Agent Skills through Attack Path Refinement [66.44008181092832]
LLMベースのエージェントシステムは、その能力を拡張するためにオープンレジストリからのエージェントスキルにますます依存している。
SkillAttackは、敵のプロンプトを通じて、スキル脆弱性の脆弱性を検証できるフレームワークである。
論文 参考訳（メタデータ） (2026-04-05T06:25:11Z) - Supply-Chain Poisoning Attacks Against LLM Coding Agent Skill Ecosystems [35.65937852381774]
Document-Driven Implicit Payload Execution (DDIPE)は、コード例や設定テンプレートに悪意のあるロジックを埋め込む。
我々は15のMITRE ATTACKカテゴリで81種から1,070の対逆スキルを生成した。
DDIPEは11.6%から33.5%のバイパス率を獲得し、明示的な命令攻撃は強い防御下で0%を達成する。
論文 参考訳（メタデータ） (2026-04-03T14:58:58Z) - Credential Leakage in LLM Agent Skills: A Large-Scale Empirical Study [51.717224133855886]
サードパーティのスキルはLLMエージェントを強力な能力で拡張するが、特権のある環境では機密情報を扱うことが多い。
静的解析,サンドボックステスト,手動検査を用いて17,022のスキル(SkillsMPで170,226からサンプリング)を分析した。
我々は,1,708の課題で520の脆弱なスキルを識別し,10の漏洩パターン(事故4件,反対6件)の分類を導出する。
論文 参考訳（メタデータ） (2026-04-03T14:50:16Z) - Malicious Or Not: Adding Repository Context to Agent Skill Classification [3.773312847224526]
我々は、AIエージェントスキルエコシステムにおける最大の経験的セキュリティ分析を提示する。
3つの主要なディストリビューションプラットフォームとGitHubから238,180のユニークなスキルを集めています。
我々の分析では、現在文書化されていない現実世界の攻撃ベクトルもいくつか発見されている。
論文 参考訳（メタデータ） (2026-03-17T14:27:35Z) - Can Adversarial Code Comments Fool AI Security Reviewers -- Large-Scale Empirical Study of Comment-Based Attacks and Defenses Against LLM Code Analysis [0.0]
敵対的なコメントは、検出精度に小さな、統計的に重要でない効果をもたらす。
複雑な敵戦略は単純な操作的コメントに勝るものではない。
コメントストリッピングは、有用なコンテキストを削除することで、より弱いモデルの検出を減らす。
論文 参考訳（メタデータ） (2026-02-18T00:34:17Z) - Malicious Agent Skills in the Wild: A Large-Scale Security Empirical Study [47.60135753021306]
サードパーティのエージェントスキルは、LLMベースのエージェントを拡張して、命令ファイルとユーザのマシン上で動作する実行可能なコードを生成する。
結果として生じる脅威を特徴づけるために、地中真実のデータセットは存在しない。
我々は,98,380のスキルを行動検証することで,悪質なエージェントスキルのラベル付きデータセットを構築した。
論文 参考訳（メタデータ） (2026-02-06T09:52:27Z) - AI Security Beyond Core Domains: Resume Screening as a Case Study of Adversarial Vulnerabilities in Specialized LLM Applications [71.27518152526686]
大きな言語モデル(LLM)はテキストの理解と生成に優れており、コードレビューやコンテンツモデレーションといった自動タスクに最適である。
LLMは履歴書やコードなどの入力データに隠された「逆命令」で操作でき、意図したタスクから逸脱する。
本稿では,特定の攻撃タイプに対して80%以上の攻撃成功率を示すとともに,この脆弱性を再開スクリーニングで評価するためのベンチマークを提案する。
論文 参考訳（メタデータ） (2025-12-23T08:42:09Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳（メタデータ） (2025-09-25T14:05:55Z) - CLOVER: A Test Case Generation Benchmark with Coverage, Long-Context, and Verification [71.34070740261072]
本稿では,テストケースの生成と完成におけるモデルの能力を評価するためのベンチマークCLOVERを提案する。
ベンチマークはタスク間でのコード実行のためにコンテナ化されています。
論文 参考訳（メタデータ） (2025-02-12T21:42:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。