論文の概要: SkillProbe: Security Auditing for Emerging Agent Skill Marketplaces via Multi-Agent Collaboration
- arxiv url: http://arxiv.org/abs/2603.21019v1
- Date: Sun, 22 Mar 2026 02:31:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-24 19:11:39.196537
- Title: SkillProbe: Security Auditing for Emerging Agent Skill Marketplaces via Multi-Agent Collaboration
- Title(参考訳): SkillProbe:マルチエージェントコラボレーションによるエージェントスキルマーケットプレースのセキュリティ監査
- Authors: Zihan Guo, Zhiyu Chen, Xiaohang Nie, Jianghao Lin, Yuanjian Zhou, Weinan Zhang,
- Abstract要約: SkillProbeはマルチエージェントコラボレーションによって駆動されるマルチステージセキュリティ監査フレームワークである。
ClawHubから2500の現実世界スキルを対象とした8つの主流シリーズを用いた大規模評価を行った。
私たちの結果は、ダウンロードボリュームが信頼できるプロキシのセキュリティ品質ではないという、重大な人気セキュリティのパラドックスを明らかにしました。
- 参考スコア(独自算出の注目度): 22.680481305584028
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the rapid evolution of Large Language Model (LLM) agent ecosystems, centralized skill marketplaces have emerged as pivotal infrastructure for augmenting agent capabilities. However, these marketplaces face unprecedented security challenges, primarily stemming from semantic-behavioral inconsistency and inter-skill combinatorial risks, where individually benign skills induce malicious behaviors during collaborative invocation. To address these vulnerabilities, we propose SkillProbe, a multi-stage security auditing framework driven by multi-agent collaboration. SkillProbe introduces a "Skills-for-Skills" design paradigm, encapsulating auditing processes into standardized skill modules to drive specialized agents through a rigorous pipeline, including admission filtering, semantic-behavioral alignment detection, and combinatorial risk simulation. We conducted a large-scale evaluation using 8 mainstream LLM series across 2,500 real-world skills from ClawHub. Our results reveal a striking popularity-security paradox, where download volume is not a reliable proxy for security quality, as over 90% of high-popularity skills failed to pass rigorous auditing. Crucially, we discovered that high-risk skills form a single giant connected component within the risk-link dimension, demonstrating that cascaded risks are systemic rather than isolated occurrences. We hope that SkillProbe will inspire researchers to provide a scalable governance infrastructure for constructing a trustworthy Agentic Web. SkillProbe is accessible for public experience at skillhub.holosai.io.
- Abstract(参考訳): 大規模言語モデル(LLM)エージェントエコシステムの急速な進化に伴い、中央集権的なスキルマーケットプレースがエージェント機能を増強するための重要な基盤として現れている。
しかし、これらのマーケットプレースは、主にセマンティックビヘイビアの不整合と、個別に良心的なスキルが協調的呼び出し中に悪意ある振る舞いを誘発するスキル間の複合的リスクに起因して、前例のないセキュリティ上の課題に直面している。
これらの脆弱性に対処するため,マルチエージェントコラボレーションによるマルチステージセキュリティ監査フレームワークであるSkillProbeを提案する。
SkillProbeは"スキル・フォー・スキル(Skills-for-Skills)"設計パラダイムを導入し、監査プロセスを標準化されたスキルモジュールにカプセル化して、入出力フィルタリング、セマンティックビヘイビアアライメント検出、組合せリスクシミュレーションを含む厳密なパイプラインを通じて専門エージェントを駆動する。
我々はClawHubから2500の現実世界スキルを対象とした8つのLLMシリーズを用いた大規模評価を行った。
高い人気を持つスキルの90%以上が厳格な監査に合格しなかったため、ダウンロード量はセキュリティ品質の信頼できるプロキシにはならない。
重要なことに、リスクリンクの次元において、リスクの高いスキルが単一の巨大連結コンポーネントを形成し、カスケードされたリスクは孤立した事象ではなく体系的であることを示した。
SkillProbeが研究者に、信頼できるエージェントWebを構築するためのスケーラブルなガバナンスインフラストラクチャを提供することを願っています。
SkillProbe は skillhub.holosai.io で一般公開されている。
関連論文リスト
- LiaisonAgent: An Multi-Agent Framework for Autonomous Risk Investigation and Governance [11.009578207207419]
LiaisonAgentは、技術的リスク検出とビジネスレベルのリスク管理のギャップを埋めるために設計された、自律的なマルチエージェントシステムである。
このシステムは、エンドツーエンドのツールコール成功率97.8%、リスク判定精度95%を達成する。
論文 参考訳(メタデータ) (2026-02-27T08:42:52Z) - SkillNet: Create, Evaluate, and Connect AI Skills [159.47504178122156]
SkillNetは、大規模にAIスキルを作成し、評価し、組織化するように設計されたオープンインフラストラクチャである。
私たちのインフラストラクチャは、20万を超えるスキルのリポジトリ、インタラクティブなプラットフォーム、多目的Pythonツールキットを統合しています。
論文 参考訳(メタデータ) (2026-02-26T14:24:02Z) - Agent Skills: A Data-Driven Analysis of Claude Skills for Extending Large Language Model Functionality [9.192260493061754]
エージェントスキルは、再利用可能なプログラムのようなモジュールで大きな言語モデル(LLM)エージェントを拡張する。
主要なマーケットプレースから40,285の公開スキルを大規模かつデータ駆動で分析する。
以上の結果から,コミュニティの注目度の変化を追及する短時間でスキルパブリッシュが発生する傾向が示唆された。
論文 参考訳(メタデータ) (2026-02-08T15:14:12Z) - Towards Unifying Quantitative Security Benchmarking for Multi Agent Systems [0.0]
AIシステムの進化 自律エージェントが協力し、情報を共有し、プロトコルを開発することでタスクを委譲するマルチエージェントアーキテクチャをますます展開する。
そのようなリスクの1つはカスケードリスクである。あるエージェントの侵入はシステムを通してカスケードし、エージェント間の信頼を利用して他人を妥協させる。
ACI攻撃では、あるエージェントに悪意のあるインプットまたはツールエクスプロイトが注入され、そのアウトプットを信頼するエージェント間でカスケードの妥協とダウンストリーム効果が増幅される。
論文 参考訳(メタデータ) (2025-07-23T13:51:28Z) - SafeMobile: Chain-level Jailbreak Detection and Automated Evaluation for Multimodal Mobile Agents [58.21223208538351]
本研究は,モバイルマルチモーダルエージェントを取り巻くセキュリティ問題について考察する。
行動シーケンス情報を組み込んだリスク識別機構の構築を試みる。
また、大規模言語モデルに基づく自動アセスメントスキームも設計している。
論文 参考訳(メタデータ) (2025-07-01T15:10:00Z) - A Proposal for Evaluating the Operational Risk for ChatBots based on Large Language Models [39.58317527488534]
3つの主要なステークホルダーに対する潜在的な脅威を同時に評価する新しいリスク評価指標を提案する。
メトリクスを検証するために、脆弱性テスト用のオープンソースのフレームワークであるGarakを活用しています。
その結果、セキュアで信頼性の高いAI駆動会話システムの運用における多次元リスクアセスメントの重要性が浮き彫りになった。
論文 参考訳(メタデータ) (2025-05-07T20:26:45Z) - HAICOSYSTEM: An Ecosystem for Sandboxing Safety Risks in Human-AI Interactions [95.49509269498367]
本稿では,多様な複雑な社会的相互作用におけるAIエージェントの安全性を調べるフレームワークであるHAICOSYSTEMを提案する。
私たちは7つの領域(医療、金融、教育など)にわたる92のシナリオに基づいて1840のシミュレーションを実行します。
我々の実験は、最先端のLSMは、プロプライエタリかつオープンソースの両方で、50%以上のケースで安全リスクを示すことを示した。
論文 参考訳(メタデータ) (2024-09-24T19:47:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。