論文の概要: SkillVetBench: LLM-as-Judge for Multi-Dimensional Security Risk Evaluation in Open-Source LLM Agent Skills

• arxiv url: http://arxiv.org/abs/2606.15899v1
• Date: Sun, 14 Jun 2026 16:30:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 18:36:04.926446
• Title: SkillVetBench: LLM-as-Judge for Multi-Dimensional Security Risk Evaluation in Open-Source LLM Agent Skills
• Title（参考訳）: SkillVetBench:オープンソースのLLMエージェントスキルにおける多次元セキュリティリスク評価のためのLCM-as-Judge
• Authors: Ismail Hossain, Sai Puppala, Md Jahangir Alam, Tanzim Ahad, Sajedul Talukder,
• Abstract要約: 我々は、LLM-as-Judgeを使ってエージェントスキルを拒否するHugging Faceのライブ公開リーダーボードであるSKILLVETBENCHを紹介する。 SSARS(スキルエージェントリスクスコア、Skill Agentic Risk Score)は、5次元のエージェントリスク計量であり、命令追従システムに対する原則付き重み付け式である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Open-source LLM agent ecosystems are growing rapidly, yet the security of community-contributed skills - modular tool definitions that extend agent capabilities - remains largely unvetted. The gap we fill: existing scanners operate at the code layer and are structurally blind to instruction-layer and multi-agent risk - natural-language directives that hijack an agent, exfiltrate data through encoded side channels, or chain harm across pipelines - so what is needed is a semantic, multi-dimensional vetting system rather than another signature matcher. We present SKILLVETBENCH, a live public leaderboard on Hugging Face that uses an LLM-as-Judge to vet agent skills. What is new: SARS (Skill Agentic Risk Score), a five-dimensional agentic-risk metric with a principled weighted formula for instruction-following systems. What is integrated: full CVSS v4.0 vector decomposition and a ClawHub dual-view that places our LLM-generated review beside the official marketplace verdict. What is demonstrated: drawing on our companion benchmark paper [ 1], the LLM-as-Judge stage achieves zero false negatives across 78 confirmed-malicious skills and zero false positives across 22 benign controls, while the best static baseline (SKILLSIEVE) still misses 15%; for instruction-layer categories such as Prompt Injection and Memory Poisoning, conventional tools miss between 89% and 100% of threats (e.g., CODEBERT detects none of nine memory-poisoning skills). Detection rates vary from 35% to 95% across four LLM evaluators, motivating ensemble scoring in production deployments.
• Abstract（参考訳）: オープンソースのLLMエージェントエコシステムは急速に成長していますが、コミュニティに分散したスキル – エージェント機能を拡張するモジュールツール定義 – のセキュリティは、依然としてほとんど検討されていません。 既存のスキャナーがコード層で動作し、命令層とマルチエージェントリスクに構造的に盲目である - エージェントをハイジャックしたり、エンコードされたサイドチャネルを通じてデータをフィルタしたり、パイプライン間のチェーンを害したりする自然言語ディレクティブ - が必要なのは、他のシグネチャマーではなく、セマンティックで多次元のベッティングシステムです。 我々は、LLM-as-Judgeを使ってエージェントスキルを拒否するHugging Faceのライブ公開リーダーボードであるSKILLVETBENCHを紹介する。 SARS(スキルエージェントリスクスコア、Skill Agentic Risk Score)は、5次元のエージェントリスクメトリックで、命令追従システムのための原則付き重み付け式である。 統合されているもの:完全なCVSS v4.0ベクトル分解とClawHubデュアルビュー。 LLM-as-Judgeステージは、78の確認済みスキルと22の良心的コントロールでゼロの偽陰性を達成する一方、最高の静的ベースライン(SKILLSIEVE)はまだ15%を欠いている。 検出率は4つのLCM評価器で35%から95%まで様々であり、生産展開におけるアンサンブルスコアの動機となっている。

関連論文リスト

• Unsafer in Many Turns: Benchmarking and Defending Multi-Turn Safety Risks in Tool-Using Agents [68.20752678837377]
  本稿では,単一ターン有害なタスクを多ターン攻撃シーケンスに変換する基本的分類法を提案する。 この分類法を用いて,マルチターンツール使用エージェントの安全性を評価する最初のベンチマークであるMT-AgentRiskを構築した。 トレーニング不要で、ツールに依存しない、自己探索型防御ツールであるToolShieldを提案する。
  論文  参考訳（メタデータ） (2026-02-13T18:38:18Z)
• The Dark Side of LLMs: Agent-based Attacks for Complete Computer Takeover [0.0]
  大規模言語モデル(LLM)エージェントとマルチエージェントシステムは、従来のコンテンツ生成からシステムレベルの妥協まで及ぶセキュリティ脆弱性を導入している。 本稿では,自律エージェント内の推論エンジンとして使用されるLLMのセキュリティを総合的に評価する。 異なる攻撃面と信頼境界がどのように活用され、そのような乗っ取りを組織化できるかを示す。
  論文  参考訳（メタデータ） (2025-07-09T13:54:58Z)
• SafeAgentBench: A Benchmark for Safe Task Planning of Embodied LLM Agents [58.65256663334316]
  我々は,対話型シミュレーション環境におけるLLMエージェントの安全性を考慮したタスク計画のための最初のベンチマークであるSafeAgentBenchを紹介する。 SafeAgentBenchは、(1)10の潜在的な危険と3つのタスクタイプをカバーするために厳格にキュレートされた750のタスクの実行可能な多種多様な高品質データセット、(2)低レベルコントローラを備えた普遍的な実施環境、9つの最先端ベースラインに対して17のハイレベルアクションでマルチエージェント実行をサポートするSafeAgentEnv、(3)実行とセマンティックの両方の観点から信頼性の高い評価方法を含む。
  論文  参考訳（メタデータ） (2024-12-17T18:55:58Z)
• LLMs know their vulnerabilities: Uncover Safety Gaps through Natural Distribution Shifts [88.96201324719205]
  大規模言語モデル(LLM)の安全性に関する懸念は、事前訓練中に潜在的に有害なデータに曝されることにより、大きな注目を集めている。 我々は、有害なコンテンツに意味的に関連していると思われる良心的なプロンプトが、安全性のメカニズムを回避できる新しい安全性脆弱性をLSMで特定する。 我々は,事前学習における有害なプロンプトに関連するアクターを識別する新しい攻撃手法,textitActorBreakerを導入する。
  論文  参考訳（メタデータ） (2024-10-14T16:41:49Z)
• AgentHarm: A Benchmark for Measuring Harmfulness of LLM Agents [84.96249955105777]
  LLMエージェントは誤用された場合、より大きなリスクを引き起こすが、その堅牢性は未発見のままである。 我々は, LLMエージェント誤用の研究を容易にするために, AgentHarmと呼ばれる新しいベンチマークを提案する。 主要なLLMは、ジェイルブレイクなしで悪意のあるエージェント要求に驚くほど準拠している。
  論文  参考訳（メタデータ） (2024-10-11T17:39:22Z)
• CyberSecEval 2: A Wide-Ranging Cybersecurity Evaluation Suite for Large Language Models [6.931433424951554]
  大規模言語モデル(LLM)は新たなセキュリティリスクを導入するが、これらのリスクを計測し、削減するための包括的な評価スイートはほとんどない。 LLMのセキュリティリスクと能力を定量化する新しいベンチマークであるBenchmarkNameを提案する。 我々は,GPT-4,Mistral,Meta Llama 370B-Instruct,Code Llamaを含む複数のSOTA (State-of-the-art) LLMを評価した。
  論文  参考訳（メタデータ） (2024-04-19T20:11:12Z)
• R-Judge: Benchmarking Safety Risk Awareness for LLM Agents [28.0550468465181]
  大規模言語モデル(LLM)は、現実世界のアプリケーション間で自律的にタスクを完了させる大きな可能性を示している。 本研究は, LLMエージェントの行動安全性を, 多様な環境下でベンチマークする上で必要となる課題に対処する。 R-Judgeは,エージェント間相互作用の記録から安全性のリスクを判定・同定する上で,LLMの熟練度を評価するためのベンチマークである。
  論文  参考訳（メタデータ） (2024-01-18T14:40:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。