論文の概要: Seclens: Role-specific Evaluation of LLM's for security vulnerablity detection

• arxiv url: http://arxiv.org/abs/2604.01637v1
• Date: Thu, 02 Apr 2026 05:25:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-03 14:21:10.374775
• Title: Seclens: Role-specific Evaluation of LLM's for security vulnerablity detection
• Title（参考訳）: Seclens:セキュリティ過敏症検出のためのLLMの役割別評価
• Authors: Subho Halder, Siddharth Saxena, Kashinath Kadaba Shrish, Thiyagarajan M,
• Abstract要約: SecLens-Rは、35の共有次元を7つの測定カテゴリに分けて構成するマルチステークホルダー評価フレームワークである。 93のオープンソースプロジェクトから派生した406タスクのデータセット上で,SecLens-Rを用いて12のフロンティアモデルを評価する。 結果は、利害関係者の視点でかなりの変動を示し、決定スコアは同じモデルで最大31ポイント異なる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing benchmarks for LLM-based vulnerability detection compress model performance into a single metric, which fails to reflect the distinct priorities of different stakeholders. For example, a CISO may emphasize high recall of critical vulnerabilities, an engineering leader may prioritize minimizing false positives, and an AI officer may balance capability against cost. To address this limitation, we introduce SecLens-R, a multi-stakeholder evaluation framework structured around 35 shared dimensions grouped into 7 measurement categories. The framework defines five role-specific weighting profiles: CISO, Chief AI Officer, Security Researcher, Head of Engineering, and AI-as-Actor. Each profile selects 12 to 16 dimensions with weights summing to 80, yielding a composite Decision Score between 0 and 100. We apply SecLens-R to evaluate 12 frontier models on a dataset of 406 tasks derived from 93 open-source projects, covering 10 programming languages and 8 OWASP-aligned vulnerability categories. Evaluations are conducted across two settings: Code-in-Prompt (CIP) and Tool-Use (TU). Results show substantial variation across stakeholder perspectives, with Decision Scores differing by as much as 31 points for the same model. For instance, Qwen3-Coder achieves an A (76.3) under the Head of Engineering profile but a D (45.2) under the CISO profile, while GPT-5.4 shows a similar disparity. These findings demonstrate that vulnerability detection is inherently a multi-objective problem and that stakeholder-aware evaluation provides insights that single aggregated metrics obscure.
• Abstract（参考訳）: LLMベースの脆弱性検出モデルのパフォーマンスを1つのメトリクスに圧縮する既存のベンチマークは、異なる利害関係者の異なる優先順位を反映しない。 例えば、CISOは、重大な脆弱性の高いリコールを強調し、エンジニアリングリーダは偽陽性の最小化を優先し、AIオフィサーはコストに対して能力のバランスをとることができる。 この制限に対処するため, SecLens-Rは, 7つの測定カテゴリにグループ化された35の共有次元からなるマルチステークホルダー評価フレームワークである。 このフレームワークは、CISO、チーフAIオフィサー、セキュリティ研究者、エンジニアリング責任者、AI-as-Actorの5つの役割固有の重み付けプロファイルを定義している。 各プロファイルは、重みを80にまとめて12から16の次元を選択し、0から100の間の合成決定スコアを生成する。 SecLens-Rを用いて、93のオープンソースプロジェクトから派生した406タスクのデータセット上で、12のフロンティアモデルを評価する。 Code-in-Prompt (CIP) と Tool-Use (TU) の2つの設定で評価を行う。 結果は、利害関係者の視点でかなりの変動を示し、決定スコアは同じモデルで最大31ポイント異なる。 例えば、Qwen3-CoderはCISOプロファイルではA(76.3)、CISOプロファイルではD(45.2)、GPT-5.4では同様の相違が見られる。 これらの結果は、脆弱性検出は本質的に多目的問題であり、ステークホルダーが認識する評価は、単一の集約されたメトリクスを曖昧にするための洞察を提供することを示している。

関連論文リスト

• Are Aligned Large Language Models Still Misaligned? [13.062124372682106]
  Mis-Align Bench は、安全性、価値、文化的側面の相違を分析するための統一されたベンチマークである。 SAVACUは、112のドメイン(またはラベル)にまたがる382,424のミスアライメントデータセットである。
  論文  参考訳（メタデータ） (2026-02-11T19:30:43Z)
• What Matters For Safety Alignment? [38.86339753409445]
  本稿では,AIシステムの安全アライメント能力に関する総合的研究について述べる。 本研究では,6つの重要な内在モデル特性と3つの外部攻撃手法の影響を系統的に検討し,比較した。 LRMs GPT-OSS-20B, Qwen3-Next-80B-A3B-Thinking, GPT-OSS-120Bを最も安全な3つのモデルとして同定した。
  論文  参考訳（メタデータ） (2026-01-07T12:31:52Z)
• Encyclo-K: Evaluating LLMs with Dynamically Composed Knowledge Statements [78.87065404966002]
  既存のベンチマークは、主に質問レベルで質問をキュレートする。 ベンチマーク構築をゼロから再考するステートメントベースのベンチマークであるEncyclo-Kを提案する。
  論文  参考訳（メタデータ） (2025-12-31T13:55:54Z)
• Comparative Analysis of LLM Abliteration Methods: A Cross-Architecture Evaluation [0.0]
  本研究は16種類の教科モデルを対象とした4つの音読ツールについて検討した。 シングルパス法は、ベンチマークしたサブセットで優れた性能を保った。 主な発見は、数学的推論能力は、消音介入に対して最も敏感であることを示している。
  論文  参考訳（メタデータ） (2025-12-15T18:48:42Z)
• AI Transparency Atlas: Framework, Scoring, and Real-Time Model Card Evaluation Pipeline [2.1787849426740364]
  我々は5つのフロンティアモデル(Gemini 3, Grok 4.1, Llama 4, GPT-5, Claude 4.5)と100台のHugging Faceモデルカードからドキュメントを分析した。 安全クリティカルな開示を優先する8つのセクションと23のサブセクションからなる重み付き透明性フレームワークを開発した。
  論文  参考訳（メタデータ） (2025-12-13T19:48:44Z)
• Cross-LLM Generalization of Behavioral Backdoor Detection in AI Agent Supply Chains [0.0]
  本研究は,Cross-LLMビヘイビアバックドア検出に関する最初の体系的研究である。 単一モデル検出器は、トレーニング分布において92.7%の精度を達成するが、異なるLLM間で49.2%しか達成していないことを示す。 追加機能としてのモデル認識モデル同定は,すべての評価モデルに対して90.6%の精度で達成可能であることを示す。
  論文  参考訳（メタデータ） (2025-11-25T03:33:04Z)
• The Digital Cybersecurity Expert: How Far Have We Come? [49.89857422097055]
  我々は,サイバーセキュリティの専門家が期待する345の知識ポイントに基づいた,きめ細かいサイバーセキュリティ評価フレームワークであるCSEBenchmarkを開発した。 CSEBenchmarkで12のポピュラーな大言語モデル(LLM)を評価し、最高のパフォーマンスモデルでさえ全体の精度は85.42%に過ぎなかった。 各LSMにおける特定の知識ギャップを特定し,対処することにより,事前の誤り予測の修正において最大84%の改善が達成される。
  論文  参考訳（メタデータ） (2025-04-16T05:36:28Z)
• SeCodePLT: A Unified Platform for Evaluating the Security of Code GenAI [58.29510889419971]
  コード生成大型言語モデル(LLM)のセキュリティリスクと能力を評価するための既存のベンチマークは、いくつかの重要な制限に直面している。 手動で検証し、高品質なシード例から始める、汎用的でスケーラブルなベンチマーク構築フレームワークを導入し、ターゲット突然変異を通じて拡張する。 このフレームワークをPython、C/C++、Javaに適用すると、44のCWEベースのリスクカテゴリと3つのセキュリティ機能にまたがる5.9k以上のサンプルデータセットであるSeCodePLTが構築されます。
  論文  参考訳（メタデータ） (2024-10-14T21:17:22Z)
• SORRY-Bench: Systematically Evaluating Large Language Model Safety Refusal [64.9938658716425]
  SORRY-Benchは、安全でないユーザ要求を認識し拒否する大規模言語モデル(LLM)能力を評価するためのベンチマークである。 まず、既存の手法では、安全でないトピックの粗い分類を使い、いくつかのきめ細かいトピックを過剰に表現している。 第二に、プロンプトの言語的特徴とフォーマッティングは、様々な言語、方言など、多くの評価において暗黙的にのみ考慮されているように、しばしば見過ごされる。
  論文  参考訳（メタデータ） (2024-06-20T17:56:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。