論文の概要: How Effectively Do Security Skills Guide Coding Agents in Vulnerability Detection in Linux Kernel?

• arxiv url: http://arxiv.org/abs/2610.25705v1
• Date: Mon, 19 Oct 2026 02:50:45 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:12:42.000062
• Title: How Effectively Do Security Skills Guide Coding Agents in Vulnerability Detection in Linux Kernel?
• Title（参考訳）: Linuxカーネルの脆弱性検出におけるセキュリティスキルガイドコーディングエージェントの有効性
• Abstract要約: クロードコードを用いた37のセキュリティスキルに関する大規模な実証的研究を行った。 機能,ステートメント,脆弱性クラスレベルでの脆弱性検出を評価した。 SKILL-SIFは,脆弱性や障害パターンから学習することで,セキュリティスキルを反復的に進化させる自己改善フレームワークである。
• 参考スコア（独自算出の注目度）: 7.921221884311172
• License:
• Abstract: Large language model (LLM) coding agents, such as Claude Code, are increasingly used for security auditing, with task-specific skills providing reusable vulnerability-analysis procedures. However, their effectiveness in detecting real vulnerabilities and the reasons for their failures remain unclear. We conduct the first large-scale empirical study of 37 security skills using Claude Code with four underlying LLMs on 100 real Linux kernel vulnerabilities across ten classes, totaling 14800 runs. We evaluate vulnerability detection at the function, statement, and vulnerability-class levels. Results show that 24.4 percent of runs locate the correct function, 18.3 percent identify both the function and responsible statement, and 15.7 percent correctly classify the vulnerability. Our failure analysis reveals limitations in evidence acquisition, state-relation reasoning, code interpretation, candidate verification, investigation coverage, and reporting. Based on these findings, we propose SKILL-SIF, a self-improving framework that iteratively evolves security skills by learning from missed vulnerabilities and failure patterns. We evolve five top-performing skills using the original benchmark and evaluate them on 100 previously unseen vulnerabilities. SKILL-SIF improves fully correct vulnerability detection by up to eight times (from 2 percent to 16 percent) on unseen vulnerabilities, while aggregate accuracy across four LLMs increases by 1.85 times (from 6.05 percent to 11.20 percent). These findings highlight the limitations of existing security skills and demonstrate the potential of failure-driven skill evolution to improve vulnerability detection in coding agents.
• Abstract（参考訳）: Claude Codeのような大規模言語モデル(LLM)コーディングエージェントは、セキュリティ監査にますます使われており、タスク固有のスキルが再利用可能な脆弱性分析手順を提供している。 しかし、実際の脆弱性や失敗の原因を検出する効果は、いまだに不明である。 Claude Codeを使った37のセキュリティスキルに関する大規模な実験的な最初の研究を行い、その基盤となる4つのLSMを10クラスにまたがる100の実際のLinuxカーネル脆弱性に対して、合計14800回の実行を行った。 機能,ステートメント,脆弱性クラスレベルでの脆弱性検出を評価した。 結果は、実行中の24.4%が正しい関数を検知し、18.3%が関数と責任あるステートメントの両方を識別し、15.7%が脆弱性を正しく分類していることを示している。 我々の失敗分析は、証拠取得、状態関連推論、コード解釈、候補検証、調査カバレッジ、報告の制限を明らかにします。 これらの知見に基づいて,脆弱性や障害パターンから学習することで,セキュリティスキルを反復的に進化させる自己改善フレームワークであるSKILL-SIFを提案する。 元のベンチマークを使って5つのトップパフォーマンススキルを進化させ、これまで目に見えない100の脆弱性で評価します。 SKILL-SIFは、未確認の脆弱性に対して最大8倍(2%から16パーセント)の正当性検出を改善する一方、4つのLCM間での集計精度は1.85倍(6.05パーセントから11.20%)向上する。 これらの知見は、既存のセキュリティスキルの限界を強調し、コーディングエージェントの脆弱性検出を改善するために、障害駆動型スキル進化の可能性を示している。

関連論文リスト

• Discovery or Memorization? A Faithful Benchmark for Real-World Business-Logic Vulnerability Discovery [54.222719340971075]
  AnonVulは132のアプリケーションレベルのビジネス論理的脆弱性の言語間ベンチマークである。 これは、タスクを匿名化し、専門家が書いた仕様からオラクルを注入し、エクスプロイトを検証する半自動化パイプラインによって構築される。 我々は、AnonVulベンチマークの6つの最新脆弱性発見エージェントを評価し、発見成功、コスト効率、匿名化感度、オラクルの妥当性、障害モードを測定した。
  論文  参考訳（メタデータ） (2026-10-13T01:10:42Z)
• SEEK: Agentic Knowledge Graph Retrieval for Secure Code Generation [52.549964800555124]
  大きな言語モデル(LLM)は、悪用可能なセキュリティ脆弱性を導入しながら、機能的に正しいコードを生成することができる。 本稿では,セキュリティ知識グラフを構成するセキュアコード生成のためのエージェントグラフRAGフレームワークであるSEEKを提案する。 我々は、C、C++、PythonにまたがるCodeGuard+とCyberSecEvalの配布外設定でSEEKを評価した。
  論文  参考訳（メタデータ） (2026-10-10T14:37:22Z)
• Vulnerability Localization Benchmark: Measuring Agentic Security Analysis at Repository Scale [54.83971397981572]
  言語モデルエージェントは、ソフトウェアリポジトリ全体を通してますます運用される。 サイバーセキュリティ評価は、関連するコードを見つけることよりも、脆弱性を検出、再生、または修復できるかどうかを測定する。 脆弱性のローカライゼーションについて検討する。弱点クラスと不慣れなリポジトリが与えられた場合、その弱点に関連する実装ファイルを特定する。
  論文  参考訳（メタデータ） (2026-09-14T17:44:51Z)
• FuzzingBrain V2: A Multi-Agent LLM System for Automated Vulnerability Discovery and Reproduction [7.802658978010212]
  ソフトウェア脆弱性は重大なセキュリティ上の脅威となり、2025年には5万近いCVEが報告された。 大規模言語モデル(LLM)は自動脆弱性検出を約束する一方で、3つの重要な課題が残っている。 本稿では、4つの重要な貢献を通じてこれらのギャップに対処するマルチエージェントシステムFuzzingBrain V2を提案する。
  論文  参考訳（メタデータ） (2026-05-20T22:17:14Z)
• SecPI: Secure Code Generation with Reasoning Models via Security Reasoning Internalization [50.71047638695205]
  RLM(Reasoning Language Model)は、プログラミングにおいてますます使われている言語モデルである。 しかし、最先端のRLMでさえ、生成されたコードに重大なセキュリティ脆弱性を頻繁に導入する。 我々は、構造化されたセキュリティ推論を内部化するためのRTMを教える微調整パイプラインであるSecPIを提案する。
  論文  参考訳（メタデータ） (2026-04-04T04:29:11Z)
• Credential Leakage in LLM Agent Skills: A Large-Scale Empirical Study [51.717224133855886]
  サードパーティのスキルはLLMエージェントを強力な能力で拡張するが、特権のある環境では機密情報を扱うことが多い。 静的解析,サンドボックステスト,手動検査を用いて17,022のスキル(SkillsMPで170,226からサンプリング)を分析した。 我々は,1,708の課題で520の脆弱なスキルを識別し,10の漏洩パターン(事故4件,反対6件)の分類を導出する。
  論文  参考訳（メタデータ） (2026-04-03T14:50:16Z)
• Measuring and Exploiting Confirmation Bias in LLM-Assisted Security Code Review [6.417595678110472]
  ソフトウェアサプライチェーン攻撃において,確認バイアスがLSMベースの脆弱性検出に影響を及ぼすか,また,この障害モードを悪用できるかを検討する。 調査1では,5つのフレーミング条件下で4つの最先端モデルに対して評価された250個のCVE脆弱性/パッチペアに対する制御実験により,確認バイアスを定量化する。 調査2は、既知の脆弱性を再導入する敵のプルリクエストを模倣して、セキュリティの改善やプルリクエストメタデータによる緊急機能修正を実施可能であることを評価する。
  論文  参考訳（メタデータ） (2026-03-19T10:40:27Z)
• Agent Skills in the Wild: An Empirical Study of Security Vulnerabilities at Scale [26.757365536859453]
  AIエージェントフレームワークの台頭はエージェントスキル、命令を含むモジュールパッケージ、エージェント機能を動的に拡張する実行可能なコードを導入した。 このアーキテクチャは強力なカスタマイズを可能にするが、スキルは暗黙の信頼と最小限の拒否によって実行され、重要なが不適合なアタックサーフェスを生み出す。 2つの主要な市場から42,447のスキルを収集し、この新興エコシステムの最初の大規模な経験的セキュリティ分析を行います。
  論文  参考訳（メタデータ） (2026-01-15T12:31:52Z)
• AI Security Beyond Core Domains: Resume Screening as a Case Study of Adversarial Vulnerabilities in Specialized LLM Applications [71.27518152526686]
  大きな言語モデル(LLM)はテキストの理解と生成に優れており、コードレビューやコンテンツモデレーションといった自動タスクに最適である。 LLMは履歴書やコードなどの入力データに隠された「逆命令」で操作でき、意図したタスクから逸脱する。 本稿では,特定の攻撃タイプに対して80%以上の攻撃成功率を示すとともに,この脆弱性を再開スクリーニングで評価するためのベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-12-23T08:42:09Z)
• VulnRepairEval: An Exploit-Based Evaluation Framework for Assessing Large Language Model Vulnerability Repair Capabilities [41.85494398578654]
  VulnRepairEvalは、関数型Proof-of-Conceptエクスプロイトに固定された評価フレームワークである。 我々のフレームワークは、再現可能な微分評価を可能にする包括的でコンテナ化された評価パイプラインを提供する。
  論文  参考訳（メタデータ） (2025-09-03T14:06:10Z)
• There are More Fish in the Sea: Automated Vulnerability Repair via Binary Templates [4.907610470063863]
  本稿では,Javaバイナリに対するテンプレートベースの自動脆弱性修復手法を提案する。 Vul4Jデータセットの実験では、TemVURが11の脆弱性の修正に成功した。 TemVURの一般化性を評価するため、MaryVuls4Jデータセットをキュレートする。
  論文  参考訳（メタデータ） (2024-11-27T06:59:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。