論文の概要: LLM-based Vulnerability Discovery through the Lens of Code Metrics

• arxiv url: http://arxiv.org/abs/2509.19117v1
• Date: Tue, 23 Sep 2025 15:03:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-24 20:41:27.916308
• Title: LLM-based Vulnerability Discovery through the Lens of Code Metrics
• Title（参考訳）: コードメトリクスのレンズによるLLMによる脆弱性発見
• Authors: Felix Weissberg, Lukas Pirch, Erik Imgrund, Jonas Möller, Thorsten Eisenhofer, Konrad Rieck,
• Abstract要約: 大規模言語モデル(LLM)は、ソフトウェア工学の多くのタスクに優れています。 脆弱性発見に活用する進歩は 近年 停滞しています。
• 参考スコア（独自算出の注目度）: 6.339440992743381
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) excel in many tasks of software engineering, yet progress in leveraging them for vulnerability discovery has stalled in recent years. To understand this phenomenon, we investigate LLMs through the lens of classic code metrics. Surprisingly, we find that a classifier trained solely on these metrics performs on par with state-of-the-art LLMs for vulnerability discovery. A root-cause analysis reveals a strong correlation and a causal effect between LLMs and code metrics: When the value of a metric is changed, LLM predictions tend to shift by a corresponding magnitude. This dependency suggests that LLMs operate at a similarly shallow level as code metrics, limiting their ability to grasp complex patterns and fully realize their potential in vulnerability discovery. Based on these findings, we derive recommendations on how research should more effectively address this challenge.
• Abstract（参考訳）: 大規模言語モデル(LLM)はソフトウェア工学の多くのタスクに優れていますが、脆弱性発見にそれらを活用する進歩は近年停滞しています。 この現象を理解するために,古典的符号メトリクスのレンズを用いてLLMを解析する。 驚いたことに、これらのメトリクスにのみ訓練された分類器は、脆弱性発見のための最先端のLLMと同等に動作している。 根本原因分析では、LLMとコードメトリクスの間に強い相関関係と因果効果が示される: メトリックの値が変更された場合、LLM予測は対応する大きさでシフトする傾向にある。 この依存性は、LLMがコードメトリクスと同様に浅いレベルで動作し、複雑なパターンを把握でき、脆弱性発見の可能性を完全に実現できる能力を制限することを示唆している。 これらの知見に基づいて,この課題に対して研究がより効果的に対処する方法を推奨する。

関連論文リスト

• Iterative Self-Incentivization Empowers Large Language Models as Agentic Searchers [74.17516978246152]
  大規模言語モデル(LLM)は、従来の手法を進化させるために情報検索に広く統合されている。 エージェント検索フレームワークであるEXSEARCHを提案する。 4つの知識集約ベンチマークの実験では、EXSEARCHはベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2025-05-26T15:27:55Z)
• What You See Is Not Always What You Get: An Empirical Study of Code Comprehension by Large Language Models [0.5735035463793009]
  ソースコードに隠された文字操作がLLMの動作を誤認し,人間のレビュアーには検出不能なままにしておくという,大きな言語モデル(LLM)の攻撃に対する脆弱性について検討する。 これらの攻撃には、コードリオーダー、見えないコーディング文字、コード削除、コードホモグリフが含まれる。 以上の結果より,LLMは摂動の大きさと性能に異なる負の相関性を示す一方,LLMは認識不能なコードキャラクタ攻撃に対する感受性を示すことが明らかとなった。
  論文  参考訳（メタデータ） (2024-12-11T04:52:41Z)
• Beyond Binary: Towards Fine-Grained LLM-Generated Text Detection via Role Recognition and Involvement Measurement [51.601916604301685]
  大規模言語モデル(LLM)は、オンライン談話における信頼を損なう可能性のあるコンテンツを生成する。 現在の手法はバイナリ分類に重点を置いており、人間とLLMのコラボレーションのような現実のシナリオの複雑さに対処できないことが多い。 バイナリ分類を超えてこれらの課題に対処するために,LLM生成コンテンツを検出するための新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2024-10-18T08:14:10Z)
• Exploring Automatic Cryptographic API Misuse Detection in the Era of LLMs [60.32717556756674]
  本稿では,暗号誤用の検出において,大規模言語モデルを評価するための体系的評価フレームワークを提案する。 11,940個のLCM生成レポートを詳細に分析したところ、LSMに固有の不安定性は、報告の半数以上が偽陽性になる可能性があることがわかった。 最適化されたアプローチは、従来の手法を超え、確立されたベンチマークでこれまで知られていなかった誤用を明らかにすることで、90%近い顕著な検出率を達成する。
  論文  参考訳（メタデータ） (2024-07-23T15:31:26Z)
• Tokenization Matters! Degrading Large Language Models through Challenging Their Tokenization [12.418844515095035]
  大規模言語モデル(LLM)は、特定のクエリに対する不正確な応答を生成する傾向がある。 不正確なトークン化は、LLMが入力を正確に理解するのを妨げている臨界点である。 我々は, LLMのトークン化に挑戦するために, 様々なオープンソースLLMの語彙をベースとして, $textbfADT (Adrial dataset for Tokenizer)$という逆データセットを構築した。
  論文  参考訳（メタデータ） (2024-05-27T11:39:59Z)
• ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
  本稿では,LLMベースのフレームワークであるReEvalについて述べる。 本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。 我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
  論文  参考訳（メタデータ） (2023-10-19T06:37:32Z)
• Survey on Factuality in Large Language Models: Knowledge, Retrieval and Domain-Specificity [61.54815512469125]
  本調査は,大規模言語モデル(LLM)における事実性の重要課題に対処する。 LLMが様々な領域にまたがる応用を見出すにつれ、その出力の信頼性と正確性は重要となる。
  論文  参考訳（メタデータ） (2023-10-11T14:18:03Z)
• Assessing Hidden Risks of LLMs: An Empirical Study on Robustness, Consistency, and Credibility [37.682136465784254]
  我々は、ChatGPT、LLaMA、OPTを含む、主流の大規模言語モデル(LLM)に100万以上のクエリを実行します。 入力が極端に汚染された場合でも、ChatGPTは正しい答えを得ることができる。 そこで本研究では,LCMによる評価において,そのようなデータの有効性を大まかに決定する新たな指標を提案する。
  論文  参考訳（メタデータ） (2023-05-15T15:44:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。