論文の概要: Attention Is All You Need for LLM-based Code Vulnerability Localization

• arxiv url: http://arxiv.org/abs/2410.15288v1
• Date: Sun, 20 Oct 2024 05:02:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:15:26.502720
• Title: Attention Is All You Need for LLM-based Code Vulnerability Localization
• Title（参考訳）: LLMベースのコードの脆弱性ローカライゼーションには注意が必要だ
• Authors: Yue Li, Xiao Li, Hao Wu, Yue Zhang, Xiuzhen Cheng, Sheng Zhong, Fengyuan Xu,
• Abstract要約: 手動のコード監査やルールベースのツールなど、従来の脆弱性のローカライゼーションの方法は、多くの場合、時間をかけてスコープに制限される。 本稿では,大規模言語モデルに固有の自己認識機構を活用する新しいフレームワークであるLOVAを紹介する。 LOVA は既存の LLM ベースのアプローチよりも大幅に優れており,F1 スコアの最大 5.3 倍の改善が達成されている。
• 参考スコア（独自算出の注目度）: 30.532439965854774
• License:
• Abstract: The rapid expansion of software systems and the growing number of reported vulnerabilities have emphasized the importance of accurately identifying vulnerable code segments. Traditional methods for vulnerability localization, such as manual code audits or rule-based tools, are often time-consuming and limited in scope, typically focusing on specific programming languages or types of vulnerabilities. In recent years, the introduction of large language models (LLMs) such as GPT and LLaMA has opened new possibilities for automating vulnerability detection. However, while LLMs show promise in this area, they face challenges, particularly in maintaining accuracy over longer code contexts. This paper introduces LOVA, a novel framework leveraging the self-attention mechanisms inherent in LLMs to enhance vulnerability localization. Our key insight is that self-attention mechanisms assign varying importance to different parts of the input, making it possible to track how much attention the model focuses on specific lines of code. In the context of vulnerability localization, the hypothesis is that vulnerable lines of code will naturally attract higher attention weights because they have a greater influence on the model's output. By systematically tracking changes in attention weights and focusing on specific lines of code, LOVA improves the precision of identifying vulnerable lines across various programming languages. Through rigorous experimentation and evaluation, we demonstrate that LOVA significantly outperforms existing LLM-based approaches, achieving up to a 5.3x improvement in F1-scores. LOVA also demonstrated strong scalability, with up to a 14.6x improvement in smart contract vulnerability localization across languages like C, Python, Java, and Solidity. Its robustness was proven through consistent performance across different LLM architectures.
• Abstract（参考訳）: ソフトウェアシステムの急速な拡張と報告されている脆弱性の増加は、脆弱なコードセグメントを正確に識別することの重要性を強調している。 手動のコード監査やルールベースのツールといった従来の脆弱性のローカライゼーションの方法は、多くの場合、特定のプログラミング言語や脆弱性に焦点を絞って、スコープ内で時間をかけて制限される。 近年,GPT や LLaMA などの大規模言語モデル (LLM) の導入により,脆弱性検出を自動化する新たな可能性が高まっている。 しかし、LSMはこの領域で有望であることを示しているが、特に長いコードコンテキストよりも正確性を維持する上で、課題に直面している。 本稿では,LSMに固有の自己認識機構を活用し,脆弱性の局所化を高める新しいフレームワークであるLOVAを紹介する。 私たちのキーとなる洞察は、自己注意機構が入力の異なる部分に様々な重要性を割り当て、モデルが特定のコード行にどれだけの注意を向けているかを追跡することができるということです。 脆弱性のローカライゼーション(英語版)の文脈では、脆弱なコードの行がモデル出力に大きな影響を与えるため、自然により注意を惹きつけるという仮説がある。 注意重みの変化を体系的に追跡し、特定のコード行に焦点を合わせることで、LOVAは様々なプログラミング言語で脆弱な行を特定する精度を向上させる。 厳密な実験と評価により、LOVAは既存のLCMベースのアプローチを著しく上回り、F1スコアの最大5.3倍の改善が達成されることを示した。 LOVAはまた、C、Python、Java、Solidityといった言語間でのスマートコントラクトの脆弱性ローカライゼーションを最大14.6倍改善した。 その堅牢性は、異なるLLMアーキテクチャ間の一貫したパフォーマンスによって証明された。

関連論文リスト

• VulnLLMEval: A Framework for Evaluating Large Language Models in Software Vulnerability Detection and Patching [0.9208007322096533]
  大きな言語モデル(LLM)は、コード翻訳のようなタスクにおいて有望であることを示している。 本稿では,C コードの脆弱性を特定し,パッチする際の LLM の性能を評価するためのフレームワーク VulnLLMEval を紹介する。 私たちの研究には、Linuxカーネルから抽出された307の現実世界の脆弱性が含まれている。
  論文  参考訳（メタデータ） (2024-09-16T22:00:20Z)
• Code Vulnerability Detection: A Comparative Analysis of Emerging Large Language Models [0.46085106405479537]
  本稿では,大規模言語モデル(LLM)による脆弱性の同定の有効性について検討する。 特にLlama, CodeLlama, Gemma, CodeGemma, そして既存の最先端モデルBERT, RoBERTa, GPT-3の性能評価を行った。 CodeGemmaは、ソフトウェアセキュリティの脆弱性を検出するための大規模言語モデルが最近追加された中で、最高F1スコア58、リコール87を達成している。
  論文  参考訳（メタデータ） (2024-09-16T17:23:00Z)
• Outside the Comfort Zone: Analysing LLM Capabilities in Software Vulnerability Detection [9.652886240532741]
  本稿では,ソースコードの脆弱性検出における大規模言語モデルの機能について,徹底的に解析する。 我々は6つの汎用LCMに対して脆弱性検出を特別に訓練した6つのオープンソースモデルの性能を評価する。
  論文  参考訳（メタデータ） (2024-08-29T10:00:57Z)
• Exploring Automatic Cryptographic API Misuse Detection in the Era of LLMs [60.32717556756674]
  本稿では,暗号誤用の検出において,大規模言語モデルを評価するための体系的評価フレームワークを提案する。 11,940個のLCM生成レポートを詳細に分析したところ、LSMに固有の不安定性は、報告の半数以上が偽陽性になる可能性があることがわかった。 最適化されたアプローチは、従来の手法を超え、確立されたベンチマークでこれまで知られていなかった誤用を明らかにすることで、90%近い顕著な検出率を達成する。
  論文  参考訳（メタデータ） (2024-07-23T15:31:26Z)
• AutoDetect: Towards a Unified Framework for Automated Weakness Detection in Large Language Models [95.09157454599605]
  大規模言語モデル(LLM)はますます強力になってきていますが、それでも顕著ですが微妙な弱点があります。 従来のベンチマークアプローチでは、特定のモデルの欠陥を徹底的に特定することはできない。 さまざまなタスクにまたがるLLMの弱点を自動的に露呈する統合フレームワークであるAutoDetectを導入する。
  論文  参考訳（メタデータ） (2024-06-24T15:16:45Z)
• Harnessing Large Language Models for Software Vulnerability Detection: A Comprehensive Benchmarking Study [1.03590082373586]
  ソースコードの脆弱性発見を支援するために,大規模言語モデル(LLM)を提案する。 目的は、複数の最先端のLCMをテストし、最も優れたプロンプト戦略を特定することである。 LLMは従来の静的解析ツールよりも多くの問題を特定でき、リコールやF1スコアの点で従来のツールよりも優れています。
  論文  参考訳（メタデータ） (2024-05-24T14:59:19Z)
• Unveiling the Misuse Potential of Base Large Language Models via In-Context Learning [61.2224355547598]
  大規模言語モデル(LLM)のオープンソース化は、アプリケーション開発、イノベーション、科学的進歩を加速させる。 我々の調査は、この信念に対する重大な監視を露呈している。 我々の研究は、慎重に設計されたデモを配置することにより、ベースLSMが悪意のある命令を効果的に解釈し実行できることを実証する。
  論文  参考訳（メタデータ） (2024-04-16T13:22:54Z)
• RigorLLM: Resilient Guardrails for Large Language Models against Undesired Content [62.685566387625975]
  現在の緩和戦略は効果はあるものの、敵の攻撃下では弾力性がない。 本稿では,大規模言語モデルのための弾力性ガードレール(RigorLLM)について紹介する。
  論文  参考訳（メタデータ） (2024-03-19T07:25:02Z)
• CodeAttack: Revealing Safety Generalization Challenges of Large Language Models via Code Completion [117.178835165855]
  本稿では,自然言語入力をコード入力に変換するフレームワークであるCodeAttackを紹介する。 我々の研究は、コード入力に対するこれらのモデルの新たな、普遍的な安全性の脆弱性を明らかにした。 CodeAttackと自然言語の分布ギャップが大きくなると、安全性の一般化が弱くなる。
  論文  参考訳（メタデータ） (2024-03-12T17:55:38Z)
• How Far Have We Gone in Vulnerability Detection Using Large Language Models [15.09461331135668]
  包括的な脆弱性ベンチマークであるVulBenchを紹介します。 このベンチマークは、幅広いCTF課題と実世界のアプリケーションから高品質なデータを集約する。 いくつかのLSMは、脆弱性検出における従来のディープラーニングアプローチよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-21T08:20:39Z)
• Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
  本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。 より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。 この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
  論文  参考訳（メタデータ） (2023-09-20T09:23:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。