論文の概要: Vulnerability Detection in Popular Programming Languages with Language Models

• arxiv url: http://arxiv.org/abs/2412.15905v2
• Date: Mon, 23 Dec 2024 06:12:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 12:13:29.605219
• Title: Vulnerability Detection in Popular Programming Languages with Language Models
• Title（参考訳）: 言語モデルを用いた人気プログラミング言語の脆弱性検出
• Authors: Syafiq Al Atiiq, Christian Gehrmann, Kevin Dahlén,
• Abstract要約: 本稿では,JavaScript,Java,Python,PHP,Goの脆弱性検出における言語モデル(LM)の有効性について検討する。 C/C++と比較して、JavaScriptは最高のパフォーマンスを示し、より優れた、より実用的な検出能力を持っています。
• 参考スコア（独自算出の注目度）: 2.048226951354646
• License:
• Abstract: Vulnerability detection is crucial for maintaining software security, and recent research has explored the use of Language Models (LMs) for this task. While LMs have shown promising results, their performance has been inconsistent across datasets, particularly when generalizing to unseen code. Moreover, most studies have focused on the C/C++ programming language, with limited attention given to other popular languages. This paper addresses this gap by investigating the effectiveness of LMs for vulnerability detection in JavaScript, Java, Python, PHP, and Go, in addition to C/C++ for comparison. We utilize the CVEFixes dataset to create a diverse collection of language-specific vulnerabilities and preprocess the data to ensure quality and integrity. We fine-tune and evaluate state-of-the-art LMs across the selected languages and find that the performance of vulnerability detection varies significantly. JavaScript exhibits the best performance, with considerably better and more practical detection capabilities compared to C/C++. We also examine the relationship between code complexity and detection performance across the six languages and find only a weak correlation between code complexity metrics and the models' F1 scores.
• Abstract（参考訳）: 脆弱性検出はソフトウェアセキュリティの維持に不可欠であり、最近の研究では、このタスクに言語モデル(LM)を使用することが検討されている。 LMは有望な結果を示しているが、そのパフォーマンスはデータセット間で矛盾している。 さらに、ほとんどの研究はC/C++プログラミング言語に焦点を合わせており、他の人気のある言語に限定的に注意を払っている。 本稿では,JavaScript,Java,Python,PHP,Goの脆弱性検出におけるLMの有効性と,比較のためのC/C++について検討する。 CVEFixesデータセットを使用して、言語固有の脆弱性の多様なコレクションを作成し、品質と整合性を保証するためにデータを前処理します。 我々は、選択した言語間で最先端のLMを微調整し評価し、脆弱性検出の性能が著しく異なることを発見した。 JavaScriptは、C/C++と比較して、はるかに優れた、より実用的な検出機能を備えた、最高のパフォーマンスを示している。 また,6言語間のコード複雑性と検出性能の関係についても検討し,コードの複雑性指標とモデルのF1スコアとの間には弱い相関関係しか見つからなかった。

関連論文リスト

• Bridging the Language Gaps in Large Language Models with Inference-Time Cross-Lingual Intervention [71.12193680015622]
  大規模言語モデル(LLM)は自然言語処理において顕著な能力を示している。 LLMは異なる言語間で大きな性能差を示す。 Inference-Time Cross-Lingual Intervention (INCLINE) を提案する。
  論文  参考訳（メタデータ） (2024-10-16T11:23:03Z)
• CRUXEval-X: A Benchmark for Multilingual Code Reasoning, Understanding and Execution [50.7413285637879]
  CRUXEVAL-Xコード推論ベンチマークには19のプログラミング言語が含まれている。 各言語に対して少なくとも600人の被験者で構成され、合計19Kのコンテンツ一貫性テストがある。 Pythonでのみトレーニングされたモデルでさえ、他の言語で34.4%のPass@1を達成することができる。
  論文  参考訳（メタデータ） (2024-08-23T11:43:00Z)
• Large Language Models for Secure Code Assessment: A Multi-Language Empirical Study [1.9116784879310031]
  GPT-4oは,数ショット設定を用いて,最も高い脆弱性検出とCWE分類のスコアを達成できることを示す。 我々は、VSCodeと統合されたCODEGUARDIANと呼ばれるライブラリを開発し、開発者はLLM支援リアルタイム脆弱性分析を行うことができる。
  論文  参考訳（メタデータ） (2024-08-12T18:10:11Z)
• Assessing Code Generation with Intermediate Languages [6.999311675957218]
  本研究では、様々なプログラミング言語、自然言語ソリューション、擬似コードを含む中間言語の利用について検討する。 以上の結果から, 中間言語は一般に, 最先端性能を達成できていない大規模モデルにおいて, 高い有効性を示すことが明らかとなった。
  論文  参考訳（メタデータ） (2024-07-07T15:35:41Z)
• Quantifying Contamination in Evaluating Code Generation Capabilities of Language Models [27.24738197172374]
  大規模言語モデルは、様々なコード生成ベンチマークで顕著なパフォーマンスを達成した。 これらのベンチマークが事前トレーニングや微調整のデータにリークされる可能性があるため、潜在的な汚染に関する懸念が高まっている。 我々は、人気のあるコード生成ベンチマークとオープントレーニングコーパスの間にかなりの重複があることを示し、トレーニング中に同様のソリューションが見られたベンチマークのサブセットにおいて、モデルの性能が大幅に向上することを示した。
  論文  参考訳（メタデータ） (2024-03-06T21:45:35Z)
• Understanding the Effectiveness of Large Language Models in Detecting Security Vulnerabilities [12.82645410161464]
  5つの異なるセキュリティデータセットから5,000のコードサンプルに対して、16の事前学習された大規模言語モデルの有効性を評価する。 全体として、LSMは脆弱性の検出において最も穏やかな効果を示し、データセットの平均精度は62.8%、F1スコアは0.71である。 ステップバイステップ分析を含む高度なプロンプト戦略は、F1スコア(平均0.18まで)で実世界のデータセット上でのLLMのパフォーマンスを著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2023-11-16T13:17:20Z)
• AdaCCD: Adaptive Semantic Contrasts Discovery Based Cross Lingual Adaptation for Code Clone Detection [69.79627042058048]
  AdaCCDは、その言語でアノテーションを使わずに、新しい言語のクローンコードを検出する新しい言語間適応手法である。 5つのプログラミング言語からなる多言語コードクローン検出ベンチマークを構築し,AdaCCDの言語間適応性を評価する。
  論文  参考訳（メタデータ） (2023-11-13T12:20:48Z)
• L2CEval: Evaluating Language-to-Code Generation Capabilities of Large Language Models [102.00201523306986]
  大規模言語モデル(LLM)の言語間コード生成能力を体系的に評価するL2CEvalを提案する。 モデルのサイズ、事前学習データ、命令チューニング、異なるプロンプトメソッドなど、それらのパフォーマンスに影響を与える可能性のある要因を分析する。 モデル性能の評価に加えて、モデルに対する信頼性校正を計測し、出力プログラムの人間による評価を行う。
  論文  参考訳（メタデータ） (2023-09-29T17:57:00Z)
• Adversarial GLUE: A Multi-Task Benchmark for Robustness Evaluation of Language Models [86.02610674750345]
  AdvGLUE(Adversarial GLUE)は、様々な種類の敵攻撃の下で、現代の大規模言語モデルの脆弱性を調査し評価するための新しいマルチタスクベンチマークである。 GLUEタスクに14の逆攻撃手法を適用してAdvGLUEを構築する。 テストしたすべての言語モデルとロバストなトレーニングメソッドは、AdvGLUEではパフォーマンスが悪く、スコアは明確な精度よりもはるかに遅れています。
  論文  参考訳（メタデータ） (2021-11-04T12:59:55Z)
• X-FACTR: Multilingual Factual Knowledge Retrieval from Pretrained Language Models [103.75890012041366]
  言語モデル(LM)は、事実の知識を捉えるのに驚くほど成功した。 しかし、LMの実際の表現能力の研究は、ほぼ間違いなく英語で行われている。 我々は23の語型的多様言語に対するクローゼスタイルプローブのベンチマークを作成する。
  論文  参考訳（メタデータ） (2020-10-13T05:29:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。