論文の概要: A Multi-Dataset Evaluation of Models for Automated Vulnerability Repair

• arxiv url: http://arxiv.org/abs/2506.04987v1
• Date: Thu, 05 Jun 2025 13:00:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-06 21:53:49.710208
• Title: A Multi-Dataset Evaluation of Models for Automated Vulnerability Repair
• Title（参考訳）: 自動脆弱性修復モデルのマルチデータセット評価
• Authors: Zanis Ali Khan, Aayush Garg, Qiang Tang,
• Abstract要約: 本研究では、6つのデータセットと4つの言語にまたがる自動脆弱性パッチのための事前訓練された言語モデルであるCodeBERTとCodeT5について検討する。 それらの精度と一般化を未知の脆弱性に対して評価する。 結果は、両方のモデルが断片化やスパースなコンテキストで課題に直面しているのに対して、CodeBERTはそのようなシナリオでは比較的優れたパフォーマンスを示し、CodeT5は複雑な脆弱性パターンのキャプチャに優れていることを示している。
• 参考スコア（独自算出の注目度）: 2.7674959824386858
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Software vulnerabilities pose significant security threats, requiring effective mitigation. While Automated Program Repair (APR) has advanced in fixing general bugs, vulnerability patching, a security-critical aspect of APR remains underexplored. This study investigates pre-trained language models, CodeBERT and CodeT5, for automated vulnerability patching across six datasets and four languages. We evaluate their accuracy and generalization to unknown vulnerabilities. Results show that while both models face challenges with fragmented or sparse context, CodeBERT performs comparatively better in such scenarios, whereas CodeT5 excels in capturing complex vulnerability patterns. CodeT5 also demonstrates superior scalability. Furthermore, we test fine-tuned models on both in-distribution (trained) and out-of-distribution (unseen) datasets. While fine-tuning improves in-distribution performance, models struggle to generalize to unseen data, highlighting challenges in robust vulnerability detection. This study benchmarks model performance, identifies limitations in generalization, and provides actionable insights to advance automated vulnerability patching for real-world security applications.
• Abstract（参考訳）: ソフトウェアの脆弱性は重大なセキュリティ上の脅威を引き起こし、効果的に軽減する必要がある。 Automated Program repair (APR)は、一般的なバグ、脆弱性パッチの修正に進歩しているが、APRのセキュリティクリティカルな側面はいまだ探索されていない。 本研究では、6つのデータセットと4つの言語にまたがる自動脆弱性パッチのための事前訓練された言語モデルであるCodeBERTとCodeT5について検討する。 それらの精度と一般化を未知の脆弱性に対して評価する。 結果は、両方のモデルが断片化やスパースなコンテキストで課題に直面しているのに対して、CodeBERTはそのようなシナリオでは比較的優れたパフォーマンスを示し、CodeT5は複雑な脆弱性パターンのキャプチャに優れていることを示している。 CodeT5はスケーラビリティも優れている。 さらに,本研究では,非配信(トレーニング)と非配信(未知)の両方のデータセット上で,微調整モデルをテストする。 微調整によって分散性能が向上する一方、モデルは見えないデータへの一般化に苦慮し、堅牢な脆弱性検出の課題を浮き彫りにする。 本研究は、モデル性能をベンチマークし、一般化の限界を特定し、現実のセキュリティアプリケーションに対する自動脆弱性パッチを前進させるための実用的な洞察を提供する。

関連論文リスト

• Breaking Focus: Contextual Distraction Curse in Large Language Models [68.4534308805202]
  大規模言語モデル(LLM)の重大な脆弱性について検討する。 この現象は、セマンティック・コヒーレントだが無関係な文脈で修正された質問に対して、モデルが一貫した性能を維持することができないときに発生する。 本稿では,CDVの例を自動生成する効率的な木探索手法を提案する。
  論文  参考訳（メタデータ） (2025-02-03T18:43:36Z)
• Evaluating Pre-Trained Models for Multi-Language Vulnerability Patching [3.220818227251765]
  本稿では,事前学習型言語モデルであるCodeBERTとCodeT5の脆弱性パッチ自動適用の可能性について検討する。 これらのモデルの精度、計算効率、脆弱性のあるコードパッチの長さがパフォーマンスに与える影響について評価する。
  論文  参考訳（メタデータ） (2025-01-13T13:51:05Z)
• Improving Data Curation of Software Vulnerability Patches through Uncertainty Quantification [6.916509590637601]
  本稿では、不確実性定量化(UQ)を用いて、公開可能なソフトウェア脆弱性パッチのデータセットをキュレートする手法を提案する。 Model EnsembleとHerescedasticモデルは、脆弱性パッチデータセットのベストチョイスです。
  論文  参考訳（メタデータ） (2024-11-18T15:37:28Z)
• Generalization-Enhanced Code Vulnerability Detection via Multi-Task Instruction Fine-Tuning [16.54022485688803]
  VulLLMは、マルチタスク学習をLarge Language Models (LLM)と統合して、ディープシークな脆弱性機能を効果的にマイニングする新しいフレームワークである。 6つの大きなデータセットで実施された実験は、VulLLMが有効性、一般化、堅牢性という観点から7つの最先端モデルを上回ることを示した。
  論文  参考訳（メタデータ） (2024-06-06T03:29:05Z)
• Vulnerability Detection with Code Language Models: How Far Are We? [40.455600722638906]
  PrimeVulは、脆弱性検出のためのコードLMのトレーニングと評価のための新しいデータセットである。 これは、人間の検証されたベンチマークに匹敵するラベルの精度を達成する、新しいデータラベリング技術を含んでいる。 また、厳密なデータ重複解消戦略と時系列データ分割戦略を実装して、データの漏洩問題を軽減している。
  論文  参考訳（メタデータ） (2024-03-27T14:34:29Z)
• Model Stealing Attack against Graph Classification with Authenticity, Uncertainty and Diversity [80.16488817177182]
  GNNは、クエリ許可を通じてターゲットモデルを複製するための悪行であるモデル盗難攻撃に対して脆弱である。 異なるシナリオに対応するために,3つのモデルステルス攻撃を導入する。
  論文  参考訳（メタデータ） (2023-12-18T05:42:31Z)
• ASSERT: Automated Safety Scenario Red Teaming for Evaluating the Robustness of Large Language Models [65.79770974145983]
  ASSERT、Automated Safety Scenario Red Teamingは、セマンティックなアグリゲーション、ターゲットブートストラップ、敵の知識注入という3つの方法で構成されている。 このプロンプトを4つの安全領域に分割し、ドメインがモデルの性能にどのように影響するかを詳細に分析する。 統計的に有意な性能差は, 意味的関連シナリオにおける絶対分類精度が最大11%, ゼロショット逆数設定では最大19%の絶対誤差率であることがわかった。
  論文  参考訳（メタデータ） (2023-10-14T17:10:28Z)
• CodeLMSec Benchmark: Systematically Evaluating and Finding Security Vulnerabilities in Black-Box Code Language Models [58.27254444280376]
  自動コード生成のための大規模言語モデル(LLM)は、いくつかのプログラミングタスクにおいてブレークスルーを達成した。 これらのモデルのトレーニングデータは、通常、インターネット(例えばオープンソースのリポジトリから)から収集され、障害やセキュリティ上の脆弱性を含む可能性がある。 この不衛生なトレーニングデータは、言語モデルにこれらの脆弱性を学習させ、コード生成手順中にそれを伝播させる可能性がある。
  論文  参考訳（メタデータ） (2023-02-08T11:54:07Z)
• VELVET: a noVel Ensemble Learning approach to automatically locate VulnErable sTatements [62.93814803258067]
  本稿では,ソースコード中の脆弱な文を見つけるための新しいアンサンブル学習手法であるVELVETを提案する。 我々のモデルは、グラフベースとシーケンスベースニューラルネットワークを組み合わせて、プログラムグラフの局所的およびグローバル的コンテキストを捕捉する。 VELVETは、合成データと実世界のデータに対して、それぞれ99.6%と43.6%の精度を達成している。
  論文  参考訳（メタデータ） (2021-12-20T22:45:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。