論文の概要: An Empirical Study of Deep Learning Models for Vulnerability Detection
- arxiv url: http://arxiv.org/abs/2212.08109v2
- Date: Mon, 19 Dec 2022 02:41:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-20 12:02:47.794258
- Title: An Empirical Study of Deep Learning Models for Vulnerability Detection
- Title（参考訳）: 脆弱性検出のためのディープラーニングモデルに関する実証的研究
- Authors: Benjamin Steenhoek, Md Mahbubur Rahman, Richard Jiles, and Wei Le
- Abstract要約: 我々は、広く使われている2つの脆弱性検出データセット上で、最先端の9つのディープラーニングモデルを調査し、再現した。
モデル能力,トレーニングデータ,モデル解釈について検討した。
我々の研究結果は、モデル結果の理解を深め、トレーニングデータ作成のガイダンスを提供し、モデルの堅牢性を向上させるのに役立つ。
- 参考スコア（独自算出の注目度）: 4.243592852049963
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep learning (DL) models of code have recently reported great progress for
vulnerability detection. In some cases, DL-based models have outperformed
static analysis tools. Although many great models have been proposed, we do not
yet have a good understanding of these models. This limits the further
advancement of model robustness, debugging, and deployment for the
vulnerability detection. In this paper, we surveyed and reproduced 9
state-of-the-art (SOTA) deep learning models on 2 widely used vulnerability
detection datasets: Devign and MSR. We investigated 6 research questions in
three areas, namely model capabilities, training data, and model
interpretation. We experimentally demonstrated the variability between
different runs of a model and the low agreement among different models'
outputs. We investigated models trained for specific types of vulnerabilities
compared to a model that is trained on all the vulnerabilities at once. We
explored the types of programs DL may consider "hard" to handle. We
investigated the relations of training data sizes and training data composition
with model performance. Finally, we studied model interpretations and analyzed
important features that the models used to make predictions. We believe that
our findings can help better understand model results, provide guidance on
preparing training data, and improve the robustness of the models. All of our
datasets, code, and results are available at
https://figshare.com/s/284abfba67dba448fdc2.
- Abstract（参考訳）: コード深層学習(DL)モデルは、最近脆弱性検出の大きな進歩を報告している。
dlベースのモデルは静的解析ツールよりも優れています。
多くの優れたモデルが提案されているが、これらのモデルについて十分に理解されていない。
これにより、脆弱性検出のためのモデルロバスト性、デバッグ、デプロイメントのさらなる進歩が制限される。
本稿では,広く使用されている脆弱性検出データセットであるdevignとmsrの9つの最先端(sota)ディープラーニングモデルを調査し,再現した。
モデル能力,トレーニングデータ,モデル解釈という3つの分野における6つの研究課題を調査した。
モデルの異なる動作と、異なるモデルの出力間の低一致の変動を実験的に実証した。
特定の種類の脆弱性に対してトレーニングされたモデルと、すべての脆弱性に対して一度にトレーニングされたモデルを比較した。
我々は、DLが扱う「ハード」なプログラムの種類を調査した。
トレーニングデータサイズとトレーニングデータ組成とモデル性能の関係について検討した。
最後に,モデル解釈を研究し,モデルが予測に用いた重要な特徴を分析した。
私たちの発見は、モデル結果の理解を深め、トレーニングデータの準備に関するガイダンスを提供し、モデルの堅牢性を改善するのに役立つと考えています。
データセット、コード、結果はすべて、https://figshare.com/s/284abfba67dba448fdc2で利用可能です。
関連論文リスト
- Learning-based Models for Vulnerability Detection: An Extensive Study [3.1317409221921144]
我々は、最先端の学習ベースアプローチの2つのタイプを広範かつ包括的に調査する。
本稿では,シーケンスベースモデルの優先度と,グラフベースモデルの限定能力について実験的に検証する。
論文 参考訳（メタデータ） (2024-08-14T13:01:30Z) - Identifying and Mitigating Model Failures through Few-shot CLIP-aided
Diffusion Generation [65.268245109828]
本稿では,突発的相関に付随する障害モードのテキスト記述を生成するためのエンドツーエンドフレームワークを提案する。
これらの記述は拡散モデルのような生成モデルを用いて合成データを生成するのに使うことができる。
本実験では, ハードサブポピュレーションの精度(sim textbf21%$)が著しく向上した。
論文 参考訳（メタデータ） (2023-12-09T04:43:49Z) - Do Language Models Learn Semantics of Code? A Case Study in
Vulnerability Detection [7.725755567907359]
我々は,解釈可能性ツール,注意分析,相互作用行列解析という3つの異なる手法を用いてモデルを解析する。
モデル入力内のバグセマンティクスをハイライトする2つのアノテーション手法を開発した。
この結果から,より複雑なパスベースのバグセマンティクスを学習する上で,モデルにバグセマンティクスの情報を提供し,モデルがそれに参加することができることを示唆した。
論文 参考訳（メタデータ） (2023-11-07T16:31:56Z) - Fantastic Gains and Where to Find Them: On the Existence and Prospect of
General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。
このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
論文 参考訳（メタデータ） (2023-10-26T17:59:46Z) - SecurityNet: Assessing Machine Learning Vulnerabilities on Public Models [74.58014281829946]
本研究では, モデル盗難攻撃, メンバーシップ推論攻撃, パブリックモデルにおけるバックドア検出など, いくつかの代表的な攻撃・防御の有効性を解析する。
実験により,これらの攻撃・防御性能は,自己学習モデルと比較して,公共モデルによって大きく異なることが示された。
論文 参考訳（メタデータ） (2023-10-19T11:49:22Z) - Towards Causal Deep Learning for Vulnerability Detection [31.59558109518435]
ソフトウェア工学モデルに計算に基づく因果学習を導入する。
以上の結果から,CausalVulはモデル精度,ロバスト性,OOD性能を一貫して改善した。
論文 参考訳（メタデータ） (2023-10-12T00:51:06Z) - A study on the impact of pre-trained model on Just-In-Time defect
prediction [10.205110163570502]
RoBERTaJIT、CodeBERTJIT、BARTJIT、PLBARTJIT、GPT2JIT、CodeGPTJITの6つのモデルを構築します。
本稿では,コミットコードとコミットメッセージを入力として使用する際のモデルの性能と,トレーニング効率とモデル分布の関係について検討する。
論文 参考訳（メタデータ） (2023-09-05T15:34:22Z) - A Comprehensive Evaluation and Analysis Study for Chinese Spelling Check [53.152011258252315]
音声とグラフィックの情報を合理的に使用することは,中国語のスペルチェックに有効であることを示す。
モデルはテストセットのエラー分布に敏感であり、モデルの欠点を反映している。
一般的なベンチマークであるSIGHANは、モデルの性能を確実に評価できない。
論文 参考訳（メタデータ） (2023-07-25T17:02:38Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳（メタデータ） (2022-12-19T20:46:43Z) - Deep Learning Models for Knowledge Tracing: Review and Empirical
Evaluation [2.423547527175807]
我々は,オープンで広く利用されているデータセットを用いた深層学習知識追跡(DLKT)モデルをレビューし,評価する。
評価されたDLKTモデルは、以前報告した結果の再現性と評価のために再実装されている。
論文 参考訳（メタデータ） (2021-12-30T14:19:27Z) - Firearm Detection via Convolutional Neural Networks: Comparing a
Semantic Segmentation Model Against End-to-End Solutions [68.8204255655161]
武器の脅威検出とライブビデオからの攻撃的な行動は、潜在的に致命的な事故の迅速検出と予防に使用できる。
これを実現する一つの方法は、人工知能と、特に画像分析のための機械学習を使用することです。
従来のモノリシックなエンド・ツー・エンドのディープラーニングモデルと、セマンティクスセグメンテーションによって火花を検知する単純なニューラルネットワークのアンサンブルに基づく前述したモデルを比較した。
論文 参考訳（メタデータ） (2020-12-17T15:19:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。