論文の概要: Pre-training by Predicting Program Dependencies for Vulnerability
Analysis Tasks
- arxiv url: http://arxiv.org/abs/2402.00657v1
- Date: Thu, 1 Feb 2024 15:18:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-02 15:03:29.033799
- Title: Pre-training by Predicting Program Dependencies for Vulnerability
Analysis Tasks
- Title(参考訳): 脆弱性解析タスクのプログラム依存性予測による事前学習
- Authors: Zhongxin Liu, Zhijie Tang, Junwei Zhang, Xin Xia, and Xiaohu Yang
- Abstract要約: 本研究は、制御依存予測(CDP)とデータ依存予測(DDP)という、2つの新しい事前学習目標を提案する。
CDPとDDPは、それぞれステートメントレベルのコントロール依存性とトークンレベルのデータ依存関係を、ソースコードのみに基づいてコードスニペットで予測することを目的としている。
事前トレーニング後、CDPとDDPは、微調整中に脆弱なコードの理解を高めることができ、部分関数と完全関数の両方に対する依存分析を直接実行できる。
- 参考スコア(独自算出の注目度): 12.016029378106131
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vulnerability analysis is crucial for software security. This work focuses on
using pre-training techniques to enhance the understanding of vulnerable code
and boost vulnerability analysis. The code understanding ability of a
pre-trained model is highly related to its pre-training objectives. The
semantic structure, e.g., control and data dependencies, of code is important
for vulnerability analysis. However, existing pre-training objectives either
ignore such structure or focus on learning to use it. The feasibility and
benefits of learning the knowledge of analyzing semantic structure have not
been investigated. To this end, this work proposes two novel pre-training
objectives, namely Control Dependency Prediction (CDP) and Data Dependency
Prediction (DDP), which aim to predict the statement-level control dependencies
and token-level data dependencies, respectively, in a code snippet only based
on its source code. During pre-training, CDP and DDP can guide the model to
learn the knowledge required for analyzing fine-grained dependencies in code.
After pre-training, the pre-trained model can boost the understanding of
vulnerable code during fine-tuning and can directly be used to perform
dependence analysis for both partial and complete functions. To demonstrate the
benefits of our pre-training objectives, we pre-train a Transformer model named
PDBERT with CDP and DDP, fine-tune it on three vulnerability analysis tasks,
i.e., vulnerability detection, vulnerability classification, and vulnerability
assessment, and also evaluate it on program dependence analysis. Experimental
results show that PDBERT benefits from CDP and DDP, leading to state-of-the-art
performance on the three downstream tasks. Also, PDBERT achieves F1-scores of
over 99% and 94% for predicting control and data dependencies, respectively, in
partial and complete functions.
- Abstract(参考訳): 脆弱性分析はソフトウェアセキュリティにとって不可欠である。
この研究は、脆弱性コードの理解を強化し、脆弱性分析を促進するために、事前トレーニング技術を使うことに焦点を当てている。
事前学習モデルのコード理解能力は,その事前学習目標と強く関連している。
コードの制御やデータ依存といったセマンティック構造は、脆弱性分析において重要である。
しかし、既存の事前学習の目的は、そのような構造を無視したり、それを使うための学習に集中する。
意味構造分析の知識を習得する可能性とメリットは検討されていない。
この目的のために本研究では,ソースコードのみに基づくコードスニペットにおいて,文レベルの制御依存性とトークンレベルのデータ依存性をそれぞれ予測することを目的とした,制御依存性予測(CDP)とデータ依存性予測(DDP)という,2つの新たな事前学習目標を提案する。
事前トレーニングの間、CDPとDDPは、コード内のきめ細かい依存関係を分析するのに必要な知識を学ぶためにモデルをガイドすることができる。
事前トレーニング後、事前トレーニングされたモデルは、微調整中の脆弱なコードの理解を高めることができ、部分関数と完全関数の両方の依存分析を直接行うことができる。
事前学習対象の利点を示すために,PDBERT という名前の Transformer モデルを CDP と DDP で事前学習し,脆弱性検出,脆弱性分類,脆弱性評価という3つの脆弱性解析タスクで微調整し,プログラム依存解析で評価する。
実験の結果,PDBERT は CDP と DDP の恩恵を受け,3 つの下流タスクにおける最先端のパフォーマンスが得られた。
またPDBERTは、部分関数と完全関数でそれぞれ制御とデータ依存を予測するために、99%以上と94%以上のF1スコアを達成する。
関連論文リスト
- Estimating Fr\'echet bounds for validating programmatic weak supervision [50.13475056199486]
我々は、ある変数が連続的に評価される(おそらく高次元の)分布クラス上のFr'echeの境界を推定する手法を開発する。
プログラム弱監督(PWS)を訓練した機械学習(ML)モデルの性能を評価することで,アルゴリズムの有用性を実証する。
論文 参考訳(メタデータ) (2023-12-07T07:15:11Z) - An Analysis of Initial Training Strategies for Exemplar-Free
Class-Incremental Learning [36.619804184427245]
CIL(Class-Incremental Learning)は、データストリームから分類モデルを構築することを目的としている。
破滅的な忘れ物のため、過去のクラスの例を保存できない場合、CILは特に困難である。
大量のデータに対する自己管理的な方法で事前訓練されたモデルの使用は、最近勢いを増している。
論文 参考訳(メタデータ) (2023-08-22T14:06:40Z) - Uncertainty Quantification for Deep Neural Networks: An Empirical
Comparison and Usage Guidelines [4.987581730476023]
ディープニューラルネットワーク(DNN)は、複雑なデータを処理する必要がある大規模ソフトウェアシステムのコンポーネントとして、ますます利用されている。
不確実性推定によりスーパーバイザを実装するディープラーニングベースシステム(DLS)。
論文 参考訳(メタデータ) (2022-12-14T09:12:30Z) - Understanding Programmatic Weak Supervision via Source-aware Influence
Function [76.74549130841383]
Programmatic Weak Supervision (PWS)は、複数の弱い監督ソースのソース投票を確率的トレーニングラベルに集約する。
エンドモデルのトレーニング目標を分解し、各(データ、ソース、クラス)に関連する影響を計算するために、インフルエンス関数(IF)を構築します。
これらのプリミティブな影響スコアは、ソース投票、監督ソース、トレーニングデータなど、個々のコンポーネントPWSの影響を推定するために使用することができる。
論文 参考訳(メタデータ) (2022-05-25T15:57:24Z) - Unified Instance and Knowledge Alignment Pretraining for Aspect-based
Sentiment Analysis [96.53859361560505]
Aspect-based Sentiment Analysis (ABSA) は、ある側面に対する感情の極性を決定することを目的としている。
事前トレーニングと下流ABSAデータセットの間には、常に深刻なドメインシフトが存在する。
我々は,バニラ・プレトレイン・ファインチューンパイプラインにアライメント事前訓練フレームワークを導入する。
論文 参考訳(メタデータ) (2021-10-26T04:03:45Z) - Neural Network Repair with Reachability Analysis [10.384532888747993]
安全は次世代の自律性にとって重要な問題であり、知覚と制御のためにディープニューラルネットワークに大きく依存する可能性が高い。
本研究は,安全クリティカルシステムにおける安全でないDNNを到達可能性解析で修復する枠組みを提案する。
論文 参考訳(メタデータ) (2021-08-09T17:56:51Z) - Relate and Predict: Structure-Aware Prediction with Jointly Optimized
Neural DAG [13.636680313054631]
ニューラルネットワークフレームワークdGAPを提案し、ニューラルネットワーク依存性グラフを学習し、構造認識ターゲット予測を最適化する。
dGAPは構造物の自己超越損失と目標予測損失を共同で訓練する。
複数のシミュレーションデータセットと実データセットでdGAPを実証的に評価する。
論文 参考訳(メタデータ) (2021-03-03T13:55:12Z) - Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。
我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
論文 参考訳(メタデータ) (2020-10-26T04:44:43Z) - Accurate and Robust Feature Importance Estimation under Distribution
Shifts [49.58991359544005]
PRoFILEは、新しい特徴重要度推定法である。
忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
論文 参考訳(メタデータ) (2020-09-30T05:29:01Z) - Estimating Structural Target Functions using Machine Learning and
Influence Functions [103.47897241856603]
統計モデルから特定可能な関数として生じる対象関数の統計的機械学習のための新しい枠組みを提案する。
このフレームワークは問題とモデルに依存しないものであり、応用統計学における幅広い対象パラメータを推定するのに使用できる。
我々は、部分的に観測されていない情報を持つランダム/二重ロバストな問題において、いわゆる粗大化に特に焦点をあてた。
論文 参考訳(メタデータ) (2020-08-14T16:48:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。