論文の概要: Vul-LMGNNs: Fusing language models and online-distilled graph neural networks for code vulnerability detection

• arxiv url: http://arxiv.org/abs/2404.14719v2
• Date: Fri, 21 Mar 2025 13:29:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-24 14:52:21.286063
• Title: Vul-LMGNNs: Fusing language models and online-distilled graph neural networks for code vulnerability detection
• Title（参考訳）: Vul-LMGNNs: コード脆弱性検出のためのFusing言語モデルとオンライン蒸留グラフニューラルネットワーク
• Authors: Ruitong Liu, Yanbin Wang, Haitao Xu, Jianguo Sun, Fan Zhang, Peiyue Li, Zhenhao Guo,
• Abstract要約: 提案するVul-LMGNNは,学習済みのコードLMをグラフニューラルネットワーク(GNN)に統合し,意味情報と構造情報の層間伝播を可能にする。 Vul-LMGNNは、コードプロパティグラフ(CPG)を活用して、構文、制御フロー、データ依存性を統合し、ゲート付きGNNを使って構造抽出を行う。
• 参考スコア（独自算出の注目度）: 5.536252767247838
• License:
• Abstract: Code Language Models (codeLMs) and Graph Neural Networks (GNNs) are widely used in code vulnerability detection. However, GNNs often rely on aggregating information from adjacent nodes, limiting structural information propagation across layers. While codeLMs can supplement GNNs with semantic information, existing integration methods underexplore their collaborative potential. To address these challenges, we propose Vul-LMGNNs, integrating pre-trained codeLMs with GNNs to enable cross-layer propagation of semantic and structural information. Vul-LMGNNs leverage Code Property Graphs (CPGs) to incorporate syntax, control flow, and data dependencies, using gated GNNs for structural extraction. An online knowledge distillation (KD) mechanism allows a student GNN to capture structural information from a trained counterpart via alternating training. Additionally, an "implicit-explicit" joint training framework leverages codeLMs to initialize embeddings and propagate code semantics. In the explicit phase, it performs late fusion via linear interpolation. Evaluations on real-world vulnerability datasets show Vul-LMGNNs outperform 17 state-of-the-art approaches. Source code is available at: https://github.com/Vul-LMGNN/vul-LMGNN.
• Abstract（参考訳）: Code Language Models (CodeLM) と Graph Neural Networks (GNN) は、コード脆弱性検出に広く使われている。 しかし、GNNは隣り合うノードからの情報を集約することに頼り、レイヤ間の構造情報の伝搬を制限する。 CodeLMは、GNNにセマンティック情報を補うことができるが、既存の統合手法は、そのコラボレーティブなポテンシャルを過小評価する。 これらの課題に対処するため、我々はVul-LMGNNを提案し、学習済みのコードLMをGNNと統合し、意味情報と構造情報の層間伝播を可能にする。 Vul-LMGNNは、コードプロパティグラフ(CPG)を活用して、構文、制御フロー、データ依存性を統合し、ゲート付きGNNを使って構造抽出を行う。 オンライン知識蒸留(KD)機構により、学生GNNは、交互訓練によって訓練対象から構造情報を取得できる。 さらに、"implicit-explicit"共同トレーニングフレームワークは、CodeLMを活用して埋め込みを初期化し、コードのセマンティクスを伝播する。 明示的な段階では、線形補間による後期融合を行う。 現実の脆弱性データセットの評価では、Vul-LMGNNは17の最先端アプローチを上回っている。 ソースコードはhttps://github.com/Vul-LMGNN/vul-LMGNNで入手できる。

関連論文リスト

• CodeGRAG: Bridging the Gap between Natural Language and Programming Language via Graphical Retrieval Augmented Generation [58.84212778960507]
  我々は,LLMの性能を高めるため,グラフィカル検索拡張コード生成フレームワークであるCodeGRAGを提案する。 CodeGRAGは、制御フローとデータフローに基づいて、コードブロックのグラフィカルなビューを構築し、プログラミング言語と自然言語のギャップを埋める。 ハードメタグラフプロンプト、ソフトプロンプト技術、事前訓練されたGNN専門家の目的の有効性を検証するために、C++言語とピソン言語の両方を含む4つのデータセットで様々な実験と改善が行われた。
  論文  参考訳（メタデータ） (2024-05-03T02:48:55Z)
• Sequential Graph Neural Networks for Source Code Vulnerability Identification [5.582101184758527]
  我々は,C/C++ソースコードの脆弱性データセットを適切にキュレートし,モデルの開発を支援する。 また,多数のコード意味表現を学習するための連続グラフニューラルネットワーク(SEGNN)という,グラフニューラルネットワークに基づく学習フレームワークを提案する。 グラフ分類設定における2つのデータセットと4つのベースライン手法による評価は、最先端の結果を示している。
  論文  参考訳（メタデータ） (2023-05-23T17:25:51Z)
• Enhancing Semantic Code Search with Multimodal Contrastive Learning and Soft Data Augmentation [50.14232079160476]
  コード検索のためのマルチモーダルコントラスト学習とソフトデータ拡張を用いた新しい手法を提案する。 我々は,6つのプログラミング言語を用いた大規模データセットにおけるアプローチの有効性を評価するために,広範囲な実験を行った。
  論文  参考訳（メタデータ） (2022-04-07T08:49:27Z)
• ReGVD: Revisiting Graph Neural Networks for Vulnerability Detection [20.65271290295621]
  本稿では,脆弱性検出のためのグラフネットワークモデルReGVDを提案する。 特にReGVDは、あるソースコードをフラットなトークンのシーケンスと見なしている。 我々は、脆弱性検出のためのCodeXGLUEから、実世界のベンチマークデータセット上で最も高い精度を得る。
  論文  参考訳（メタデータ） (2021-10-14T12:44:38Z)
• Software Vulnerability Detection via Deep Learning over Disaggregated Code Graph Representation [57.92972327649165]
  この研究は、コードコーパスから安全でないパターンを自動的に学習するためのディープラーニングアプローチを探求する。 コードには解析を伴うグラフ構造が自然に認められるため,プログラムの意味的文脈と構造的規則性の両方を利用する新しいグラフニューラルネットワーク(GNN)を開発する。
  論文  参考訳（メタデータ） (2021-09-07T21:24:36Z)
• deGraphCS: Embedding Variable-based Flow Graph for Neural Code Search [15.19181807445119]
  ソースコードを変数ベースのフローグラフに変換する学習可能なDeGraph for Code Search(deGraphCSと呼ばれる)を提案する。 C言語で記述された41,152のコードスニペットを含む大規模なデータセットをGitHubから収集しています。
  論文  参考訳（メタデータ） (2021-03-24T06:57:44Z)
• GraphCodeBERT: Pre-training Code Representations with Data Flow [97.00641522327699]
  本稿では,コード固有の構造を考慮したプログラミング言語の事前学習モデルであるGraphCodeBERTを提案する。 これは変数間の"where-the-value-comes-from"の関係をエンコードするコードのセマンティックレベルの構造です。 コード検索,クローン検出,コード翻訳,コード改良の4つのタスクにおいて,本モデルを評価する。
  論文  参考訳（メタデータ） (2020-09-17T15:25:56Z)
• Learning to map source code to software vulnerability using code-as-a-graph [67.62847721118142]
  セキュリティの観点からソースコードのニュアンス学習におけるグラフニューラルネットワークの適用性について検討する。 我々は,既存のコード・アズ・フォトや線形シーケンスの符号化手法よりも,脆弱性検出に有効なコード・アズ・グラフの符号化法を示す。
  論文  参考訳（メタデータ） (2020-06-15T16:05:27Z)
• Improved Code Summarization via a Graph Neural Network [96.03715569092523]
  一般に、ソースコード要約技術はソースコードを入力として使用し、自然言語記述を出力する。 これらの要約を生成するために、ASTのデフォルト構造によくマッチするグラフベースのニューラルアーキテクチャを使用するアプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-06T17:36:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。