論文の概要: Vul-LMGNNs: Fusing language models and online-distilled graph neural networks for code vulnerability detection

• arxiv url: http://arxiv.org/abs/2404.14719v2
• Date: Fri, 21 Mar 2025 13:29:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-24 15:40:09.639372
• Title: Vul-LMGNNs: Fusing language models and online-distilled graph neural networks for code vulnerability detection
• Title（参考訳）: Vul-LMGNNs: コード脆弱性検出のためのFusing言語モデルとオンライン蒸留グラフニューラルネットワーク
• Authors: Ruitong Liu, Yanbin Wang, Haitao Xu, Jianguo Sun, Fan Zhang, Peiyue Li, Zhenhao Guo,
• Abstract要約: 提案するVul-LMGNNは,学習済みのコードLMをグラフニューラルネットワーク(GNN)に統合し,意味情報と構造情報の層間伝播を可能にする。 Vul-LMGNNは、コードプロパティグラフ(CPG)を活用して、構文、制御フロー、データ依存性を統合し、ゲート付きGNNを使って構造抽出を行う。
• 参考スコア（独自算出の注目度）: 5.536252767247838
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Code Language Models (codeLMs) and Graph Neural Networks (GNNs) are widely used in code vulnerability detection. However, GNNs often rely on aggregating information from adjacent nodes, limiting structural information propagation across layers. While codeLMs can supplement GNNs with semantic information, existing integration methods underexplore their collaborative potential. To address these challenges, we propose Vul-LMGNNs, integrating pre-trained codeLMs with GNNs to enable cross-layer propagation of semantic and structural information. Vul-LMGNNs leverage Code Property Graphs (CPGs) to incorporate syntax, control flow, and data dependencies, using gated GNNs for structural extraction. An online knowledge distillation (KD) mechanism allows a student GNN to capture structural information from a trained counterpart via alternating training. Additionally, an "implicit-explicit" joint training framework leverages codeLMs to initialize embeddings and propagate code semantics. In the explicit phase, it performs late fusion via linear interpolation. Evaluations on real-world vulnerability datasets show Vul-LMGNNs outperform 17 state-of-the-art approaches. Source code is available at: https://github.com/Vul-LMGNN/vul-LMGNN.
• Abstract（参考訳）: Code Language Models (CodeLM) と Graph Neural Networks (GNN) は、コード脆弱性検出に広く使われている。 しかし、GNNは隣り合うノードからの情報を集約することに頼り、レイヤ間の構造情報の伝搬を制限する。 CodeLMは、GNNにセマンティック情報を補うことができるが、既存の統合手法は、そのコラボレーティブなポテンシャルを過小評価する。 これらの課題に対処するため、我々はVul-LMGNNを提案し、学習済みのコードLMをGNNと統合し、意味情報と構造情報の層間伝播を可能にする。 Vul-LMGNNは、コードプロパティグラフ(CPG)を活用して、構文、制御フロー、データ依存性を統合し、ゲート付きGNNを使って構造抽出を行う。 オンライン知識蒸留(KD)機構により、学生GNNは、交互訓練によって訓練対象から構造情報を取得できる。 さらに、"implicit-explicit"共同トレーニングフレームワークは、CodeLMを活用して埋め込みを初期化し、コードのセマンティクスを伝播する。 明示的な段階では、線形補間による後期融合を行う。 現実の脆弱性データセットの評価では、Vul-LMGNNは17の最先端アプローチを上回っている。 ソースコードはhttps://github.com/Vul-LMGNN/vul-LMGNNで入手できる。

関連論文リスト

• Detecting Code Vulnerabilities with Heterogeneous GNN Training [3.1333320740278627]
  グラフニューラルネットワーク(GNN)機械学習は、ソースコードをグラフとしてモデル化することで、有望なアプローチである。 本稿では、ソースコードの効率的かつ言語に依存しない表現として、IPAG(Inter-Procedural Abstract Graphs)を提案する。 また、ソースコードの異なる特徴を抽出する複数のサブグラフを組み込んだ異種注意GNN(HAGNN)モデルを提案する。
  論文  参考訳（メタデータ） (2025-02-24T04:39:16Z)
• GL-Fusion: Rethinking the Combination of Graph Neural Network and Large Language model [63.774726052837266]
  グラフニューラルネットワーク(GNN)とLarge Language Models(LLM)を深く統合した新しいアーキテクチャを導入する。 本稿では,(1)GNNのメッセージパッシング機能を直接LLMのトランスフォーマー層に組み込む構造対応トランスフォーマー,(2)グラフノードとエッジから圧縮されていない全テキストを処理するグラフテキストクロスアテンション,(3)GNN-LLMツインプレクタ,(3)GNN-LLMツインプレクタ,3)GNNのスケーラブルなワンパス予測とともに,LLMの柔軟な自己回帰生成を実現する。
  論文  参考訳（メタデータ） (2024-12-08T05:49:58Z)
• Can Large Language Models Act as Ensembler for Multi-GNNs? [6.387816922598151]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データから学習するための強力なモデルとして登場した。 GNNは、リッチテキストノード属性の固有の意味理解能力に欠けており、アプリケーションでの有効性を制限している。 本研究は、意味情報と構造情報を統合するための堅牢で優れたソリューションを提供することにより、テキストによるグラフアンサンブル学習を推進している。
  論文  参考訳（メタデータ） (2024-10-22T08:48:52Z)
• IDEA: A Flexible Framework of Certified Unlearning for Graph Neural Networks [68.6374698896505]
  グラフニューラルネットワーク(GNN)は、ますます多くのアプリケーションにデプロイされている。 トレーニングされたGNNがデプロイされ、潜在的攻撃者に対して公開されると、プライバシリークが発生する可能性がある。 我々は,GNNのための柔軟で認定されたアンラーニングを実現するために,IDEAというフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-28T04:59:59Z)
• All Against Some: Efficient Integration of Large Language Models for Message Passing in Graph Neural Networks [51.19110891434727]
  事前訓練された知識と強力なセマンティック理解能力を持つ大規模言語モデル(LLM)は、最近、視覚とテキストデータを使用してアプリケーションに恩恵をもたらす顕著な能力を示している。 E-LLaGNNは、グラフから限られたノード数を増やして、グラフ学習のメッセージパッシング手順を強化するオンデマンドLLMサービスを備えたフレームワークである。
  論文  参考訳（メタデータ） (2024-07-20T22:09:42Z)
• LOGIN: A Large Language Model Consulted Graph Neural Network Training Framework [30.54068909225463]
  我々は,GNN設計プロセスの合理化とLarge Language Models(LLM)の利点を活用して,下流タスクにおけるGNNの性能向上を目指す。 我々は,LLMs-as-Consultants(LLMs-as-Consultants)という新たなパラダイムを策定し,LLMとGNNを対話的に統合する。 両グラフのノード分類におけるLOGINの有効性を実証的に評価した。
  論文  参考訳（メタデータ） (2024-05-22T18:17:20Z)
• CodeGRAG: Bridging the Gap between Natural Language and Programming Language via Graphical Retrieval Augmented Generation [58.84212778960507]
  我々は,LLMの性能を高めるため,グラフィカル検索拡張コード生成フレームワークであるCodeGRAGを提案する。 CodeGRAGは、制御フローとデータフローに基づいて、コードブロックのグラフィカルなビューを構築し、プログラミング言語と自然言語のギャップを埋める。 ハードメタグラフプロンプト、ソフトプロンプト技術、事前訓練されたGNN専門家の目的の有効性を検証するために、C++言語とピソン言語の両方を含む4つのデータセットで様々な実験と改善が行われた。
  論文  参考訳（メタデータ） (2024-05-03T02:48:55Z)
• Exploring the Potential of Large Language Models (LLMs) in Learning on Graphs [59.74814230246034]
  大規模言語モデル(LLM)は、広範な共通知識と強力な意味理解能力を持つことが証明されている。 LLMs-as-EnhancersとLLMs-as-Predictorsの2つのパイプラインについて検討する。
  論文  参考訳（メタデータ） (2023-07-07T05:31:31Z)
• Sequential Graph Neural Networks for Source Code Vulnerability Identification [5.582101184758527]
  我々は,C/C++ソースコードの脆弱性データセットを適切にキュレートし,モデルの開発を支援する。 また,多数のコード意味表現を学習するための連続グラフニューラルネットワーク(SEGNN)という,グラフニューラルネットワークに基づく学習フレームワークを提案する。 グラフ分類設定における2つのデータセットと4つのベースライン手法による評価は、最先端の結果を示している。
  論文  参考訳（メタデータ） (2023-05-23T17:25:51Z)
• Enhancing Semantic Code Search with Multimodal Contrastive Learning and Soft Data Augmentation [50.14232079160476]
  コード検索のためのマルチモーダルコントラスト学習とソフトデータ拡張を用いた新しい手法を提案する。 我々は,6つのプログラミング言語を用いた大規模データセットにおけるアプローチの有効性を評価するために,広範囲な実験を行った。
  論文  参考訳（メタデータ） (2022-04-07T08:49:27Z)
• GNN-LM: Language Modeling based on Global Contexts via GNN [32.52117529283929]
  GNN-LMは、トレーニングコーパス全体において、同様のコンテキストを参照できるようにすることで、バニラニューラル言語モデル(LM)を拡張します。 GNN-LMはWikiText-103で14.8の最先端のパープレクシリティを実現している。
  論文  参考訳（メタデータ） (2021-10-17T07:18:21Z)
• ReGVD: Revisiting Graph Neural Networks for Vulnerability Detection [20.65271290295621]
  本稿では,脆弱性検出のためのグラフネットワークモデルReGVDを提案する。 特にReGVDは、あるソースコードをフラットなトークンのシーケンスと見なしている。 我々は、脆弱性検出のためのCodeXGLUEから、実世界のベンチマークデータセット上で最も高い精度を得る。
  論文  参考訳（メタデータ） (2021-10-14T12:44:38Z)
• Software Vulnerability Detection via Deep Learning over Disaggregated Code Graph Representation [57.92972327649165]
  この研究は、コードコーパスから安全でないパターンを自動的に学習するためのディープラーニングアプローチを探求する。 コードには解析を伴うグラフ構造が自然に認められるため,プログラムの意味的文脈と構造的規則性の両方を利用する新しいグラフニューラルネットワーク(GNN)を開発する。
  論文  参考訳（メタデータ） (2021-09-07T21:24:36Z)
• AdaGNN: A multi-modal latent representation meta-learner for GNNs based on AdaBoosting [0.38073142980733]
  グラフニューラルネットワーク(GNN)は、固有のネットワーク機能の抽出に重点を置いている。 GNNのための強化型メタラーナを提案する。 AdaGNNは、リッチで多様なノード近傍情報を持つアプリケーションに対して非常によく機能する。
  論文  参考訳（メタデータ） (2021-08-14T03:07:26Z)
• deGraphCS: Embedding Variable-based Flow Graph for Neural Code Search [15.19181807445119]
  ソースコードを変数ベースのフローグラフに変換する学習可能なDeGraph for Code Search(deGraphCSと呼ばれる)を提案する。 C言語で記述された41,152のコードスニペットを含む大規模なデータセットをGitHubから収集しています。
  論文  参考訳（メタデータ） (2021-03-24T06:57:44Z)
• Overcoming Catastrophic Forgetting in Graph Neural Networks [50.900153089330175]
  破滅的な忘れは、ニューラルネットワークが新しいタスクを学ぶ前に学んだ知識を「忘れる」傾向を指します。 本稿では,この問題を克服し,グラフニューラルネットワーク(GNN)における継続学習を強化するための新しいスキームを提案する。 私たちのアプローチの中心には、トポロジ認識重量保存(TWP)と呼ばれる汎用モジュールがあります。
  論文  参考訳（メタデータ） (2020-12-10T22:30:25Z)
• GraphCodeBERT: Pre-training Code Representations with Data Flow [97.00641522327699]
  本稿では,コード固有の構造を考慮したプログラミング言語の事前学習モデルであるGraphCodeBERTを提案する。 これは変数間の"where-the-value-comes-from"の関係をエンコードするコードのセマンティックレベルの構造です。 コード検索,クローン検出,コード翻訳,コード改良の4つのタスクにおいて,本モデルを評価する。
  論文  参考訳（メタデータ） (2020-09-17T15:25:56Z)
• Learning to map source code to software vulnerability using code-as-a-graph [67.62847721118142]
  セキュリティの観点からソースコードのニュアンス学習におけるグラフニューラルネットワークの適用性について検討する。 我々は,既存のコード・アズ・フォトや線形シーケンスの符号化手法よりも,脆弱性検出に有効なコード・アズ・グラフの符号化法を示す。
  論文  参考訳（メタデータ） (2020-06-15T16:05:27Z)
• Improved Code Summarization via a Graph Neural Network [96.03715569092523]
  一般に、ソースコード要約技術はソースコードを入力として使用し、自然言語記述を出力する。 これらの要約を生成するために、ASTのデフォルト構造によくマッチするグラフベースのニューラルアーキテクチャを使用するアプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-06T17:36:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。