論文の概要: CGP-Tuning: Structure-Aware Soft Prompt Tuning for Code Vulnerability Detection

• arxiv url: http://arxiv.org/abs/2501.04510v2
• Date: Mon, 21 Jul 2025 12:31:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-22 18:47:38.825846
• Title: CGP-Tuning: Structure-Aware Soft Prompt Tuning for Code Vulnerability Detection
• Title（参考訳）: CGPチューニング:コード脆弱性検出のための構造対応ソフトプロンプトチューニング
• Authors: Ruijun Feng, Hammond Pearce, Pietro Liguori, Yulei Sui,
• Abstract要約: 本稿では,脆弱性検出のためのCGP-Tuningを提案する。 CGP-Tuningでは、コードグラフ内のリッチなセマンティック情報をキャプチャするための型認識埋め込みと、効率的なクロスモーダルアライメントモジュールが導入されている。 最新のDiverseVulデータセットと3つの高度なオープンソースコードLLM、CodeLlama、CodeGemma、Qwen2.5-Coderで評価されている。
• 参考スコア（独自算出の注目度）: 15.013699967804987
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have been proposed as powerful tools for detecting software vulnerabilities, where task-specific fine-tuning is typically employed to provide vulnerability-specific knowledge to the LLMs. However, existing fine-tuning techniques often treat source code as plain text, losing the graph-based structural information inherent in code. Graph-enhanced soft prompt tuning addresses this by translating the structural information into contextual cues that the LLM can understand. However, current methods are primarily designed for general graph-related tasks and focus more on adjacency information, they fall short in preserving the rich semantic information (e.g., control/data flow) within code graphs. They also fail to ensure computational efficiency while capturing graph-text interactions in their cross-modal alignment module. This paper presents CGP-Tuning, a new code graph-enhanced, structure-aware soft prompt tuning method for vulnerability detection. CGP-Tuning introduces type-aware embeddings to capture the rich semantic information within code graphs, along with an efficient cross-modal alignment module that achieves linear computational costs while incorporating graph-text interactions. It is evaluated on the latest DiverseVul dataset and three advanced open-source code LLMs, CodeLlama, CodeGemma, and Qwen2.5-Coder. Experimental results show that CGP-Tuning delivers model-agnostic improvements and maintains practical inference speed, surpassing the best graph-enhanced soft prompt tuning baseline by an average of four percentage points and outperforming non-tuned zero-shot prompting by 15 percentage points.
• Abstract（参考訳）: 大規模言語モデル(LLM)はソフトウェア脆弱性を検出する強力なツールとして提案されている。 しかし、既存の微調整技術は、しばしばソースコードをプレーンテキストとして扱い、コード固有のグラフベースの構造情報を失う。 グラフ強化されたソフトプロンプトチューニングは、構造情報をLLMが理解できるコンテキストキューに変換することでこの問題に対処する。 しかし、現在の手法は主に一般的なグラフ関連のタスクのために設計されており、隣接性情報に重点を置いているため、コードグラフ内のリッチなセマンティック情報(例えば、制御/データフロー)の保存に不足している。 また、クロスモーダルアライメントモジュールでグラフとテキストの相互作用をキャプチャしながら、計算効率の確保にも失敗する。 本稿では,脆弱性検出のためのCGP-Tuningを提案する。 CGP-Tuningは、コードグラフ内のリッチなセマンティック情報をキャプチャするための型認識埋め込みと、グラフとテキストの相互作用を取り入れながら線形計算コストを達成する効率的なクロスモーダルアライメントモジュールを導入している。 最新のDiverseVulデータセットと3つの高度なオープンソースコードLLM、CodeLlama、CodeGemma、Qwen2.5-Coderで評価されている。 実験結果から, CGP-Tuningはモデルに依存しない改良を実現し, 平均4ポイント, 非チューニングゼロショットよりも15ポイント, 最高のグラフ付きソフトプロンプトチューニングベースラインを上回り, 実用的な推論速度を維持していることがわかった。

関連論文リスト

• DGP: A Dual-Granularity Prompting Framework for Fraud Detection with Graph-Enhanced LLMs [55.13817504780764]
  実世界の不正検出アプリケーションは、しばしばテキストデータに富んだノード特徴とグラフ構造情報を共同で活用するグラフ学習技術の恩恵を受ける。 グラフ強化LSMは、グラフ情報をプロンプトに変換する、有望なグラフ学習アプローチとして登場します。 目的ノードの細粒度テキストの詳細を保存し,情報過負荷を軽減するDGPを提案する。
  論文  参考訳（メタデータ） (2025-07-29T10:10:47Z)
• Denoising Programming Knowledge Tracing with a Code Graph-based Tuning Adaptor [13.092625746776948]
  プログラミング知識追跡は、学習者のコーディング活動に基づいたプログラミング知識の習得レベルを動的に診断することを目的としている。 ノイズの影響を識別・緩和し,既存のPKTモデルを強化するためのコードグラフベースのチューニングアダプタであるCodaを提案する。
  論文  参考訳（メタデータ） (2025-06-07T08:15:26Z)
• Scalability Matters: Overcoming Challenges in InstructGLM with Similarity-Degree-Based Sampling [1.2805157669888096]
  提案するSDM-InstructGLMは,GNNに依存することなく,拡張性と効率を向上する命令調整グラフ言語モデル(InstructGLM)フレームワークである。 本手法では,ノード間類似度と次数集中度に基づいてグラフ情報を選択的にサンプリングし,符号化する,類似度に基づくバイアス付きランダムウォーク機構を提案する。 本結果は,LLMのみのグラフ処理の実現可能性を示し,命令ベースの微調整によって最適化されたスケーラブルかつ解釈可能なグラフ言語モデル(GLM)を実現する。
  論文  参考訳（メタデータ） (2025-05-02T06:08:21Z)
• OpenCoder: The Open Cookbook for Top-Tier Code Large Language Models [70.72097493954067]
  コードのための大規模言語モデル(LLM)は、コード生成、推論タスク、エージェントシステムなど、さまざまな領域で必須になっている。 オープンアクセスのコード LLM はプロプライエタリなモデルの性能レベルに近づきつつあるが、高品質なコード LLM は依然として限られている。 トップクラスのコードLLMであるOpenCoderは、主要なモデルに匹敵するパフォーマンスを達成するだけでなく、研究コミュニティの"オープンクックブック"としても機能します。
  論文  参考訳（メタデータ） (2024-11-07T17:47:25Z)
• Learning to Model Graph Structural Information on MLPs via Graph Structure Self-Contrasting [50.181824673039436]
  本稿では,グラフ構造情報をメッセージパッシングなしで学習するグラフ構造自己コントラスト(GSSC)フレームワークを提案する。 提案するフレームワークは,構造情報を事前知識として暗黙的にのみ組み込む,MLP(Multi-Layer Perceptrons)に基づいている。 これはまず、近傍の潜在的非形式的あるいはノイズの多いエッジを取り除くために構造的スペーシングを適用し、その後、スペーシングされた近傍で構造的自己コントラストを行い、ロバストなノード表現を学ぶ。
  論文  参考訳（メタデータ） (2024-09-09T12:56:02Z)
• All Against Some: Efficient Integration of Large Language Models for Message Passing in Graph Neural Networks [51.19110891434727]
  事前訓練された知識と強力なセマンティック理解能力を持つ大規模言語モデル(LLM)は、最近、視覚とテキストデータを使用してアプリケーションに恩恵をもたらす顕著な能力を示している。 E-LLaGNNは、グラフから限られたノード数を増やして、グラフ学習のメッセージパッシング手順を強化するオンデマンドLLMサービスを備えたフレームワークである。
  論文  参考訳（メタデータ） (2024-07-20T22:09:42Z)
• GLARE: Low Light Image Enhancement via Generative Latent Feature based Codebook Retrieval [80.96706764868898]
  我々は、GLARE(Generative LAtent Feature based codebook Retrieval)を介して、新しい低照度画像強調(LLIE)ネットワークを提案する。 Invertible Latent Normalizing Flow (I-LNF) モジュールを開発し、LL特徴分布をNL潜在表現に整合させ、コードブック内の正しいコード検索を保証する。 さまざまなベンチマークデータセットと実世界のデータに対するGLAREの優れたパフォーマンスを確認する実験。
  論文  参考訳（メタデータ） (2024-07-17T09:40:15Z)
• Vulnerability-Hunter: An Adaptive Feature Perception Attention Network for Smart Contract Vulnerabilities [4.487191851300675]
  スマートコントラクトコード全体を包括的にスキャンする動的重みを持つ特徴認識モジュールを備えた,新たな脆弱性検出モデルであるAFPNetを提案する。 脆弱性ラベル付き大規模データセットにおけるAFPNetの評価を行う。
  論文  参考訳（メタデータ） (2024-07-07T10:13:41Z)
• CodeGRAG: Bridging the Gap between Natural Language and Programming Language via Graphical Retrieval Augmented Generation [58.84212778960507]
  CodeGRAGは、制御フローとそれらのデータフローに基づいて、コードブロックのグラフィカルなビューを構築し、プログラミングドメインの知識をよりよく解釈する。 CodeGRAGはLLMのコード生成能力を大幅に改善し、言語間コード生成のパフォーマンス向上も実現している。
  論文  参考訳（メタデータ） (2024-05-03T02:48:55Z)
• Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
  Graph-awareを導入します。 GPEFT - グラフ表現学習のための新しい手法。 グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。 我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2024-04-28T18:36:59Z)
• GNNavi: Navigating the Information Flow in Large Language Models by Graph Neural Network [49.91919718254597]
  大規模な言語モデル(LLM)は、デモによるプロンプトを使用すると、強いコンテキスト学習能力を示す。 プロンプトベースの微調整は、低データシナリオにおいて効果的な微調整法であることが証明されているが、計算資源に対する高い要求は、その実用性を制限する。 GNNaviはグラフニューラルネットワークレイヤを使用して、プロンプト処理中に情報フローの集約と分布を正確にガイドする。
  論文  参考訳（メタデータ） (2024-02-18T21:13:05Z)
• CONCORD: Towards a DSL for Configurable Graph Code Representation [3.756550107432323]
  カスタマイズ可能なグラフ表現を構築するためのドメイン固有言語であるCONCORDを紹介する。 実例として,コードの臭い検出に有効であることを示す。 ConCORDは、研究者がカスタマイズ可能なグラフベースのコード表現を作成し、実験するのに役立つ。
  論文  参考訳（メタデータ） (2024-01-31T16:16:48Z)
• Feature Engineering-Based Detection of Buffer Overflow Vulnerability in Source Code Using Neural Networks [2.9266864570485827]
  ソースコードから抽出された特徴を学習するニューラルネットワークモデルに基づく脆弱性検出方法。 我々は,GloVeやfastTextといったアートワード埋め込みアルゴリズムの状態を用いて,セマンティックおよび構文情報を維持する。 従来のニューラルネットワークに関わる問題を克服できるニューラルネットワークモデルを提案してきた。
  論文  参考訳（メタデータ） (2023-06-01T01:44:49Z)
• Automated Vulnerability Detection in Source Code Using Quantum Natural Language Processing [0.0]
  CとC++のオープンソースコードは、関数レベルの脆弱性識別のための大規模で古典的な機械学習および量子機械学習システムを作成するために利用可能である。 我々は、深層ニューラルネットワークモデルLong Short Term Memory(LSTM)と量子機械学習モデルLong Short Term Memory(QLSTM)に基づく、効率的でスケーラブルな脆弱性検出手法を開発した。 意味的および構文的特徴を持つQLSTMは、極めて正確な脆弱性を検出し、従来のものよりも高速に実行される。
  論文  参考訳（メタデータ） (2023-03-13T23:27:42Z)
• Lightweight Projective Derivative Codes for Compressed Asynchronous Gradient Descent [6.055286666916789]
  本稿では, 偏微分自体を符号化し, さらに, 導出語に対して損失圧縮を行うことにより, 符号を最適化するアルゴリズムを提案する。 この符号化理論の適用性は、勾配降下に基づく学習アルゴリズムにおいてノイズは許容可能であり、時には有用である、という最適化研究における観測事実の幾何学的帰結である。
  論文  参考訳（メタデータ） (2022-01-31T04:08:53Z)
• VELVET: a noVel Ensemble Learning approach to automatically locate VulnErable sTatements [62.93814803258067]
  本稿では,ソースコード中の脆弱な文を見つけるための新しいアンサンブル学習手法であるVELVETを提案する。 我々のモデルは、グラフベースとシーケンスベースニューラルネットワークを組み合わせて、プログラムグラフの局所的およびグローバル的コンテキストを捕捉する。 VELVETは、合成データと実世界のデータに対して、それぞれ99.6%と43.6%の精度を達成している。
  論文  参考訳（メタデータ） (2021-12-20T22:45:27Z)
• ReGVD: Revisiting Graph Neural Networks for Vulnerability Detection [20.65271290295621]
  本稿では,脆弱性検出のためのグラフネットワークモデルReGVDを提案する。 特にReGVDは、あるソースコードをフラットなトークンのシーケンスと見なしている。 我々は、脆弱性検出のためのCodeXGLUEから、実世界のベンチマークデータセット上で最も高い精度を得る。
  論文  参考訳（メタデータ） (2021-10-14T12:44:38Z)
• Software Vulnerability Detection via Deep Learning over Disaggregated Code Graph Representation [57.92972327649165]
  この研究は、コードコーパスから安全でないパターンを自動的に学習するためのディープラーニングアプローチを探求する。 コードには解析を伴うグラフ構造が自然に認められるため,プログラムの意味的文脈と構造的規則性の両方を利用する新しいグラフニューラルネットワーク(GNN)を開発する。
  論文  参考訳（メタデータ） (2021-09-07T21:24:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。