論文の概要: Your Instructions Are Not Always Helpful: Assessing the Efficacy of
Instruction Fine-tuning for Software Vulnerability Detection
- arxiv url: http://arxiv.org/abs/2401.07466v1
- Date: Mon, 15 Jan 2024 04:45:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-17 18:11:27.245442
- Title: Your Instructions Are Not Always Helpful: Assessing the Efficacy of
Instruction Fine-tuning for Software Vulnerability Detection
- Title（参考訳）: あなたの指示は必ずしも役に立たない: ソフトウェア脆弱性検出における命令の微調整の有効性を評価する
- Authors: Imam Nur Bani Yusuf, Lingxiao Jiang
- Abstract要約: ソフトウェアは、固有の脆弱性のために潜在的なサイバーセキュリティリスクを引き起こす。
ディープラーニングは、広範な機能エンジニアリングを必要とせずに、優れたパフォーマンスを実現することができるため、このタスクの効果的なツールとして期待されている。
最近の研究は、多様なタスクにおけるディープラーニングの有効性を強調している。
本稿では,モデル,特に最近の言語モデルが,学習データに使用されるプログラミング言語を超えて一般化する能力について検討する。
- 参考スコア（独自算出の注目度）: 9.763041664345105
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Software, while beneficial, poses potential cybersecurity risks due to
inherent vulnerabilities. Detecting these vulnerabilities is crucial, and deep
learning has shown promise as an effective tool for this task due to its
ability to perform well without extensive feature engineering. However, a
challenge in deploying deep learning for vulnerability detection is the limited
availability of training data. Recent research highlights the deep learning
efficacy in diverse tasks. This success is attributed to instruction
fine-tuning, a technique that remains under-explored in the context of
vulnerability detection. This paper investigates the capability of models,
specifically a recent language model, to generalize beyond the programming
languages used in their training data. It also examines the role of natural
language instructions in enhancing this generalization. Our study evaluates the
model performance on a real-world dataset to predict vulnerable code. We
present key insights and lessons learned, contributing to understanding the
deep learning application in software vulnerability detection.
- Abstract（参考訳）: ソフトウェアは有益ではあるが、固有の脆弱性のために潜在的なサイバーセキュリティリスクを引き起こす。
これらの脆弱性の検出は極めて重要で、広範な機能エンジニアリングを必要とせず、このタスクの効果的なツールとして、ディープラーニングが約束されている。
しかしながら、脆弱性検出にディープラーニングを展開する上での課題は、トレーニングデータの可用性の制限である。
最近の研究は、多様なタスクにおけるディープラーニングの有効性を強調している。
この成功は、脆弱性検出の文脈で探索されていないテクニックである命令微調整によるものである。
本稿では,モデル,特に最近の言語モデルが,学習データに使用されるプログラミング言語を超えて一般化する能力について検討する。
また、この一般化の促進における自然言語命令の役割についても検討する。
本研究では,実世界のデータセットにおけるモデル性能を評価し,脆弱なコードを予測する。
ソフトウェア脆弱性検出におけるディープラーニングアプリケーション理解に寄与する、重要な洞察と教訓を提示する。
関連論文リスト
- Benchmarking Vision Language Model Unlearning via Fictitious Facial Identity Dataset [94.13848736705575]
我々は、未学習アルゴリズムの有効性を頑健に評価するために設計された新しいVLMアンラーニングベンチマークであるFacial Identity Unlearning Benchmark (FIUBench)を紹介する。
情報ソースとその露出レベルを正確に制御する2段階評価パイプラインを適用した。
FIUBench 内の 4 つのベースライン VLM アンラーニングアルゴリズムの評価により,すべての手法がアンラーニング性能に制限されていることが明らかとなった。
論文 参考訳（メタデータ） (2024-11-05T23:26:10Z) - RealVul: Can We Detect Vulnerabilities in Web Applications with LLM? [4.467475584754677]
本稿では,PHP 脆弱性検出用に設計された最初の LLM ベースのフレームワークである RealVul を紹介する。
コードの合理化と不要なセマンティック情報を排除しながら、潜在的な脆弱性トリガを分離できます。
また、データ合成法の改善により、PHPの脆弱性サンプルが不足している問題にも対処する。
論文 参考訳（メタデータ） (2024-10-10T03:16:34Z) - Towards Effectively Detecting and Explaining Vulnerabilities Using Large Language Models [17.96542494363619]
大規模言語モデル(LLM)は、複雑なコンテキストを解釈する際、顕著な能力を示した。
本稿では,脆弱性の検出と説明の両面において,LSMの能力について検討する。
脆弱性説明のための特別な微調整の下で、LLMVulExpはコードの脆弱性の種類を検出するだけでなく、コードコンテキストを分析して原因、場所、修正提案を生成する。
論文 参考訳（メタデータ） (2024-06-14T04:01:25Z) - How Far Have We Gone in Vulnerability Detection Using Large Language
Models [15.09461331135668]
包括的な脆弱性ベンチマークであるVulBenchを紹介します。
このベンチマークは、幅広いCTF課題と実世界のアプリケーションから高品質なデータを集約する。
いくつかのLSMは、脆弱性検出における従来のディープラーニングアプローチよりも優れていることがわかった。
論文 参考訳（メタデータ） (2023-11-21T08:20:39Z) - Learning to Quantize Vulnerability Patterns and Match to Locate
Statement-Level Vulnerabilities [19.6975205650411]
さまざまな脆弱性パターンを表す量子化されたベクトルで構成される脆弱性コードブックが学習される。
推論の間、コードブックは、すべての学習パターンにマッチし、潜在的な脆弱性の存在を予測するために反復される。
提案手法は188,000以上のC/C++関数からなる実世界のデータセットに対して広範に評価された。
論文 参考訳（メタデータ） (2023-05-26T04:13:31Z) - CodeLMSec Benchmark: Systematically Evaluating and Finding Security
Vulnerabilities in Black-Box Code Language Models [58.27254444280376]
自動コード生成のための大規模言語モデル(LLM)は、いくつかのプログラミングタスクにおいてブレークスルーを達成した。
これらのモデルのトレーニングデータは、通常、インターネット(例えばオープンソースのリポジトリから)から収集され、障害やセキュリティ上の脆弱性を含む可能性がある。
この不衛生なトレーニングデータは、言語モデルにこれらの脆弱性を学習させ、コード生成手順中にそれを伝播させる可能性がある。
論文 参考訳（メタデータ） (2023-02-08T11:54:07Z) - VELVET: a noVel Ensemble Learning approach to automatically locate
VulnErable sTatements [62.93814803258067]
本稿では,ソースコード中の脆弱な文を見つけるための新しいアンサンブル学習手法であるVELVETを提案する。
我々のモデルは、グラフベースとシーケンスベースニューラルネットワークを組み合わせて、プログラムグラフの局所的およびグローバル的コンテキストを捕捉する。
VELVETは、合成データと実世界のデータに対して、それぞれ99.6%と43.6%の精度を達成している。
論文 参考訳（メタデータ） (2021-12-20T22:45:27Z) - Where Did You Learn That From? Surprising Effectiveness of Membership
Inference Attacks Against Temporally Correlated Data in Deep Reinforcement
Learning [114.9857000195174]
深い強化学習を産業的に広く採用する上での大きな課題は、プライバシー侵害の潜在的な脆弱性である。
本稿では, 深層強化学習アルゴリズムの脆弱性を検証し, メンバーシップ推論攻撃に適応する対戦型攻撃フレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-08T23:44:57Z) - Adversarial Robustness of Deep Learning: Theory, Algorithms, and
Applications [27.033174829788404]
本チュートリアルは,ディープラーニングの敵対的堅牢性の基礎を紹介することを目的としている。
我々は、ディープニューラルネットワーク(DNN)の敵攻撃と堅牢性検証における最先端技術を強調します。
深層学習モデルの堅牢性を改善するための効果的な対策も導入する。
論文 参考訳（メタデータ） (2021-08-24T00:08:33Z) - Dataset Security for Machine Learning: Data Poisoning, Backdoor Attacks,
and Defenses [150.64470864162556]
この作業は体系的に分類され、幅広いデータセット脆弱性とエクスプロイトを議論する。
様々な毒とバックドアの脅威モデルとそれらの関係を記述することに加えて,それらの統一分類法を展開する。
論文 参考訳（メタデータ） (2020-12-18T22:38:47Z) - Dos and Don'ts of Machine Learning in Computer Security [74.1816306998445]
大きな可能性にもかかわらず、セキュリティにおける機械学習は、パフォーマンスを損なう微妙な落とし穴を引き起こす傾向がある。
我々は,学習ベースのセキュリティシステムの設計,実装,評価において共通の落とし穴を特定する。
我々は,落とし穴の回避や軽減を支援するために,研究者を支援するための実用的な勧告を提案する。
論文 参考訳（メタデータ） (2020-10-19T13:09:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。