Fugu-MT 論文翻訳(概要): SVA-ICL: Improving LLM-based Software Vulnerability Assessment via In-Context Learning and Information Fusion

論文の概要: SVA-ICL: Improving LLM-based Software Vulnerability Assessment via In-Context Learning and Information Fusion

arxiv url: http://arxiv.org/abs/2505.10008v2
Date: Wed, 28 May 2025 08:37:29 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-29 15:04:27.949066
Title: SVA-ICL: Improving LLM-based Software Vulnerability Assessment via In-Context Learning and Information Fusion
Title（参考訳）: SVA-ICL:インコンテキスト学習と情報融合によるLCMベースのソフトウェア脆弱性評価の改善
Authors: Chaoyang Gao, Xiang Chen, Guangbei Zhang,
Abstract要約: 本研究では,大規模言語モデル(LLM)の性能向上のために,文脈内学習(ICL)を活用する新しいアプローチSVA-ICLを提案する。 12,071個のC/C++脆弱性からなる大規模データセットを用いて,SVA-ICLの有効性を評価する。
参考スコア（独自算出の注目度）: 5.06185582943982
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Context: Software vulnerability assessment (SVA) is critical for identifying, evaluating, and prioritizing security weaknesses in software applications. Objective: Despite the increasing application of large language models (LLMs) in various software engineering tasks, their effectiveness in SVA remains underexplored. Method: To address this gap, we introduce a novel approach SVA-ICL, which leverages in-context learning (ICL) to enhance LLM performance. Our approach involves the selection of high-quality demonstrations for ICL through information fusion, incorporating both source code and vulnerability descriptions. For source code, we consider semantic, lexical, and syntactic similarities, while for vulnerability descriptions, we focus on textual similarity. Based on the selected demonstrations, we construct context prompts and consider DeepSeek-V2 as the LLM for SVA-ICL. Results: We evaluate the effectiveness of SVA-ICL using a large-scale dataset comprising 12,071 C/C++ vulnerabilities. Experimental results demonstrate that SVA-ICL outperforms state-of-the-art SVA baselines in terms of Accuracy, F1-score, and MCC measures. Furthermore, ablation studies highlight the significance of component customization in SVA-ICL, such as the number of demonstrations, the demonstration ordering strategy, and the optimal fusion ratio of different modalities. Conclusion: Our findings suggest that leveraging ICL with information fusion can effectively improve the effectiveness of LLM-based SVA, warranting further research in this direction.
Abstract（参考訳）: コンテキスト: ソフトウェア脆弱性評価(SVA)は、ソフトウェアアプリケーションのセキュリティ脆弱性を特定し、評価し、優先順位付けするために重要である。目的: 大規模言語モデル(LLM)の様々なソフトウェアエンジニアリングタスクへの応用が増加しているにもかかわらず、SVAにおけるそれらの有効性はいまだ調査されていない。方法: このギャップに対処するために, インコンテキスト学習(ICL)を活用してLLM性能を向上させる新しいアプローチSVA-ICLを提案する。我々のアプローチは、情報融合によるICLの高品質なデモンストレーションの選択と、ソースコードと脆弱性記述の両方を取り入れることである。ソースコードでは,意味的,語彙的,構文的類似性を考慮した上で,脆弱性記述ではテキスト的類似性に着目した。選択した実演に基づいて文脈プロンプトを構築し,SVA-ICLのLLMとしてDeepSeek-V2を考察する。結果:12,071個のC/C++脆弱性からなる大規模データセットを用いて,SVA-ICLの有効性を評価する。実験の結果,SVA-ICLは精度,F1スコア,MCC測定において,最先端のSVAベースラインよりも優れていた。さらに,SVA-ICLにおけるコンポーネントのカスタマイズの重要性,例えばデモ数,デモオーダ戦略,異なるモダリティの最適融合比について検討した。結論:情報融合によるICLの活用により,LSMを用いたSVAの有効性が向上し,さらなる研究が期待できる可能性が示唆された。

関連論文リスト

A Soft Sensor Method with Uncertainty-Awareness and Self-Explanation Based on Large Language Models Enhanced by Domain Knowledge Retrieval [17.605817344542345]
Few-shot Uncertainty-aware and Self-Explaining Soft Sensor (LLM-FUESS) というフレームワークを提案する。 LLM-FUESSには、ゼロショット補助可変セレクタ(LLM-ZAVS)と不確実性認識Few-shot Soft Sensor(LLM-UFSS)が含まれている。提案手法は,最先端の予測性能,強靭性,柔軟性を実現し,従来の手法のトレーニング不安定性を効果的に軽減する。
論文参考訳（メタデータ） (2025-01-06T11:43:29Z)
Benchmarking Vision Language Model Unlearning via Fictitious Facial Identity Dataset [92.99416966226724]
我々は、未学習アルゴリズムの有効性を頑健に評価するために設計された新しいVLMアンラーニングベンチマークであるFacial Identity Unlearning Benchmark (FIUBench)を紹介する。情報ソースとその露出レベルを正確に制御する2段階評価パイプラインを適用した。 FIUBench 内の 4 つのベースライン VLM アンラーニングアルゴリズムの評価により,すべての手法がアンラーニング性能に制限されていることが明らかとなった。
論文参考訳（メタデータ） (2024-11-05T23:26:10Z)
SAFE: Advancing Large Language Models in Leveraging Semantic and Syntactic Relationships for Software Vulnerability Detection [23.7268575752712]
ソフトウェア脆弱性(SV)は、安全クリティカルなセキュリティシステムにとって、一般的かつ重要な懸念事項として浮上している。本稿では,SVDのソースコードデータから意味的・統語的関係を学習し,活用するための大規模言語モデルの能力を高める新しいフレームワークを提案する。
論文参考訳（メタデータ） (2024-09-02T00:49:02Z)
Evaluating Linguistic Capabilities of Multimodal LLMs in the Lens of Few-Shot Learning [15.919493497867567]
本研究では,VALSEベンチマークを用いたマルチモーダル大規模言語モデル(MLLM)の性能評価を目的とした。我々は,モデルサイズや事前学習データセットの異なる最先端MLLMの包括的評価を行った。
論文参考訳（メタデータ） (2024-07-17T11:26:47Z)
Comprehensive Reassessment of Large-Scale Evaluation Outcomes in LLMs: A Multifaceted Statistical Approach [64.42462708687921]
評価の結果、スケーリング、トレーニングタイプ、アーキテクチャなどの要因がLLMのパフォーマンスに大きな影響を与えていることが明らかになった。本研究は, これらのLCMの徹底的な再検討に着手し, 現状評価手法における不整合性に着目した。これには、ANOVA、Tukey HSDテスト、GAMM、クラスタリング技術などが含まれる。
論文参考訳（メタデータ） (2024-03-22T14:47:35Z)
Towards Multimodal In-Context Learning for Vision & Language Models [21.69457980865084]
VLM(State-of-the-the-art Vision-Language Models)は、ビジョンと言語のモダリティを基盤としている。本稿では, 効果的なデータ混合を用いた, 単純かつ驚くほど効果的なマルチターンカリキュラムベースの学習手法を提案する。
論文参考訳（メタデータ） (2024-03-19T13:53:37Z)
C-ICL: Contrastive In-context Learning for Information Extraction [54.39470114243744]
c-ICLは、正しいサンプル構築と間違ったサンプル構築の両方を活用して、コンテキスト内学習のデモを作成する、新しい数ショット技術である。各種データセットに対する実験により,c-ICLは従来の数発のインコンテキスト学習法よりも優れていたことが示唆された。
論文参考訳（メタデータ） (2024-02-17T11:28:08Z)
SAMBA: Safe Model-Based & Active Reinforcement Learning [59.01424351231993]
SAMBAは、確率論的モデリング、情報理論、統計学といった側面を組み合わせた安全な強化学習のためのフレームワークである。我々は,低次元および高次元の状態表現を含む安全な力学系ベンチマークを用いて,アルゴリズムの評価を行った。アクティブなメトリクスと安全性の制約を詳細に分析することで,フレームワークの有効性を直感的に評価する。
論文参考訳（メタデータ） (2020-06-12T10:40:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。