論文の概要: SV-TrustEval-C: Evaluating Structure and Semantic Reasoning in Large Language Models for Source Code Vulnerability Analysis

• arxiv url: http://arxiv.org/abs/2505.20630v1
• Date: Tue, 27 May 2025 02:16:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 17:05:58.349305
• Title: SV-TrustEval-C: Evaluating Structure and Semantic Reasoning in Large Language Models for Source Code Vulnerability Analysis
• Title（参考訳）: SV-TrustEval-C:ソースコード脆弱性解析のための大規模言語モデルにおける構造と意味推論の評価
• Authors: Yansong Li, Paula Branco, Alexander M. Hoole, Manish Marwah, Hari Manassery Koduvely, Guy-Vincent Jourdan, Stephan Jou,
• Abstract要約: SV-TrustEval-Cは,C言語で記述されたコードの脆弱性解析のための大規模言語モデルの能力を評価するためのベンチマークである。 以上の結果から,現在のLLMは複雑なコード関係を理解するのに十分ではないことが示され,その脆弱性分析はロバストな論理的推論よりもパターンマッチングに頼っている。
• 参考スコア（独自算出の注目度）: 39.229080120880774
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As Large Language Models (LLMs) evolve in understanding and generating code, accurately evaluating their reliability in analyzing source code vulnerabilities becomes increasingly vital. While studies have examined LLM capabilities in tasks like vulnerability detection and repair, they often overlook the importance of both structure and semantic reasoning crucial for trustworthy vulnerability analysis. To address this gap, we introduce SV-TrustEval-C, a benchmark designed to evaluate LLMs' abilities for vulnerability analysis of code written in the C programming language through two key dimensions: structure reasoning - assessing how models identify relationships between code elements under varying data and control flow complexities; and semantic reasoning - examining their logical consistency in scenarios where code is structurally and semantically perturbed. Our results show that current LLMs are far from satisfactory in understanding complex code relationships and that their vulnerability analyses rely more on pattern matching than on robust logical reasoning. These findings underscore the effectiveness of the SV-TrustEval-C benchmark and highlight critical areas for enhancing the reasoning capabilities and trustworthiness of LLMs in real-world vulnerability analysis tasks. Our initial benchmark dataset is publicly available.
• Abstract（参考訳）: 大きな言語モデル(LLM)がコードの理解と生成に進化するにつれて、ソースコードの脆弱性を分析する際の信頼性を正確に評価することがますます重要になっている。 脆弱性検出や修復といったタスクにおけるLLMの機能について研究されているが、信頼に値する脆弱性分析に不可欠な構造的および意味論的推論の重要性を、しばしば見落としている。 このギャップに対処するために、SV-TrustEval-Cは、構造的推論(Structument reasoning) - モデルがどのようにして異なるデータと制御フローの複雑さの下でコード要素間の関係を識別するかを評価すること、意味的推論(Semantic reasoning) - コードが構造的に、セマンティックに乱されるシナリオにおいて、それらの論理的一貫性を調べること、という2つの主要な次元を通じて、C言語で記述されたコードの脆弱性分析のためのLSMの能力を評価するために設計されたベンチマークである。 以上の結果から,現在のLLMは複雑なコード関係を理解するのに十分ではないことが示され,その脆弱性分析はロバストな論理的推論よりもパターンマッチングに頼っている。 これらの結果は,SV-TrustEval-Cベンチマークの有効性を強調し,実世界の脆弱性解析タスクにおけるLCMの推論能力と信頼性を高める重要な領域を強調した。 最初のベンチマークデータセットが公開されています。

関連論文リスト

• Everything You Wanted to Know About LLM-based Vulnerability Detection But Were Afraid to Ask [30.819697001992154]
  大規模言語モデルは、自動脆弱性検出のための有望なツールである。 LLMは現実世界の脆弱性を検出するのに本当に効果的か? 本稿では, LLM は (i) 信頼できないこと, (ii) コードパッチに敏感であること, (iii) モデルスケールにまたがる性能評価の3つを, 広く支持されているコミュニティの信念に異議を唱える。
  論文  参考訳（メタデータ） (2025-04-18T05:32:47Z)
• REVAL: A Comprehension Evaluation on Reliability and Values of Large Vision-Language Models [59.445672459851274]
  REVALは、Large Vision-Language Modelsの textbfREliability と textbfVALue を評価するために設計された包括的なベンチマークである。 REVALには144K以上の画像テキストビジュアル質問回答(VQA)サンプルが含まれており、信頼性と価値の2つの主要なセクションで構成されている。 主流のオープンソースLVLMや,GPT-4oやGemini-1.5-Proといった著名なクローズドソースモデルを含む26のモデルを評価した。
  論文  参考訳（メタデータ） (2025-03-20T07:54:35Z)
• LLMs in Software Security: A Survey of Vulnerability Detection Techniques and Insights [12.424610893030353]
  大規模言語モデル(LLM)は、ソフトウェア脆弱性検出のためのトランスフォーメーションツールとして登場している。 本稿では,脆弱性検出におけるLSMの詳細な調査を行う。 言語間の脆弱性検出、マルチモーダルデータ統合、リポジトリレベルの分析といった課題に対処する。
  論文  参考訳（メタデータ） (2025-02-10T21:33:38Z)
• Code Change Intention, Development Artifact and History Vulnerability: Putting Them Together for Vulnerability Fix Detection by LLM [13.278153690972243]
  VulFixMinerとCoLeFunDaは、開発アーティファクトから必須のコンテキストを無視して、コードの変更のみに焦点を当てている。 LLM4VFD(Large Language Models (LLMs)) とChain-of-Thought推論とIn-Context Learningを併用した新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-01-24T23:40:03Z)
• StructTest: Benchmarking LLMs' Reasoning through Compositional Structured Outputs [78.84060166851805]
  StructTestは、大規模な言語モデル(LLM)を合成命令に従って構造化出力を生成する能力に基づいて評価する、新しいベンチマークである。 評価はルールベースの評価器を用いて決定的に行われ、新しいタスクやデータセットに容易に拡張できる。 StructTestは、Deepseek-V3/R1やGPT-4oといったトップパフォーマンスモデルでも、依然として難しいままです。
  論文  参考訳（メタデータ） (2024-12-23T22:08:40Z)
• VulnLLMEval: A Framework for Evaluating Large Language Models in Software Vulnerability Detection and Patching [0.9208007322096533]
  大きな言語モデル(LLM)は、コード翻訳のようなタスクにおいて有望であることを示している。 本稿では,C コードの脆弱性を特定し,パッチする際の LLM の性能を評価するためのフレームワーク VulnLLMEval を紹介する。 私たちの研究には、Linuxカーネルから抽出された307の現実世界の脆弱性が含まれている。
  論文  参考訳（メタデータ） (2024-09-16T22:00:20Z)
• Towards More Trustworthy and Interpretable LLMs for Code through Syntax-Grounded Explanations [48.07182711678573]
  ASTrustは、モデル信頼度とプログラミング言語の構文構造の関係に基づく説明を生成する。 ASTからの構文構造のシーケンス, 熱マップ, グラフに基づく可視化を重畳した, モデル信頼度スコアを自動可視化する。
  論文  参考訳（メタデータ） (2024-07-12T04:38:28Z)
• M2CVD: Enhancing Vulnerability Semantic through Multi-Model Collaboration for Code Vulnerability Detection [52.4455893010468]
  大規模言語モデル(LLM)は、コード理解において強力な能力を持つが、微調整コストとセマンティックアライメントの問題により、プロジェクト固有の最適化が制限される。 CodeBERTのようなコードモデルは微調整が容易であるが、複雑なコード言語から脆弱性のセマンティクスを学ぶことはしばしば困難である。 本稿では,M2CVD(Multi-Model Collaborative Vulnerability Detection)手法を提案する。
  論文  参考訳（メタデータ） (2024-06-10T00:05:49Z)
• Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
  オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。 一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
  論文  参考訳（メタデータ） (2023-09-07T01:35:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。