論文の概要: On the Evaluation of Large Language Models in Multilingual Vulnerability Repair

• arxiv url: http://arxiv.org/abs/2508.03470v1
• Date: Tue, 05 Aug 2025 14:05:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-06 18:18:55.999053
• Title: On the Evaluation of Large Language Models in Multilingual Vulnerability Repair
• Title（参考訳）: 多言語脆弱性修復における大規模言語モデルの評価について
• Authors: Dong wang, Junji Yu, Honglin Shu, Michael Fu, Chakkrit Tantithamthavorn, Yasutaka Kamei, Junjie Chen,
• Abstract要約: 大きな言語モデル(LLM)は言語に依存しない機能と強力な意味理解を提供する。 大規模言語モデル(LLM)の最近の進歩は、言語に依存しない機能と強力な意味理解を提供する。
• 参考スコア（独自算出の注目度）: 13.269680075539135
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Various Deep Learning-based approaches with pre-trained language models have been proposed for automatically repairing software vulnerabilities. However, these approaches are limited to a specific programming language (C/C++). Recent advances in large language models (LLMs) offer language-agnostic capabilities and strong semantic understanding, exhibiting potential to overcome multilingual vulnerability limitations. Although some work has begun to explore LLMs' repair performance, their effectiveness is unsatisfactory. To address these limitations, we conducted a large-scale empirical study to investigate the performance of automated vulnerability repair approaches and state-of-the-art LLMs across seven programming languages. Results show GPT-4o, instruction-tuned with few-shot prompting, performs competitively against the leading approach, VulMaster. Additionally, the LLM-based approach shows superior performance in repairing unique vulnerabilities and is more likely to repair the most dangerous vulnerabilities. Instruction-tuned GPT-4o demonstrates strong generalization on vulnerabilities in previously unseen language, outperforming existing approaches. Analysis shows Go consistently achieves the highest effectiveness across all model types, while C/C++ performs the worst. Based on findings, we discuss the promise of LLM on multilingual vulnerability repair and the reasons behind LLM's failed cases. This work takes the first look at repair approaches and LLMs across multiple languages, highlighting the promising future of adopting LLMs for multilingual vulnerability repair.
• Abstract（参考訳）: ソフトウェア脆弱性を自動的に修復するために、事前訓練された言語モデルによるディープラーニングベースの様々なアプローチが提案されている。 しかし、これらのアプローチは特定のプログラミング言語(C/C++)に限定されている。 大規模言語モデル(LLM)の最近の進歩は、言語に依存しない機能と強力な意味理解を提供し、多言語的脆弱性の限界を克服する可能性を示している。 LLMの補修性能を探求する研究もあるが、その有効性は不十分である。 これらの制約に対処するため、我々は7つのプログラミング言語における自動脆弱性修復手法と最先端のLCMの性能について大規模な実証研究を行った。 GPT-4oは、数発のプロンプトでチューニングされた命令で、主要なアプローチであるVulMasterと競合して動作する。 さらに、LSMベースのアプローチは、ユニークな脆弱性を修復する上で優れたパフォーマンスを示し、最も危険な脆弱性を修復する可能性が高い。 Instruction-tuned GPT-4oは、未確認言語における脆弱性の強力な一般化を示し、既存のアプローチより優れている。 分析によると、Goはすべてのモデルタイプで一貫して最高効果を達成し、C/C++は最悪だ。 結果から,多言語的脆弱性修復におけるLSMの約束と,LSMの失敗の原因について考察した。 この研究は、複数の言語にまたがる修復アプローチとLLMを初めて検討し、多言語による脆弱性修復にLLMを採用するという将来性を強調した。

関連論文リスト

• Large Language Model Unlearning for Source Code [65.42425213605114]
  PRODは、LLMがコード生成能力を保ちながら、望ましくないコード内容を忘れることができる新しいアンラーニングアプローチである。 本評価は,既存の未学習アプローチと比較して,忘れ品質とモデルユーティリティのバランスが良好であることを示す。
  論文  参考訳（メタデータ） (2025-06-20T16:27:59Z)
• Large Language Models for Multilingual Vulnerability Detection: How Far Are We? [13.269680075539135]
  多言語脆弱性検出のための事前学習言語モデル(PLM)と大規模言語モデル(LLM)の有効性を評価する。 7つの言語にまたがる3万以上の現実世界の脆弱性修正パッチを使用して、機能レベルとラインレベルの両方でモデルパフォーマンスを評価します。 GPT-4oはインストラクションチューニングと数発のプロンプトによって強化され、他の評価モデルよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2025-06-09T07:27:49Z)
• A Preliminary Study of Large Language Models for Multilingual Vulnerability Detection [13.269680075539135]
  言語モデル(LLM)は言語に依存しない機能と意味理解の強化を提供する。 大規模言語モデル(LLM)の最近の進歩は、言語に依存しない機能と意味理解の強化を提供する。 以上の結果から, PLM CodeT5Pは多言語脆弱性検出において最高の性能を発揮することが明らかとなった。
  論文  参考訳（メタデータ） (2025-05-12T09:19:31Z)
• Unlocking LLM Repair Capabilities in Low-Resource Programming Languages Through Cross-Language Translation and Multi-Agent Refinement [4.5051492144389504]
  本稿では,新しい言語間プログラム修復手法 LANTERN を提案する。 提案手法は,LLMが弱い補修能力を示す言語から,より強力な性能を示す言語へ,欠陥コードを戦略的に翻訳する。 我々は,11言語にまたがる5,068のバグを含む総合的な多言語ベンチマークであるxCodeEvalについて評価を行った。
  論文  参考訳（メタデータ） (2025-03-28T15:15:56Z)
• Enhancing Code Generation for Low-Resource Languages: No Silver Bullet [55.39571645315926]
  大規模言語モデル(LLM)は、プログラミング言語の構文、意味論、使用パターンを学ぶために、大規模で多様なデータセットに依存している。 低リソース言語では、そのようなデータの限られた可用性は、モデルを効果的に一般化する能力を損なう。 本稿では,低リソース言語におけるLLMの性能向上のためのいくつかの手法の有効性を実証研究する。
  論文  参考訳（メタデータ） (2025-01-31T12:23:28Z)
• Bridging the Language Gaps in Large Language Models with Inference-Time Cross-Lingual Intervention [71.12193680015622]
  大規模言語モデル(LLM)は自然言語処理において顕著な能力を示している。 LLMは異なる言語間で大きな性能差を示す。 Inference-Time Cross-Lingual Intervention (INCLINE) を提案する。
  論文  参考訳（メタデータ） (2024-10-16T11:23:03Z)
• Can LLMs be Fooled? Investigating Vulnerabilities in LLMs [4.927763944523323]
  LLM(Large Language Models)の出現は、自然言語処理(NLP)内の様々な領域で大きな人気を集め、膨大なパワーを誇っている。 本稿では,各脆弱性部の知見を合成し,新たな研究・開発の方向性を提案する。 現在の脆弱性の焦点を理解することで、将来のリスクを予測し軽減できます。
  論文  参考訳（メタデータ） (2024-07-30T04:08:00Z)
• Multitask-based Evaluation of Open-Source LLM on Software Vulnerability [2.7692028382314815]
  本稿では,公開データセットを用いて対話型大規模言語モデル(LLM)を定量的に評価するためのパイプラインを提案する。 我々は,4つの共通ソフトウェア脆弱性タスクをカバーするBig-Vulを用いて,LLMの広範な技術的評価を行う。 既存の最先端のアプローチと事前訓練された言語モデル(LM)は、ソフトウェア脆弱性検出において、LLMよりも一般的に優れていることがわかった。
  論文  参考訳（メタデータ） (2024-04-02T15:52:05Z)
• Analyzing and Adapting Large Language Models for Few-Shot Multilingual NLU: Are We There Yet? [82.02076369811402]
  教師付きファインチューニング(SFT)、教師付きインストラクションチューニング(SIT)、インコンテキストラーニング(ICL)は、3つの代替であり、事実上の標準的アプローチである。 提案手法は,6つの高・低リソース言語,3つの異なるNLUタスク,多種多様な言語とドメインのセットアップを用いて,3つのアプローチを網羅的かつ体系的に比較する。 そこで本研究では,教師あり指導のチューニングが,性能とリソース要件の最良のトレードオフであることを示す。
  論文  参考訳（メタデータ） (2024-03-04T10:48:13Z)
• FAC$^2$E: Better Understanding Large Language Model Capabilities by Dissociating Language and Cognition [56.76951887823882]
  大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。 FAC$2$E, FAC$2$Eについて述べる。
  論文  参考訳（メタデータ） (2024-02-29T21:05:37Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。