論文の概要: Towards Demystifying and Repairing LLM-in-the-Loop Vulnerabilities
- arxiv url: http://arxiv.org/abs/2605.28893v1
- Date: Wed, 27 May 2026 08:11:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-30 02:45:55.031639
- Title: Towards Demystifying and Repairing LLM-in-the-Loop Vulnerabilities
- Title（参考訳）: LLM-in-the-Loop 脆弱性の解明と修復に向けて
- Authors: Yujie Ma, Jialin Rong, Chenxi Yang, Lili Quan, Xiaofei Xie, Yongqiang Lyu, Qiang Hu,
- Abstract要約: LLM(Large Language Models)は、現代のソフトウェアシステムに重要なコンポーネントとして積極的に統合されている。
LLMs-in-the-loopの脆弱性では、LLMとその依存する下流コンポーネント(フレームワークなど)が新たなリスクを導入している。
これらの脆弱性は、特にPass@1レートが28.57%であるプロンプトインジェクションを含む場合、正確に修正することがより困難である。
- 参考スコア（独自算出の注目度）: 22.313168715963315
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models(LLMs) have been actively integrated into modern software systems as critical components. LLM-in-the-loop vulnerabilities, where vulnerabilities are introduced by LLMs and their dependent downstream components, such as frameworks, introduce new risks. Although some benchmark datasets have been constructed to study the impact of such vulnerabilities, most works still remain at the analysis from the conventional software level, ignoring the harm actually caused by LLMs. Understanding real-world LLM-in-the-loop vulnerabilities is still an open problem. To address this gap, we build the first LLM-in-the-loop vulnerability dataset, LLMCVE, to facilitate the risk analysis of LLM-integrated software. To do so, we first collect 2,888 multi-source vulnerabilities across 230 popular LLM components. Then, through manual analysis, we identify 205 vulnerabilities that strictly fall under the concept of LLM-in-the-loop vulnerability. Through analysis, we found that LLMs more often play as targets or propagation vectors rather than the root cause of these vulnerabilities. Furthermore, based on LLMCVE, we evaluate the repairing capabilities of existing agent-based vulnerability repair methods, such as SWE-Agent. Experimental results demonstrate that compared to conventional software vulnerabilities, LLM-in-the-Loop vulnerabilities are more challenging to precisely fix, especially for those involving prompt injections where the Pass@1 rate is only 28.57%.
- Abstract（参考訳）: LLM(Large Language Models)は、現代のソフトウェアシステムに重要なコンポーネントとして積極的に統合されている。
LLM-in-the-loopの脆弱性では、LLMとその依存する下流コンポーネント(フレームワークなど)が新たなリスクを導入している。
いくつかのベンチマークデータセットはそのような脆弱性の影響を研究するために構築されているが、ほとんどの研究は従来のソフトウェアレベルからの分析に留まっており、LCMが引き起こした損害を無視している。
実際のLLM-in-the-loop脆弱性を理解することは、依然としてオープンな問題である。
このギャップに対処するために、LLMCVEと呼ばれる最初のLLM-in-the-loop脆弱性データセットを構築し、LCM統合ソフトウェアのリスク分析を容易にする。
そのため、まず230のLLMコンポーネントにまたがる2,888のマルチソース脆弱性を収集します。
手動で解析することで、LLM-in-the-loop脆弱性という概念に厳密に該当する205の脆弱性を特定します。
分析の結果,LSMはこれらの脆弱性の根本原因ではなく,目標や伝播ベクトルとしての役割を担っていることが判明した。
さらに, LLMCVEに基づいて, SWE-Agent などの既存のエージェントベースの脆弱性修復手法の修復能力を評価する。
実験の結果、従来のソフトウェア脆弱性と比較して、LSM-in-the-Loop脆弱性は、特にPass@1レートが28.57%であるプロンプトインジェクションを含む場合、正確に修正することがより困難であることが示された。
関連論文リスト
- On the Effectiveness of Instruction-Tuning Local LLMs for Identifying Software Vulnerabilities [0.7136933021609079]
大規模言語モデル(LLM)は、ソフトウェア脆弱性分析の自動化において大きな可能性を秘めている。
脆弱性分析を自動化するためにLLMを使用する現在のアプローチは、主にオンラインAPIベースのLLMサービスに頼っている。
本稿では,この問題をソフトウェア脆弱性同定(SVI)として再検討することによって,これらの制約に対処する。
実世界の脆弱性管理においてLLMをより効果的でセキュアで実践的なアプローチを示す。
論文 参考訳（メタデータ） (2025-12-23T05:30:53Z) - Evaluating LLMs for One-Shot Patching of Real and Artificial Vulnerabilities [2.5190317156807924]
いくつかの著名な大規模言語モデル(LLM)のパッチの有効性と相補性を実証的に評価する。
以上の結果から,LLMは人工的な脆弱性よりも,実際の脆弱性を効果的にパッチすることが明らかとなった。
重なり合い(複数のLLMが同一の脆弱性にパッチを当てている)と相補性の観点から,LLM間の大きなばらつきを明らかにした。
論文 参考訳（メタデータ） (2025-11-28T18:03:47Z) - Commercial LLM Agents Are Already Vulnerable to Simple Yet Dangerous Attacks [88.84977282952602]
最近のMLセキュリティ文献は、整列型大規模言語モデル(LLM)に対する攻撃に焦点を当てている。
本稿では,LLMエージェントに特有のセキュリティとプライバシの脆弱性を分析する。
我々は、人気のあるオープンソースおよび商用エージェントに対する一連の実証的な攻撃を行い、その脆弱性の即時的な影響を実証した。
論文 参考訳（メタデータ） (2025-02-12T17:19:36Z) - Adversarial Reasoning at Jailbreaking Time [49.70772424278124]
大規模言語モデル(LLM)は、より有能で広く普及している。
テスト時間計算の標準化, 測定, スケーリングの最近の進歩は, ハードタスクにおける高い性能を達成するためにモデルを最適化するための新しい手法を提案する。
本稿では、これらの進歩をジェイルブレイクモデルに応用し、協調LDMから有害な応答を誘発する。
論文 参考訳（メタデータ） (2025-02-03T18:59:01Z) - From Vulnerabilities to Remediation: A Systematic Literature Review of LLMs in Code Security [0.0]
大規模言語モデル(LLM)は、様々なプログラミングタスクを自動化する強力なツールとして登場した。
LLMはプログラマが知らない脆弱性を導入する可能性がある。
コードを解析する際には、明確な脆弱性を見逃したり、存在しない脆弱性を通知する可能性がある。
論文 参考訳（メタデータ） (2024-12-19T16:20:22Z) - Look Before You Leap: Enhancing Attention and Vigilance Regarding Harmful Content with GuidelineLLM [53.79753074854936]
大規模言語モデル(LLM)は、出現するジェイルブレイク攻撃に対してますます脆弱である。
この脆弱性は現実世界のアプリケーションに重大なリスクをもたらす。
本稿では,ガイドラインLLMという新しい防御パラダイムを提案する。
論文 参考訳（メタデータ） (2024-12-10T12:42:33Z) - Exploring Automatic Cryptographic API Misuse Detection in the Era of LLMs [60.32717556756674]
本稿では,暗号誤用の検出において,大規模言語モデルを評価するための体系的評価フレームワークを提案する。
11,940個のLCM生成レポートを詳細に分析したところ、LSMに固有の不安定性は、報告の半数以上が偽陽性になる可能性があることがわかった。
最適化されたアプローチは、従来の手法を超え、確立されたベンチマークでこれまで知られていなかった誤用を明らかにすることで、90%近い顕著な検出率を達成する。
論文 参考訳（メタデータ） (2024-07-23T15:31:26Z) - Harnessing Large Language Models for Software Vulnerability Detection: A Comprehensive Benchmarking Study [1.03590082373586]
ソースコードの脆弱性発見を支援するために,大規模言語モデル(LLM)を提案する。
目的は、複数の最先端のLCMをテストし、最も優れたプロンプト戦略を特定することである。
LLMは従来の静的解析ツールよりも多くの問題を特定でき、リコールやF1スコアの点で従来のツールよりも優れています。
論文 参考訳（メタデータ） (2024-05-24T14:59:19Z) - Uncovering Safety Risks of Large Language Models through Concept Activation Vector [13.804245297233454]
大規模言語モデル(LLM)に対する攻撃を誘導する安全概念活性化ベクトル(SCAV)フレームワークについて紹介する。
そこで我々は,攻撃プロンプトと埋め込みレベルの攻撃の両方を生成できるSCAV誘導攻撃法を開発した。
本手法は,トレーニングデータが少なくなるとともに,攻撃成功率と応答品質を著しく向上させる。
論文 参考訳（メタデータ） (2024-04-18T09:46:25Z) - Benchmarking and Defending Against Indirect Prompt Injection Attacks on Large Language Models [79.0183835295533]
我々は,このような脆弱性のリスクを評価するために,BIPIAと呼ばれる間接的インジェクション攻撃のための最初のベンチマークを導入した。
我々の分析では、LLMが情報コンテキストと動作可能な命令を区別できないことと、外部コンテンツ内での命令の実行を回避できないことの2つの主要な要因を同定した。
ブラックボックスとホワイトボックスという2つの新しい防御機構と、これらの脆弱性に対処するための明確なリマインダーを提案する。
論文 参考訳（メタデータ） (2023-12-21T01:08:39Z) - Understanding the Effectiveness of Large Language Models in Detecting Security Vulnerabilities [12.82645410161464]
5つの異なるセキュリティデータセットから5,000のコードサンプルに対して、16の事前学習された大規模言語モデルの有効性を評価する。
全体として、LSMは脆弱性の検出において最も穏やかな効果を示し、データセットの平均精度は62.8%、F1スコアは0.71である。
ステップバイステップ分析を含む高度なプロンプト戦略は、F1スコア(平均0.18まで)で実世界のデータセット上でのLLMのパフォーマンスを著しく向上させることがわかった。
論文 参考訳（メタデータ） (2023-11-16T13:17:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。