論文の概要: LLM in the Middle: A Systematic Review of Threats and Mitigations to Real-World LLM-based Systems
- arxiv url: http://arxiv.org/abs/2509.10682v1
- Date: Fri, 12 Sep 2025 20:26:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-16 17:26:22.725962
- Title: LLM in the Middle: A Systematic Review of Threats and Mitigations to Real-World LLM-based Systems
- Title（参考訳）: LLM in the Middle: A Systematic Review of Threats and Mitigations to Real-World LLM-based Systems
- Authors: Vitor Hugo Galhardo Moia, Igor Jochem Sanz, Gabriel Antonio Fontes Rebello, Rodrigo Duarte de Meneses, Briland Hitaj, Ulf Lindqvist,
- Abstract要約: ジェネレーティブAI(GenAI)は、モデルを悪用したり、機密データを盗んだり、サービスを破壊しようとするサイバー犯罪者の注目を集めている。
我々は、脅威と防衛戦略の体系的レビューと包括的分類を行うことにより、このようなLCMベースのシステムのセキュリティとプライバシに関する懸念を浮き彫りにした。
この作業は、消費者やベンダーがそれぞれのソリューションや組織にLSMを統合する際のリスクを理解し、効率的に軽減する方法を開拓する。
- 参考スコア（独自算出の注目度）: 0.3635283440841641
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The success and wide adoption of generative AI (GenAI), particularly large language models (LLMs), has attracted the attention of cybercriminals seeking to abuse models, steal sensitive data, or disrupt services. Moreover, providing security to LLM-based systems is a great challenge, as both traditional threats to software applications and threats targeting LLMs and their integration must be mitigated. In this survey, we shed light on security and privacy concerns of such LLM-based systems by performing a systematic review and comprehensive categorization of threats and defensive strategies considering the entire software and LLM life cycles. We analyze real-world scenarios with distinct characteristics of LLM usage, spanning from development to operation. In addition, threats are classified according to their severity level and to which scenarios they pertain, facilitating the identification of the most relevant threats. Recommended defense strategies are systematically categorized and mapped to the corresponding life cycle phase and possible attack strategies they attenuate. This work paves the way for consumers and vendors to understand and efficiently mitigate risks during integration of LLMs in their respective solutions or organizations. It also enables the research community to benefit from the discussion of open challenges and edge cases that may hinder the secure and privacy-preserving adoption of LLM-based systems.
- Abstract（参考訳）: 生成AI(GenAI)の成功と広く採用されている、特に大きな言語モデル(LLM)は、モデルを悪用したり、機密データを盗んだり、サービスを破壊したりするサイバー犯罪者の注目を集めている。
さらに、LLMベースのシステムにセキュリティを提供することは、ソフトウェアアプリケーションに対する従来の脅威とLLMをターゲットにした脅威の両方を緩和する必要があるため、大きな課題である。
本調査では,ソフトウェアとLCMのライフサイクル全体を考慮した脅威と防御戦略の体系的レビューと包括的分類を行うことにより,このようなLCMベースのシステムのセキュリティとプライバシに関する懸念を浮き彫りにした。
実世界のシナリオを,開発から運用まで,LLMの利用の異なる特徴で分析する。
さらに、脅威はその深刻度レベルと関連するシナリオに基づいて分類され、最も関係のある脅威の特定を容易にする。
推奨された防衛戦略は、体系的に分類され、対応するライフサイクルフェーズにマッピングされ、それらが減衰する可能性のある攻撃戦略にマッピングされる。
この作業は、消費者やベンダーがそれぞれのソリューションや組織にLSMを統合する際のリスクを理解し、効率的に軽減する方法を開拓する。
また、LLMベースのシステムの安全性とプライバシ保護の妨げとなるようなオープンな課題やエッジケースの議論の恩恵を受けることができる。
関連論文リスト
- Large Language Models in Cybersecurity: Applications, Vulnerabilities, and Defense Techniques [11.217261201018815]
大規模言語モデル(LLM)は、脅威検出、脆弱性評価、インシデント応答に対するインテリジェントで適応的で自動化されたアプローチを可能にすることで、サイバーセキュリティを変革している。
高度な言語理解とコンテキスト推論によって、LLMは、IoTやブロックチェーン、ハードウェアセキュリティといったドメイン間の課題に対処する従来の手法を超越している。
論文 参考訳（メタデータ） (2025-07-18T03:41:18Z) - Security Concerns for Large Language Models: A Survey [4.1824815480811806]
大きな言語モデル(LLM)は自然言語処理に革命をもたらしたが、その能力は新たなセキュリティ脆弱性も導入している。
この調査は、脅威をいくつかの重要な領域に分類する、これらの新興懸念の包括的概要を提供する。
LLMが安全で有益であることを保証するために、堅牢で多層的なセキュリティ戦略を推進していくことの重要性を強調した。
論文 参考訳（メタデータ） (2025-05-24T22:22:43Z) - A Survey of Attacks on Large Language Models [5.845689496906739]
大規模言語モデル(LLM)とLLMベースのエージェントは、現実世界の幅広いアプリケーションに広くデプロイされている。
本稿では, LLM および LLM ベースのエージェントを標的とした敵攻撃の詳細を体系的に概説する。
論文 参考訳（メタデータ） (2025-05-18T22:55:16Z) - Commercial LLM Agents Are Already Vulnerable to Simple Yet Dangerous Attacks [88.84977282952602]
最近のMLセキュリティ文献は、整列型大規模言語モデル(LLM)に対する攻撃に焦点を当てている。
本稿では,LLMエージェントに特有のセキュリティとプライバシの脆弱性を分析する。
我々は、人気のあるオープンソースおよび商用エージェントに対する一連の実証的な攻撃を行い、その脆弱性の即時的な影響を実証した。
論文 参考訳（メタデータ） (2025-02-12T17:19:36Z) - Look Before You Leap: Enhancing Attention and Vigilance Regarding Harmful Content with GuidelineLLM [53.79753074854936]
大規模言語モデル(LLM)は、出現するジェイルブレイク攻撃に対してますます脆弱である。
この脆弱性は現実世界のアプリケーションに重大なリスクをもたらす。
本稿では,ガイドラインLLMという新しい防御パラダイムを提案する。
論文 参考訳（メタデータ） (2024-12-10T12:42:33Z) - Global Challenge for Safe and Secure LLMs Track 1 [57.08717321907755]
LLM(Global Challenge for Safe and Secure Large Language Models)は、AI Singapore(AISG)とCyberSG R&D Programme Office(CRPO)が主催する先駆的イニシアチブである。
本稿では,AI Singapore(AISG)とCyberSG R&D Programme Office(CRPO)が組織した先駆的イニシアチブであるLLM(Global Challenge for Safe and Secure Large Language Models)を紹介する。
論文 参考訳（メタデータ） (2024-11-21T08:20:31Z) - Prompt Leakage effect and defense strategies for multi-turn LLM interactions [95.33778028192593]
システムプロンプトの漏洩は知的財産を侵害し、攻撃者に対する敵の偵察として機能する可能性がある。
我々は, LLM sycophancy 効果を利用して, 平均攻撃成功率 (ASR) を17.7%から86.2%に高めるユニークな脅威モデルを構築した。
7つのブラックボックス防衛戦略の緩和効果と、漏洩防止のためのオープンソースモデルを微調整する。
論文 参考訳（メタデータ） (2024-04-24T23:39:58Z) - Uncovering Safety Risks of Large Language Models through Concept Activation Vector [13.804245297233454]
大規模言語モデル(LLM)に対する攻撃を誘導する安全概念活性化ベクトル(SCAV)フレームワークについて紹介する。
そこで我々は,攻撃プロンプトと埋め込みレベルの攻撃の両方を生成できるSCAV誘導攻撃法を開発した。
本手法は,トレーニングデータが少なくなるとともに,攻撃成功率と応答品質を著しく向上させる。
論文 参考訳（メタデータ） (2024-04-18T09:46:25Z) - Unveiling the Misuse Potential of Base Large Language Models via In-Context Learning [61.2224355547598]
大規模言語モデル(LLM)のオープンソース化は、アプリケーション開発、イノベーション、科学的進歩を加速させる。
我々の調査は、この信念に対する重大な監視を露呈している。
我々の研究は、慎重に設計されたデモを配置することにより、ベースLSMが悪意のある命令を効果的に解釈し実行できることを実証する。
論文 参考訳（メタデータ） (2024-04-16T13:22:54Z) - Mapping LLM Security Landscapes: A Comprehensive Stakeholder Risk Assessment Proposal [0.0]
本稿では,従来のシステムにおけるリスク評価手法のようなツールを用いたリスク評価プロセスを提案する。
我々は、潜在的な脅威要因を特定し、脆弱性要因に対して依存するシステムコンポーネントをマッピングするためのシナリオ分析を行う。
3つの主要株主グループに対する脅威もマップ化しています。
論文 参考訳（メタデータ） (2024-03-20T05:17:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。