論文の概要: A Lifecycle and Application-Stack Survey of Large Language Model Vulnerabilities: Attacks, Risks, Defenses, and Open Problems

• arxiv url: http://arxiv.org/abs/2606.31639v1
• Date: Tue, 30 Jun 2026 13:21:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-01 18:27:19.234241
• Title: A Lifecycle and Application-Stack Survey of Large Language Model Vulnerabilities: Attacks, Risks, Defenses, and Open Problems
• Title（参考訳）: 大規模言語モデル脆弱性のライフサイクルとアプリケーションスタック調査:攻撃、リスク、防御、オープン問題
• Abstract要約: 本稿では,ライフサイクルとアプリケーションスタックレンズを用いて,大規模言語モデルシステムの脆弱性に関する文献を体系化する。 我々は攻撃能力、影響のあるセキュリティ目標、代表的攻撃、実践的リスク、評価プラクティス、防衛を解析する。 我々は,LLMシステムのセキュア化に関する研究課題に近づき,構成セキュリティ,実績認識検索,ツールコール封じ込め,長期エージェント評価,プライバシ保護適応,リアルなレッドチーム化,デプロイメントグレードのインシデント対応などについて述べる。
• 参考スコア（独自算出の注目度）: 6.572000338549628
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models are no longer only text generators. They are increasingly embedded in retrieval pipelines, enterprise assistants, coding environments, robotic systems, security-operation workflows, and autonomous agents that can read private data, call tools, write files, execute code, and act across organizational boundaries. This shift changes the security problem: risks do not arise from the model weights alone, but from the full lifecycle and application stack through which data, prompts, model outputs, tools, memories, and user authority interact. This paper systematizes the literature on vulnerabilities in large language model systems through a lifecycle and application-stack lens. We organize attacks across eight stages: data collection, pretraining, post-training alignment, model packaging and supply chain, retrieval and memory, prompting and inference, tool/agent execution, and deployment/maintenance. For each stage, we analyze attacker capabilities, affected security objectives, representative attacks, practical risks, evaluation practices, and defenses. We further map LLM-specific vulnerabilities to confidentiality, integrity, availability, safety, privacy, fairness, accountability, and agency-control objectives. Unlike taxonomies that list isolated attack names, the proposed systematization emphasizes where trust boundaries fail, how untrusted data becomes executable instruction, how delegated authority amplifies model errors, and why point defenses rarely compose. We close with a research agenda for secure LLM systems, including compositional security, provenance-aware retrieval, tool-call containment, long-horizon agent evaluation, privacy-preserving adaptation, realistic red teaming, and deployment-grade incident response.
• Abstract（参考訳）: 大規模言語モデルはもはやテキストジェネレータだけではない。 彼らはますます、検索パイプライン、エンタープライズアシスタント、コーディング環境、ロボットシステム、セキュリティ操作ワークフロー、プライベートデータを読み、ツールを呼び、ファイルを書き、コードを実行し、組織の境界を越えて行動する自律エージェントに埋め込まれている。 リスクはモデルの重みだけで生じるのではなく、データ、プロンプト、モデルアウトプット、ツール、メモリ、ユーザ権限が相互作用する完全なライフサイクルとアプリケーションスタックから生じます。 本稿では,ライフサイクルとアプリケーションスタックレンズを用いて,大規模言語モデルシステムの脆弱性に関する文献を体系化する。 データ収集、事前トレーニング、トレーニング後のアライメント、モデルパッケージングとサプライチェーン、検索とメモリ、プロンプトと推論、ツール/エージェントの実行、デプロイメント/メンテナンスの8段階にわたる攻撃を組織化する。 各ステージにおいて、攻撃能力、影響を受けるセキュリティ目標、代表的攻撃、実践的リスク、評価プラクティス、防衛を解析する。 さらに、LLM固有の脆弱性を機密性、完全性、可用性、安全性、プライバシ、公正性、説明責任、エージェンシーコントロールの目的にマッピングします。 独立した攻撃名をリストアップする分類学とは異なり、提案された体系化では、信頼境界が故障する場所、信頼できないデータが実行可能命令となる方法、委任された権威がモデルエラーを増幅する方法、ポイントディフェンスが構成されない理由が強調されている。 我々は,LLMシステムのセキュア化に関する研究課題に近づき,構成セキュリティ,実績認識検索,ツールコール封じ込め,長期エージェント評価,プライバシ保護適応,リアルなレッドチーム化,デプロイメントグレードのインシデント対応などについて述べる。

関連論文リスト

• CyberFactory: Scaling Cyber Security Capabilities with Instances from the Wild [49.44069582581181]
  CyberFactoryは、CVEを含む公開脆弱性アーティファクトをワイルドから実行可能で検証可能なタスクインスタンスに変換する。 再利用可能な脆弱性分析スキルを使用して、ソースインスペクション、ドメイン前の問題解決、エビデンスベースのバリデーションを通じて教師を指導する。 CyberGymでは1時間の予算で52.4%のPass@1に達し、Qwen3.5ベースモデルを+22.8ポイント改善した。
  論文  参考訳（メタデータ） (2026-08-24T12:30:10Z)
• Large Language Models in Misinformation Ecosystems: Misuse, Defense, and Vulnerability [65.56750741053266]
  大規模言語モデル(LLM)は、誤情報をコンテンツ中心の問題からより広範なエコシステムレベルのセキュリティ課題に転換した。 本稿では,これらのリスクと防御を統一する役割層フレームワークを提案する。 この役割はLLMを攻撃者、ディフェンダー、検証システムの脆弱なコンポーネントとして特徴づけ、層次元はコンテンツ、社会的コンテキスト、エビデンス環境、検証をカバーしている。
  論文  参考訳（メタデータ） (2026-07-11T17:04:17Z)
• Toward Secure LLM Agents: Threat Surfaces, Attacks, Defenses, and Evaluation [13.654207263751156]
  大規模言語モデル(LLM)エージェントは、会話インターフェースから、計画し、ツールを呼び出し、メモリを保守し、外部環境に作用するソフトウェアコンポーネントへと急速に移行している。 本稿では,情報フロー,委任権限,永続状態の相互作用に関するエージェントのセキュリティをモデル化するライフサイクルベースのシステム指向フレームワークを用いて,247の論文を合成する。 また, プロンプトインジェクションとツールによる制御-フローハイジャックが依然としてこの分野を支配しているのに対し, 永続的な状態破壊とマルチエージェントの伝播が中心的な関心事となっている。
  論文  参考訳（メタデータ） (2026-06-09T12:01:07Z)
• Vision-Language-Action Safety: Threats, Challenges, Evaluations, and Mechanisms [61.29786895012393]
  VLA(Vision-Language-Action)モデルがインボディードインテリジェンスのための統一された基盤として登場している。 この調査は、ビジョン・ランゲージ・アクションモデルにおける安全性の統一的で最新の概要を提供する。
  論文  参考訳（メタデータ） (2026-04-26T15:58:19Z)
• Safety in Embodied AI: A Survey of Risks, Attacks, and Defenses [168.50301366360344]
  Embodied AI (Embodied AI) は、知覚、認知、計画、相互作用を、安全クリティカルな環境で機能するエージェントに統合する。 デジタルAIシステムとは異なり、エンボディエージェントは不確実な検知、不完全な知識、動的な人間とロボットの相互作用の下で行動しなければならない。 この調査は、エンボディされたAIにおける安全性研究の包括的なレビューを提供し、完全なエンボディされたパイプラインにわたる攻撃と防御を調査している。
  論文  参考訳（メタデータ） (2026-03-28T13:21:44Z)
• Just Ask: Curious Code Agents Reveal System Prompts in Frontier LLMs [65.6660735371212]
  textbftextscJustAskは,インタラクションのみで効果的な抽出戦略を自律的に発見するフレームワークである。 これは、アッパー信頼境界に基づく戦略選択と、原子プローブと高レベルのオーケストレーションにまたがる階層的なスキル空間を用いて、オンライン探索問題として抽出を定式化する。 この結果から,現代のエージェントシステムにおいて,システムプロンプトは致命的ではあるがほぼ無防備な攻撃面であることがわかった。
  論文  参考訳（メタデータ） (2026-01-29T03:53:25Z)
• Towards Verifiably Safe Tool Use for LLM Agents [53.55621104327779]
  大規模言語モデル(LLM)ベースのAIエージェントは、データソース、API、検索エンジン、コードサンドボックス、さらにはその他のエージェントなどのツールへのアクセスを可能にすることで、機能を拡張する。 LLMは意図しないツールインタラクションを起動し、機密データを漏洩したり、クリティカルレコードを上書きしたりするリスクを発生させる。 モデルベースセーフガードのようなリスクを軽減するための現在のアプローチは、エージェントの信頼性を高めるが、システムの安全性を保証することはできない。
  論文  参考訳（メタデータ） (2026-01-12T21:31:38Z)
• Trust in LLM-controlled Robotics: a Survey of Security Threats, Defenses and Challenges [31.289512037053246]
  大きな言語モデル(LLM)は、複雑なヒューマンコマンドを解釈し、洗練されたタスクを実行する能力に革命をもたらした。 このようなパラダイムシフトは、'embodiment gap'から生じる重大なセキュリティ脆弱性を導入します。 本稿では,LLM制御ロボティクスにおける脅威の出現状況とそれに対応する防衛戦略を要約した体系的な調査を行う。
  論文  参考訳（メタデータ） (2025-12-17T02:07:33Z)
• A Survey on Data Security in Large Language Models [12.23432845300652]
  LLM(Large Language Models)は、自然言語処理、テキスト生成、機械翻訳、会話システムなどのパワーアプリケーションの基礎である。 トランスフォーメーションの可能性にもかかわらず、これらのモデルは本質的に大量のトレーニングデータに依存しており、しばしば多種多様な未処理ソースから収集され、深刻なデータセキュリティリスクにさらされる。 有害または悪意のあるデータは、モデル動作を妥協し、有害な出力、幻覚、即発注射やデータ中毒などの脅威に対する脆弱性などの問題を引き起こす。 本調査は、LLMが直面する主要なデータセキュリティリスクの概要と、敵を含む現在の防衛戦略のレビューを提供する。
  論文  参考訳（メタデータ） (2025-08-04T11:28:34Z)
• DRIFT: Dynamic Rule-Based Defense with Injection Isolation for Securing LLM Agents [52.92354372596197]
  大規模言語モデル(LLM)は、強力な推論と計画能力のため、エージェントシステムの中心となってきています。 この相互作用は、外部ソースからの悪意のある入力がエージェントの振る舞いを誤解させる可能性がある、インジェクション攻撃のリスクも引き起こす。 本稿では,信頼に値するエージェントシステムのための動的ルールベースの分離フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-13T05:01:09Z)
• garak: A Framework for Security Probing Large Language Models [16.305837349514505]
  garakは、ターゲットとするLarge Language Models(LLM)の脆弱性を発見し、特定するために使用できるフレームワークである。 フレームワークのアウトプットは、ターゲットモデルの弱点を記述し、ユニークなコンテキストで脆弱性を構成するものについての情報的な議論に寄与する。
  論文  参考訳（メタデータ） (2024-06-16T18:18:43Z)
• Dataset Security for Machine Learning: Data Poisoning, Backdoor Attacks, and Defenses [150.64470864162556]
  この作業は体系的に分類され、幅広いデータセット脆弱性とエクスプロイトを議論する。 様々な毒とバックドアの脅威モデルとそれらの関係を記述することに加えて,それらの統一分類法を展開する。
  論文  参考訳（メタデータ） (2020-12-18T22:38:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。