論文の概要: Where Do LLM-based Systems Break? A System-Level Security Framework for Risk Assessment and Treatment

• arxiv url: http://arxiv.org/abs/2603.07460v1
• Date: Sun, 08 Mar 2026 04:30:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-10 15:13:14.606288
• Title: Where Do LLM-based Systems Break? A System-Level Security Framework for Risk Assessment and Treatment
• Title（参考訳）: LLMベースのシステムとは何か? リスクアセスメントと治療のためのシステムレベルセキュリティフレームワーク
• Authors: Neha Nagaraja, Hayretdin Bahsi,
• Abstract要約: 大規模言語モデル(LLM)は、安全クリティカルシステムにますます統合されている。 本研究は,LLMシステムのための目標駆動型リスクアセスメントフレームワークを紹介する。 医療ケーススタディを通じてその枠組みを実証する。
• 参考スコア（独自算出の注目度）: 0.5801044612920815
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) are increasingly integrated into safety-critical workflows, yet existing security analyses remain fragmented and often isolate model behavior from the broader system context. This work introduces a goal-driven risk assessment framework for LLM-powered systems that combines system modeling with Attack-Defense Trees (ADTrees) and Common Vulnerability Scoring System (CVSS)-based exploitability scoring to support structured, comparable analysis. We demonstrate the framework through a healthcare case study, modeling multi-step attack paths targeting intervention in medical procedures, leakage of electronic health record (EHR) data, and disruption of service availability. Our analysis indicates that threats spanning (i) conventional cyber, (ii) adversarial ML, and (iii) conversational attacks that manipulate prompts or context often consolidate into a small number of dominant paths and shared system choke points, enabling targeted defenses to yield meaningful reductions in path exploitability. By systematically comparing defense portfolios, we align these risks with established vulnerability management practices and provide a domain-agnostic workflow applicable to other LLM-enabled critical systems.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、安全クリティカルなワークフローにますます統合されているが、既存のセキュリティ分析は断片化され、より広いシステムコンテキストからモデル動作を分離することが多い。 本研究では,システムモデリングとAttack-Defense Trees (ADTrees) とCommon Vulnerability Scoring System (CVSS) ベースのエクスプロイラビリティスコアリングを組み合わせたLCMシステムを対象とした,目標駆動型リスクアセスメントフレームワークを提案する。 本稿では,医療ケーススタディを通じて,医療処置の介入を目的とした多段階攻撃経路のモデル化,電子健康記録(EHR)データの漏洩,サービス利用の破壊などを通じて,この枠組みを実証する。 我々の分析は、脅威が分散していることを示している (i)従来のサイバー (二)相手ML、及び 三 プロンプトや文脈を操作する会話攻撃は、しばしば少数の支配的な経路と共有システムチョークポイントに集約され、標的防衛が経路利用可能性の有意義な低下をもたらす。 防衛ポートフォリオを体系的に比較することにより、これらのリスクを確立された脆弱性管理プラクティスと整合させ、他のLLM対応クリティカルシステムに適用可能なドメインに依存しないワークフローを提供する。

関連論文リスト

• Goal-Driven Risk Assessment for LLM-Powered Systems: A Healthcare Case Study [0.5801044612920815]
  本研究では,攻撃木を用いて,詳細な攻撃ベクトル,事前条件,攻撃経路を用いて脅威を文脈的に認識する,構造化された目標駆動型リスク評価手法を提案する。 本研究は,LLMに対する現状の攻撃と従来の攻撃とを調和させ,類似システムに適用可能な攻撃経路を示す。
  論文  参考訳（メタデータ） (2026-03-04T01:49:48Z)
• Odysseus: Jailbreaking Commercial Multimodal LLM-integrated Systems via Dual Steganography [77.44136793431893]
  本稿では,悪質なクエリを隠蔽して良質な画像に埋め込むために,二重ステガノグラフィーを導入した新しいjailbreakパラダイムを提案する。 我々のOdysseusはいくつかの先駆的で現実的なMLLM統合システムを脱獄し、最大99%の攻撃成功率を達成した。
  論文  参考訳（メタデータ） (2025-12-23T08:53:36Z)
• AttackVLA: Benchmarking Adversarial and Backdoor Attacks on Vision-Language-Action Models [60.39655329875822]
  VLA(Vision-Language-Action)モデルは、ロボットが自然言語の命令を解釈し、多様なタスクを実行することを可能にするモデルである。 このようなモデルを攻撃することへの関心は高まっているが、既存の手法の有効性は依然として不明である。 我々はVLA開発ライフサイクルに合わせて統合されたフレームワークであるAttackVLAを提案する。
  論文  参考訳（メタデータ） (2025-11-15T10:30:46Z)
• NeuroBreak: Unveil Internal Jailbreak Mechanisms in Large Language Models [68.09675063543402]
  NeuroBreakは、ニューロンレベルの安全性メカニズムを分析し、脆弱性を軽減するために設計されたトップダウンのジェイルブレイク分析システムである。 レイヤワイドな表現探索分析を取り入れることで、NeuroBreakはモデルの意思決定プロセスに関する新たな視点を提供する。 本システムの有効性を検証するために,定量的評価とケーススタディを実施している。
  論文  参考訳（メタデータ） (2025-09-04T08:12:06Z)
• A Systematic Survey of Model Extraction Attacks and Defenses: State-of-the-Art and Perspectives [65.3369988566853]
  近年の研究では、敵が対象モデルの機能を複製できることが示されている。 モデル抽出攻撃は知的財産権、プライバシー、システムのセキュリティに脅威をもたらす。 本稿では,攻撃機構,防衛手法,計算環境に応じてMEAを分類する新しい分類法を提案する。
  論文  参考訳（メタデータ） (2025-08-20T19:49:59Z)
• Expert-in-the-Loop Systems with Cross-Domain and In-Domain Few-Shot Learning for Software Vulnerability Detection [38.083049237330826]
  本研究では,CWE(Common Weaknessions)を用いたPythonコードの識別をシミュレーションすることにより,ソフトウェア脆弱性評価におけるLLM(Large Language Models)の利用について検討する。 その結果,ゼロショットプロンプトは性能が低いが,少数ショットプロンプトは分類性能を著しく向上させることがわかった。 モデル信頼性、解釈可能性、敵の堅牢性といった課題は、将来の研究にとって重要な領域のままである。
  論文  参考訳（メタデータ） (2025-06-11T18:43:51Z)
• Systematic Hazard Analysis for Frontier AI using STPA [0.0]
  現在、フロンティアAI企業は、ハザードを特定し分析するための構造化アプローチの詳細を記述していない。 システム理論プロセス分析(Systems-Theoretic Process Analysis)は、複雑なシステムがいかに危険に晒されるかを特定するための体系的な方法論である。 我々は、フロンティアAIシステムにおいて、スコープを広げ、トレーサビリティを向上し、安全性保証の堅牢性を強化する能力を評価する。
  論文  参考訳（メタデータ） (2025-06-02T15:28:34Z)
• Threat Modelling and Risk Analysis for Large Language Model (LLM)-Powered Applications [0.0]
  大規模言語モデル(LLM)は、高度な自然言語処理機能を提供することによって、様々なアプリケーションに革命をもたらした。 本稿では,LSMを利用したアプリケーションに適した脅威モデリングとリスク分析について検討する。
  論文  参考訳（メタデータ） (2024-06-16T16:43:58Z)
• Mapping LLM Security Landscapes: A Comprehensive Stakeholder Risk Assessment Proposal [0.0]
  本稿では,従来のシステムにおけるリスク評価手法のようなツールを用いたリスク評価プロセスを提案する。 我々は、潜在的な脅威要因を特定し、脆弱性要因に対して依存するシステムコンポーネントをマッピングするためのシナリオ分析を行う。 3つの主要株主グループに対する脅威もマップ化しています。
  論文  参考訳（メタデータ） (2024-03-20T05:17:22Z)
• MF-CLIP: Leveraging CLIP as Surrogate Models for No-box Adversarial Attacks [65.86360607693457]
  敵に事前の知識がないノンボックス攻撃は、実際的な関連性にもかかわらず、比較的過小評価されている。 本研究は,大規模ビジョン・ランゲージ・モデル(VLM)をノンボックス・アタックの実行のための代理モデルとして活用するための体系的な研究である。 理論的および実証的な分析により,バニラCLIPを直接サロゲートモデルとして適用するための識別能力の不足に起因するno-boxアタックの実行に重要な制限があることが判明した。 MF-CLIP(MF-CLIP: MF-CLIP)はCLIPのサロゲートモデルとしての有効性を高める新しいフレームワークである。
  論文  参考訳（メタデータ） (2023-07-13T08:10:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。