論文の概要: Goal-Driven Risk Assessment for LLM-Powered Systems: A Healthcare Case Study

• arxiv url: http://arxiv.org/abs/2603.03633v1
• Date: Wed, 04 Mar 2026 01:49:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-05 21:29:15.146003
• Title: Goal-Driven Risk Assessment for LLM-Powered Systems: A Healthcare Case Study
• Title（参考訳）: LLMシステムにおける目標駆動型リスクアセスメント : ヘルスケアケーススタディ
• Authors: Neha Nagaraja, Hayretdin Bahsi,
• Abstract要約: 本研究では,攻撃木を用いて,詳細な攻撃ベクトル,事前条件,攻撃経路を用いて脅威を文脈的に認識する,構造化された目標駆動型リスク評価手法を提案する。 本研究は,LLMに対する現状の攻撃と従来の攻撃とを調和させ,類似システムに適用可能な攻撃経路を示す。
• 参考スコア（独自算出の注目度）: 0.5801044612920815
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While incorporating LLMs into systems offers significant benefits in critical application areas such as healthcare, new security challenges emerge due to the potential cyber kill chain cycles that combine adversarial model, prompt injection and conventional cyber attacks. Threat modeling methods enable the system designers to identify potential cyber threats and the relevant mitigations during the early stages of development. Although the cyber security community has extensive experience in applying these methods to software-based systems, the elicited threats are usually abstract and vague, limiting their effectiveness for conducting proper likelihood and impact assessments for risk prioritization, especially in complex systems with novel attacks surfaces, such as those involving LLMs. In this study, we propose a structured, goal driven risk assessment approach that contextualizes the threats with detailed attack vectors, preconditions, and attack paths through the use of attack trees. We demonstrate the proposed approach on a case study with an LLM agent-based healthcare system. This study harmonizes the state-of-the-art attacks to LLMs with conventional ones and presents possible attack paths applicable to similar systems. By providing a structured risk assessment, this study makes a significant contribution to the literature and advances the secure-by-design practices in LLM-based systems.
• Abstract（参考訳）: LLMをシステムに組み込むことは、医療などの重要なアプリケーション分野において大きなメリットをもたらすが、敵のモデル、即時注入、従来のサイバー攻撃を組み合わせたサイバー殺人連鎖サイクルによって、新たなセキュリティ上の課題が出現する。 脅威モデリング手法により、システム設計者は、開発の初期段階において潜在的なサイバー脅威と関連する緩和を特定できる。 サイバーセキュリティコミュニティは、これらの手法をソフトウェアベースのシステムに適用した経験が豊富であるが、通常、引き起こされた脅威は抽象的で曖昧であり、リスク優先順位付けのための適切な正当性や影響評価を行う効果を制限している。 本研究では,攻撃木を用いて,詳細な攻撃ベクトル,事前条件,攻撃経路を用いて脅威を文脈的に認識する,構造化された目標駆動型リスク評価手法を提案する。 LLMエージェントベースの医療システムを用いたケーススタディにおいて,提案手法を実証する。 本研究は,LLMに対する現状の攻撃と従来の攻撃とを調和させ,類似システムに適用可能な攻撃経路を示す。 構造的リスクアセスメントを提供することにより,本研究は文献に大きく貢献し,LLMシステムにおけるセキュア・バイ・デザインの実践を進展させる。

関連論文リスト

• Just Ask: Curious Code Agents Reveal System Prompts in Frontier LLMs [65.6660735371212]
  textbftextscJustAskは,インタラクションのみで効果的な抽出戦略を自律的に発見するフレームワークである。 これは、アッパー信頼境界に基づく戦略選択と、原子プローブと高レベルのオーケストレーションにまたがる階層的なスキル空間を用いて、オンライン探索問題として抽出を定式化する。 この結果から,現代のエージェントシステムにおいて,システムプロンプトは致命的ではあるがほぼ無防備な攻撃面であることがわかった。
  論文  参考訳（メタデータ） (2026-01-29T03:53:25Z)
• LLM in the Middle: A Systematic Review of Threats and Mitigations to Real-World LLM-based Systems [0.3635283440841641]
  ジェネレーティブAI(GenAI)は、モデルを悪用したり、機密データを盗んだり、サービスを破壊しようとするサイバー犯罪者の注目を集めている。 我々は、脅威と防衛戦略の体系的レビューと包括的分類を行うことにより、このようなLCMベースのシステムのセキュリティとプライバシに関する懸念を浮き彫りにした。 この作業は、消費者やベンダーがそれぞれのソリューションや組織にLSMを統合する際のリスクを理解し、効率的に軽減する方法を開拓する。
  論文  参考訳（メタデータ） (2025-09-12T20:26:16Z)
• FRAME : Comprehensive Risk Assessment Framework for Adversarial Machine Learning Threats [11.660800166163272]
  さまざまなMLベースシステム間でのAMLリスクを評価するための,最初の包括的なフレームワークであるFRAMEを紹介する。 FRAMEには、3つの重要な次元を体系的に評価することで、AMLのリスクを定量化する新しいリスク評価方法が含まれている。 我々は、コンテキスト認識型リスクアセスメントを可能にするAML攻撃の包括的構造化データセットを開発した。
  論文  参考訳（メタデータ） (2025-08-24T15:20:26Z)
• Preliminary Investigation into Uncertainty-Aware Attack Stage Classification [81.28215542218724]
  この研究は、不確実性の下での攻撃段階推論の問題に対処する。 Evidential Deep Learning (EDL) に基づく分類手法を提案し、ディリクレ分布のパラメータを可能な段階に出力することで予測の不確実性をモデル化する。 シミュレーション環境における予備実験により,提案モデルが精度良く攻撃の段階を推定できることが実証された。
  論文  参考訳（メタデータ） (2025-08-01T06:58:00Z)
• Towards Secure MLOps: Surveying Attacks, Mitigation Strategies, and Research Challenges [4.6592774515395465]
  我々は,MLOpsエコシステムのさまざまなフェーズにわたる攻撃を評価するために,MITRE ATLAS(Adrial Threat Landscape for Artificial-Intelligence Systems)フレームワークの体系的応用を提案する。 次に、MLOpsエコシステムの対応するフェーズに明示的にマッピングされた攻撃手法の構造的分類を示す。 これに続いて、これらの攻撃カテゴリに沿った緩和戦略の分類が行われ、MLOpsエコシステムのセキュリティを強化するための実行可能なアーリーステージディフェンスが提供される。
  論文  参考訳（メタデータ） (2025-05-30T17:45:31Z)
• Cannot See the Forest for the Trees: Invoking Heuristics and Biases to Elicit Irrational Choices of LLMs [83.11815479874447]
  本研究では,人間の認知における認知的分解と偏見に触発された新しいジェイルブレイク攻撃フレームワークを提案する。 我々は、悪意のあるプロンプトの複雑さと関連バイアスを減らし、認知的分解を用いて、プロンプトを再編成する。 また、従来の二分的成功または失敗のパラダイムを超越したランキングベースの有害度評価指標も導入する。
  論文  参考訳（メタデータ） (2025-05-03T05:28:11Z)
• EARBench: Towards Evaluating Physical Risk Awareness for Task Planning of Foundation Model-based Embodied AI Agents [53.717918131568936]
  EAI(Embodied AI)は、高度なAIモデルを現実世界のインタラクションのための物理的なエンティティに統合する。 高レベルのタスク計画のためのEAIエージェントの"脳"としてのファンデーションモデルは、有望な結果を示している。 しかし、これらのエージェントの物理的環境への展開は、重大な安全性上の課題を呈している。 本研究では,EAIシナリオにおける身体的リスクの自動評価のための新しいフレームワークEARBenchを紹介する。
  論文  参考訳（メタデータ） (2024-08-08T13:19:37Z)
• Threat Modelling and Risk Analysis for Large Language Model (LLM)-Powered Applications [0.0]
  大規模言語モデル(LLM)は、高度な自然言語処理機能を提供することによって、様々なアプリケーションに革命をもたらした。 本稿では,LSMを利用したアプリケーションに適した脅威モデリングとリスク分析について検討する。
  論文  参考訳（メタデータ） (2024-06-16T16:43:58Z)
• Unveiling the Misuse Potential of Base Large Language Models via In-Context Learning [61.2224355547598]
  大規模言語モデル(LLM)のオープンソース化は、アプリケーション開発、イノベーション、科学的進歩を加速させる。 我々の調査は、この信念に対する重大な監視を露呈している。 我々の研究は、慎重に設計されたデモを配置することにより、ベースLSMが悪意のある命令を効果的に解釈し実行できることを実証する。
  論文  参考訳（メタデータ） (2024-04-16T13:22:54Z)
• Mapping LLM Security Landscapes: A Comprehensive Stakeholder Risk Assessment Proposal [0.0]
  本稿では,従来のシステムにおけるリスク評価手法のようなツールを用いたリスク評価プロセスを提案する。 我々は、潜在的な脅威要因を特定し、脆弱性要因に対して依存するシステムコンポーネントをマッピングするためのシナリオ分析を行う。 3つの主要株主グループに対する脅威もマップ化しています。
  論文  参考訳（メタデータ） (2024-03-20T05:17:22Z)
• LoRec: Large Language Model for Robust Sequential Recommendation against Poisoning Attacks [60.719158008403376]
  本研究は,リコメンデータシステムにおける未知の不正行為の検出におけるLarge Language Models(LLM)の機能に着目した。 逐次リコメンデータシステムのロバスト性を高めるため,LLM強化を利用した高度なフレームワークであるLoRecを提案する。 総合的な実験により、LoRecは一般的なフレームワークとして、シーケンシャルなレコメンデータシステムの堅牢性を大幅に強化することを示した。
  論文  参考訳（メタデータ） (2024-01-31T10:35:53Z)
• Benchmarking and Defending Against Indirect Prompt Injection Attacks on Large Language Models [79.0183835295533]
  我々は,このような脆弱性のリスクを評価するために,BIPIAと呼ばれる間接的インジェクション攻撃のための最初のベンチマークを導入した。 我々の分析では、LLMが情報コンテキストと動作可能な命令を区別できないことと、外部コンテンツ内での命令の実行を回避できないことの2つの主要な要因を同定した。 ブラックボックスとホワイトボックスという2つの新しい防御機構と、これらの脆弱性に対処するための明確なリマインダーを提案する。
  論文  参考訳（メタデータ） (2023-12-21T01:08:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。