論文の概要: Mapping LLM Security Landscapes: A Comprehensive Stakeholder Risk Assessment Proposal

• arxiv url: http://arxiv.org/abs/2403.13309v1
• Date: Wed, 20 Mar 2024 05:17:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-03-21 17:58:10.487120
• Title: Mapping LLM Security Landscapes: A Comprehensive Stakeholder Risk Assessment Proposal
• Title（参考訳）: LLMセキュリティ景観のマッピング:包括的株主リスクアセスメントの提案
• Authors: Rahul Pankajakshan, Sumitra Biswal, Yuvaraj Govindarajulu, Gilad Gressel,
• Abstract要約: 本稿では,従来のシステムにおけるリスク評価手法のようなツールを用いたリスク評価プロセスを提案する。 我々は、潜在的な脅威要因を特定し、脆弱性要因に対して依存するシステムコンポーネントをマッピングするためのシナリオ分析を行う。 3つの主要株主グループに対する脅威もマップ化しています。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid integration of Large Language Models (LLMs) across diverse sectors has marked a transformative era, showcasing remarkable capabilities in text generation and problem-solving tasks. However, this technological advancement is accompanied by significant risks and vulnerabilities. Despite ongoing security enhancements, attackers persistently exploit these weaknesses, casting doubts on the overall trustworthiness of LLMs. Compounding the issue, organisations are deploying LLM-integrated systems without understanding the severity of potential consequences. Existing studies by OWASP and MITRE offer a general overview of threats and vulnerabilities but lack a method for directly and succinctly analysing the risks for security practitioners, developers, and key decision-makers who are working with this novel technology. To address this gap, we propose a risk assessment process using tools like the OWASP risk rating methodology which is used for traditional systems. We conduct scenario analysis to identify potential threat agents and map the dependent system components against vulnerability factors. Through this analysis, we assess the likelihood of a cyberattack. Subsequently, we conduct a thorough impact analysis to derive a comprehensive threat matrix. We also map threats against three key stakeholder groups: developers engaged in model fine-tuning, application developers utilizing third-party APIs, and end users. The proposed threat matrix provides a holistic evaluation of LLM-related risks, enabling stakeholders to make informed decisions for effective mitigation strategies. Our outlined process serves as an actionable and comprehensive tool for security practitioners, offering insights for resource management and enhancing the overall system security.
• Abstract（参考訳）: 様々な分野にまたがる大規模言語モデル(LLM)の急速な統合は、テキスト生成や問題解決タスクにおいて顕著な能力を示す転換期を告げている。 しかし、この技術進歩には重大なリスクと脆弱性が伴う。 継続的なセキュリティ強化にもかかわらず、攻撃者はこれらの弱点を継続的に利用し、LLMの全体的な信頼性に疑念を抱いた。 問題を複雑にすることで、企業は潜在的な結果の深刻さを理解せずに、LLM統合システムをデプロイしています。 OWASPとMITREによる既存の研究は、脅威と脆弱性の概観を提供するが、この新しい技術に取り組んでいるセキュリティ実践者、開発者、および重要な意思決定者に対するリスクを直接的かつ簡潔に分析するための方法が欠けている。 このギャップに対処するために,従来のシステムで使用されるOWASPリスク評価手法のようなツールを用いたリスク評価プロセスを提案する。 我々は、潜在的な脅威要因を特定し、脆弱性要因に対して依存するシステムコンポーネントをマッピングするためのシナリオ分析を行う。 この分析により,サイバー攻撃の可能性を評価する。 その後、包括的脅威行列を導出するために、徹底的な影響分析を行う。 また、モデルの微調整に従事する開発者、サードパーティのAPIを利用するアプリケーション開発者、エンドユーザの3つの主要なステークホルダグループに対する脅威もマップします。 提案した脅威行列は、LCM関連リスクの全体的評価を提供し、利害関係者が効果的な緩和戦略の判断を下せるようにする。 我々の概説したプロセスは、セキュリティ実践者の行動可能で包括的なツールとして機能し、リソース管理の洞察を提供し、システム全体のセキュリティを強化します。

関連論文リスト

• Frontier AI Risk Management Framework in Practice: A Risk Analysis Technical Report v1.5 [61.787178868669265]
  この技術レポートは、サイバー犯罪、説得と操作、戦略上の詐欺、制御されていないAIR&D、自己複製の5つの重要な側面について、更新されきめ細かな評価を提示する。 この作業は、現在のAIフロンティアのリスクに対する理解を反映し、これらの課題を軽減するための集団行動を促します。
  論文  参考訳（メタデータ） (2026-02-16T04:30:06Z)
• Toward Quantitative Modeling of Cybersecurity Risks Due to AI Misuse [50.87630846876635]
  我々は9つの詳細なサイバーリスクモデルを開発する。 各モデルはMITRE ATT&CKフレームワークを使用して攻撃をステップに分解する。 個々の見積もりはモンテカルロシミュレーションによって集約される。
  論文  参考訳（メタデータ） (2025-12-09T17:54:17Z)
• An Empirical Study on the Security Vulnerabilities of GPTs [48.12756684275687]
  GPTは、OpenAIの大規模言語モデルに基づいた、カスタマイズされたAIエージェントの一種である。 本稿では,GPTのセキュリティ脆弱性に関する実証的研究について述べる。
  論文  参考訳（メタデータ） (2025-11-28T13:30:25Z)
• Uncovering Vulnerabilities of LLM-Assisted Cyber Threat Intelligence [15.881854286231997]
  大規模言語モデル(LLM)は、サイバー脅威の迅速な搾取に対抗するセキュリティアナリストを支援するために、集中的に使用される。 本稿では,サイバー脅威インテリジェンス(CTI)におけるLCMの固有の脆弱性について検討する。 本稿では, 階層化, 自己回帰的洗練, ループ内人間監督を統合した新たな分類手法を提案する。
  論文  参考訳（メタデータ） (2025-09-28T02:08:27Z)
• LLM in the Middle: A Systematic Review of Threats and Mitigations to Real-World LLM-based Systems [0.3635283440841641]
  ジェネレーティブAI(GenAI)は、モデルを悪用したり、機密データを盗んだり、サービスを破壊しようとするサイバー犯罪者の注目を集めている。 我々は、脅威と防衛戦略の体系的レビューと包括的分類を行うことにより、このようなLCMベースのシステムのセキュリティとプライバシに関する懸念を浮き彫りにした。 この作業は、消費者やベンダーがそれぞれのソリューションや組織にLSMを統合する際のリスクを理解し、効率的に軽減する方法を開拓する。
  論文  参考訳（メタデータ） (2025-09-12T20:26:16Z)
• FRAME : Comprehensive Risk Assessment Framework for Adversarial Machine Learning Threats [11.660800166163272]
  さまざまなMLベースシステム間でのAMLリスクを評価するための,最初の包括的なフレームワークであるFRAMEを紹介する。 FRAMEには、3つの重要な次元を体系的に評価することで、AMLのリスクを定量化する新しいリスク評価方法が含まれている。 我々は、コンテキスト認識型リスクアセスメントを可能にするAML攻撃の包括的構造化データセットを開発した。
  論文  参考訳（メタデータ） (2025-08-24T15:20:26Z)
• Advancing Autonomous Incident Response: Leveraging LLMs and Cyber Threat Intelligence [3.2284427438223013]
  セキュリティチームは、警告の疲労、高い偽陽性率、および大量の非構造化サイバー脅威情報(CTI)文書に圧倒されている。 本稿では,Large Language Models (LLMs) を利用してIRの自動化と拡張を行う新しいRAGベースのフレームワークを提案する。 提案手法では, CTIベクタデータベース内のNLPに基づく類似性検索と, 外部CTIプラットフォームへの標準クエリを組み合わせたハイブリッド検索機構を提案する。
  論文  参考訳（メタデータ） (2025-08-14T14:20:34Z)
• A Survey on Data Security in Large Language Models [12.23432845300652]
  LLM(Large Language Models)は、自然言語処理、テキスト生成、機械翻訳、会話システムなどのパワーアプリケーションの基礎である。 トランスフォーメーションの可能性にもかかわらず、これらのモデルは本質的に大量のトレーニングデータに依存しており、しばしば多種多様な未処理ソースから収集され、深刻なデータセキュリティリスクにさらされる。 有害または悪意のあるデータは、モデル動作を妥協し、有害な出力、幻覚、即発注射やデータ中毒などの脅威に対する脆弱性などの問題を引き起こす。 本調査は、LLMが直面する主要なデータセキュリティリスクの概要と、敵を含む現在の防衛戦略のレビューを提供する。
  論文  参考訳（メタデータ） (2025-08-04T11:28:34Z)
• SafeMobile: Chain-level Jailbreak Detection and Automated Evaluation for Multimodal Mobile Agents [58.21223208538351]
  本研究は,モバイルマルチモーダルエージェントを取り巻くセキュリティ問題について考察する。 行動シーケンス情報を組み込んだリスク識別機構の構築を試みる。 また、大規模言語モデルに基づく自動アセスメントスキームも設計している。
  論文  参考訳（メタデータ） (2025-07-01T15:10:00Z)
• AGENTSAFE: Benchmarking the Safety of Embodied Agents on Hazardous Instructions [64.85086226439954]
  本稿では,有害な指示に対するVLMエージェントの安全性を評価するためのベンチマークであるSAFEを提案する。 SAFEは、SAFE−THOR、SAFE−VERSE、SAFE−DIAGNOSEの3つの成分からなる。 我々は、ハザード認識を安全な計画と実行に翻訳する体系的な失敗を明らかにする。
  論文  参考訳（メタデータ） (2025-06-17T16:37:35Z)
• Systematic Hazard Analysis for Frontier AI using STPA [0.0]
  現在、フロンティアAI企業は、ハザードを特定し分析するための構造化アプローチの詳細を記述していない。 システム理論プロセス分析(Systems-Theoretic Process Analysis)は、複雑なシステムがいかに危険に晒されるかを特定するための体系的な方法論である。 我々は、フロンティアAIシステムにおいて、スコープを広げ、トレーサビリティを向上し、安全性保証の堅牢性を強化する能力を評価する。
  論文  参考訳（メタデータ） (2025-06-02T15:28:34Z)
• Comprehensive Vulnerability Analysis is Necessary for Trustworthy LLM-MAS [28.69485468744812]
  大規模言語モデルに基づくマルチエージェントシステム (LLM-MAS) は、ハイテイクなアプリケーションにますます多くデプロイされている。 LLM-MASは、エージェント間通信、信頼関係、ツール統合を通じて、ユニークな攻撃面を導入している。 本稿では,多様な研究を統一するLSM-MASの脆弱性解析のための体系的枠組みを提案する。
  論文  参考訳（メタデータ） (2025-06-02T01:46:15Z)
• SafeAgent: Safeguarding LLM Agents via an Automated Risk Simulator [77.86600052899156]
  LLM(Large Language Model)ベースのエージェントは、現実のアプリケーションにますますデプロイされる。 完全自動合成データ生成によるエージェント安全性を体系的に向上する最初のフレームワークであるAutoSafeを提案する。 AutoSafeは安全性のスコアを平均で45%向上させ、現実世界のタスクでは28.91%の改善を実現している。
  論文  参考訳（メタデータ） (2025-05-23T10:56:06Z)
• From nuclear safety to LLM security: Applying non-probabilistic risk management strategies to build safe and secure LLM-powered systems [49.1574468325115]
  大型言語モデル(LLM)は、前例がなく成長する能力を提供するが、複雑な安全性とセキュリティの課題ももたらす。 以前の研究では、原子力や土木工学といった様々な工学分野におけるリスク管理は、一般的な(フィールドに依存しない)戦略によってしばしば解決されている。 ここでは、LSMによるシステムにおける新たなリスクが、リスク管理の非確率的戦略の100以上で満たされる可能性を示す。
  論文  参考訳（メタデータ） (2025-05-20T16:07:41Z)
• Adapting Probabilistic Risk Assessment for AI [0.0]
  汎用人工知能(AI)システムは、緊急リスク管理の課題を示す。 現在の手法は、しばしば選択的なテストとリスク優先順位に関する未文書の仮定に依存します。 本稿では,AIフレームワークの確率的リスクアセスメント(PRA)を紹介する。
  論文  参考訳（メタデータ） (2025-04-25T17:59:14Z)
• SafeMLRM: Demystifying Safety in Multi-modal Large Reasoning Models [50.34706204154244]
  推論能力の獲得は、引き継がれた安全アライメントを壊滅的に劣化させる。 特定のシナリオは、25倍の攻撃率を被る。 MLRMは、厳密な推論と問合せの安全結合にもかかわらず、初期段階の自己補正を示す。
  論文  参考訳（メタデータ） (2025-04-09T06:53:23Z)
• LLM Cyber Evaluations Don't Capture Real-World Risk [0.0]
  大規模言語モデル(LLMs)は、サイバーセキュリティアプリケーションにおける進歩を誇示している。 これらの能力によって引き起こされるリスクを評価するための現在の取り組みは、現実のインパクトを理解するという目標と不一致である、と我々は主張する。
  論文  参考訳（メタデータ） (2025-01-31T05:33:48Z)
• ChatNVD: Advancing Cybersecurity Vulnerability Assessment with Large Language Models [0.46873264197900916]
  本稿では,Large Language Models (LLMs) のソフトウェア脆弱性評価への応用について検討する。 我々は,OpenAIによるGPT-4o mini,MetaによるLlama 3,GoogleによるGemini 1.5 Proの3つの著名なLCMを利用して,ChatNVDの3つの変種を開発した。 それらの有効性を評価するために,一般的なセキュリティ脆弱性質問を含む包括的アンケートを用いて,これらのモデルの比較分析を行った。
  論文  参考訳（メタデータ） (2024-12-06T03:45:49Z)
• Navigating the Risks: A Survey of Security, Privacy, and Ethics Threats in LLM-Based Agents [67.07177243654485]
  この調査は、大規模言語モデルに基づくエージェントが直面するさまざまな脅威を収集、分析する。 LLMをベースとしたエージェントの6つの重要な特徴を概説する。 4つの代表エージェントをケーススタディとして選択し,実践的に直面する可能性のあるリスクを分析した。
  論文  参考訳（メタデータ） (2024-11-14T15:40:04Z)
• A Survey on Adversarial Machine Learning for Code Data: Realistic Threats, Countermeasures, and Interpretations [21.855757118482995]
  コード言語モデル(CLM)は、ソースコードの理解と生成において大きな進歩を遂げました。 現実的なシナリオでは、CLMは潜在的に悪意のある敵に晒され、CLMシステムの機密性、完全性、可用性にリスクをもたらす。 これらのリスクにもかかわらず、非常に敵対的な環境におけるCLMのセキュリティ脆弱性の包括的分析は欠如している。
  論文  参考訳（メタデータ） (2024-11-12T07:16:20Z)
• SafeBench: A Safety Evaluation Framework for Multimodal Large Language Models [75.67623347512368]
  MLLMの安全性評価を行うための総合的なフレームワークであるツールンを提案する。 我々のフレームワークは、包括的な有害なクエリデータセットと自動評価プロトコルで構成されています。 本研究では,広く利用されている15のオープンソースMLLMと6つの商用MLLMの大規模実験を行った。
  論文  参考訳（メタデータ） (2024-10-24T17:14:40Z)
• EAIRiskBench: Towards Evaluating Physical Risk Awareness for Task Planning of Foundation Model-based Embodied AI Agents [47.69642609574771]
  EAI(Embodied AI)は、高度なAIモデルを現実世界のインタラクションのための物理的なエンティティに統合する。 高レベルのタスク計画のためのEAIエージェントの"脳"としてのファンデーションモデルは、有望な結果を示している。 しかし、これらのエージェントの物理的環境への展開は、重大な安全性上の課題を呈している。 EAIRiskBenchは、EAIシナリオにおける自動物理的リスクアセスメントのための新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-08-08T13:19:37Z)
• Threat Modelling and Risk Analysis for Large Language Model (LLM)-Powered Applications [0.0]
  大規模言語モデル(LLM)は、高度な自然言語処理機能を提供することによって、様々なアプリケーションに革命をもたらした。 本稿では,LSMを利用したアプリケーションに適した脅威モデリングとリスク分析について検討する。
  論文  参考訳（メタデータ） (2024-06-16T16:43:58Z)
• Unveiling the Misuse Potential of Base Large Language Models via In-Context Learning [61.2224355547598]
  大規模言語モデル(LLM)のオープンソース化は、アプリケーション開発、イノベーション、科学的進歩を加速させる。 我々の調査は、この信念に対する重大な監視を露呈している。 我々の研究は、慎重に設計されたデモを配置することにより、ベースLSMが悪意のある命令を効果的に解釈し実行できることを実証する。
  論文  参考訳（メタデータ） (2024-04-16T13:22:54Z)
• Asset-centric Threat Modeling for AI-based Systems [7.696807063718328]
  本稿では、AI関連資産、脅威、対策、残留リスクの定量化のためのアプローチおよびツールであるThreatFinderAIを提案する。 このアプローチの実用性を評価するため、参加者はAIベースのヘルスケアプラットフォームのサイバーセキュリティ専門家によって開発された脅威モデルを再現するよう命じられた。 全体として、ソリューションのユーザビリティはよく認識され、脅威の識別とリスクの議論を効果的にサポートする。
  論文  参考訳（メタデータ） (2024-03-11T08:40:01Z)
• Prioritizing Safeguarding Over Autonomy: Risks of LLM Agents for Science [65.77763092833348]
  大規模言語モデル(LLM)を利用したインテリジェントエージェントは、自律的な実験を行い、様々な分野にわたる科学的発見を促進する上で、大きな可能性を証明している。 彼らの能力は有望だが、これらのエージェントは安全性を慎重に考慮する必要がある新たな脆弱性も導入している。 本稿では,科学領域におけるLSMをベースとしたエージェントの脆弱性の徹底的な調査を行い,その誤用に伴う潜在的なリスクに光を当て,安全性対策の必要性を強調した。
  論文  参考訳（メタデータ） (2024-02-06T18:54:07Z)
• A Security Risk Taxonomy for Prompt-Based Interaction With Large Language Models [5.077431021127288]
  本稿では,大規模言語モデル(LLM)によるセキュリティリスクに着目し,現在の研究のギャップに対処する。 我々の研究は,ユーザモデル通信パイプラインに沿ったセキュリティリスクの分類を提案し,一般的に使用されている機密性,完全性,可用性(CIA)3つのトライアドと並行して,ターゲットタイプと攻撃タイプによる攻撃を分類する。
  論文  参考訳（メタデータ） (2023-11-19T20:22:05Z)
• A Framework for Evaluating the Cybersecurity Risk of Real World, Machine Learning Production Systems [41.470634460215564]
  我々はML生産システムにサイバー攻撃を組み込むMulVAL攻撃グラフ生成および分析フレームワークの拡張を開発する。 提案された拡張を使用することで、セキュリティ実践者はMLコンポーネントを含む環境にアタックグラフ分析手法を適用することができる。
  論文  参考訳（メタデータ） (2021-07-05T05:58:11Z)
• Dos and Don'ts of Machine Learning in Computer Security [74.1816306998445]
  大きな可能性にもかかわらず、セキュリティにおける機械学習は、パフォーマンスを損なう微妙な落とし穴を引き起こす傾向がある。 我々は,学習ベースのセキュリティシステムの設計,実装,評価において共通の落とし穴を特定する。 我々は,落とし穴の回避や軽減を支援するために,研究者を支援するための実用的な勧告を提案する。
  論文  参考訳（メタデータ） (2020-10-19T13:09:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。