論文の概要: Asset-driven Threat Modeling for AI-based Systems
- arxiv url: http://arxiv.org/abs/2403.06512v1
- Date: Mon, 11 Mar 2024 08:40:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-12 19:53:00.123281
- Title: Asset-driven Threat Modeling for AI-based Systems
- Title(参考訳): aiシステムのためのアセット駆動脅威モデリング
- Authors: Jan von der Assen, Jamo Sharif, Chao Feng, G\'er\^ome Bovet, Burkhard
Stiller
- Abstract要約: 本研究の目的は、医療領域で設計されたAIシステムの脅威モデルを作成することである。
ソリューションのユーザビリティは良好に評価され,脅威識別に有効であることが示唆された。
- 参考スコア(独自算出の注目度): 7.754802111308721
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Threat modeling is a popular method to securely develop systems by achieving
awareness of potential areas of future damage caused by adversaries. The
benefit of threat modeling lies in its ability to indicate areas of concern,
paving the way to consider mitigation during the design stage. However, threat
modeling for systems relying on Artificial Intelligence is still not well
explored. While conventional threat modeling methods and tools did not address
AI-related threats, research on this amalgamation still lacks solutions capable
of guiding and automating the process, as well as providing evidence that the
methods hold up in practice. To evaluate that the work at hand is able to guide
and automatically identify AI-related threats during the architecture
definition stage, several experts were tasked to create a threat model of an AI
system designed in the healthcare domain. The usability of the solution was
well-perceived, and the results indicate that it is effective for threat
identification.
- Abstract(参考訳): 脅威モデリングは、敵による将来の損害の潜在的な領域を認識させることにより、システム開発を確実にするための一般的な手法である。
脅威モデリングの利点は、関心領域を示す能力であり、設計段階における緩和を考える方法である。
しかし、人工知能に依存するシステムの脅威モデリングはまだ十分に研究されていない。
従来の脅威モデリング手法とツールはAI関連の脅威には対処しなかったが、この融合の研究には、プロセスのガイドと自動化が可能なソリューションがまだ欠けている。
アーキテクチャ定義段階で、手作業がAI関連の脅威をガイドし、自動的に識別できることを評価するために、いくつかの専門家がヘルスケアドメインで設計されたAIシステムの脅威モデルの作成を任された。
ソリューションのユーザビリティは十分に認識されており,その結果,脅威識別に有効であることが示唆された。
関連論文リスト
- A Formal Framework for Assessing and Mitigating Emergent Security Risks in Generative AI Models: Bridging Theory and Dynamic Risk Mitigation [0.3413711585591077]
大規模言語モデル(LLM)や拡散モデルを含む生成AIシステムが急速に進歩するにつれ、その採用が増加し、新たな複雑なセキュリティリスクがもたらされた。
本稿では,これらの突発的なセキュリティリスクを分類・緩和するための新しい形式的枠組みを提案する。
我々は、潜時空間利用、マルチモーダル・クロスアタック・ベクター、フィードバックループによるモデル劣化など、未探索のリスクを特定した。
論文 参考訳(メタデータ) (2024-10-15T02:51:32Z) - AsIf: Asset Interface Analysis of Industrial Automation Devices [1.3216177247621483]
産業制御システムは、通信標準やプロトコルを含むITソリューションをますます採用している。
これらのシステムがより分散化され相互接続されるようになると、セキュリティ対策の強化に対する重要なニーズが生じる。
脅威モデリングは伝統的に、ドメインとセキュリティの専門家を含む構造化ブレインストーミングセッションで行われます。
本稿では,特に物理的脅威に着目した産業システムにおける資産分析手法を提案する。
論文 参考訳(メタデータ) (2024-09-26T07:19:15Z) - Attack Atlas: A Practitioner's Perspective on Challenges and Pitfalls in Red Teaming GenAI [52.138044013005]
生成AI、特に大規模言語モデル(LLM)は、製品アプリケーションにますます統合される。
新たな攻撃面と脆弱性が出現し、自然言語やマルチモーダルシステムにおける敵の脅威に焦点を当てる。
レッドチーム(英語版)はこれらのシステムの弱点を積極的に識別する上で重要となり、ブルーチーム(英語版)はそのような敵の攻撃から保護する。
この研究は、生成AIシステムの保護のための学術的な洞察と実践的なセキュリティ対策のギャップを埋めることを目的としている。
論文 参考訳(メタデータ) (2024-09-23T10:18:10Z) - EAIRiskBench: Towards Evaluating Physical Risk Awareness for Task Planning of Foundation Model-based Embodied AI Agents [47.69642609574771]
EAI(Embodied AI)は、高度なAIモデルを現実世界のインタラクションのための物理的なエンティティに統合する。
高レベルのタスク計画のためのEAIエージェントの"脳"としてのファンデーションモデルは、有望な結果を示している。
しかし、これらのエージェントの物理的環境への展開は、重大な安全性上の課題を呈している。
EAIRiskBenchは、EAIシナリオにおける自動物理的リスクアセスメントのための新しいフレームワークである。
論文 参考訳(メタデータ) (2024-08-08T13:19:37Z) - The Shadow of Fraud: The Emerging Danger of AI-powered Social Engineering and its Possible Cure [30.431292911543103]
社会工学(SE)攻撃は個人と組織双方にとって重大な脅威である。
人工知能(AI)の進歩は、よりパーソナライズされ説得力のある攻撃を可能にすることによって、これらの脅威を強化する可能性がある。
本研究は、SE攻撃機構を分類し、その進化を分析し、これらの脅威を測定する方法を探る。
論文 参考訳(メタデータ) (2024-07-22T17:37:31Z) - Mapping LLM Security Landscapes: A Comprehensive Stakeholder Risk Assessment Proposal [0.0]
本稿では,従来のシステムにおけるリスク評価手法のようなツールを用いたリスク評価プロセスを提案する。
我々は、潜在的な脅威要因を特定し、脆弱性要因に対して依存するシステムコンポーネントをマッピングするためのシナリオ分析を行う。
3つの主要株主グループに対する脅威もマップ化しています。
論文 参考訳(メタデータ) (2024-03-20T05:17:22Z) - Autonomous Threat Hunting: A Future Paradigm for AI-Driven Threat Intelligence [0.0]
人工知能(AI)と従来の脅威インテリジェンス方法論の融合を概観する。
従来の脅威インテリジェンスプラクティスに対するAIと機械学習の変革的な影響を検査する。
ケーススタディと評価は、AI駆動の脅威インテリジェンスを採用する組織から学んだ成功物語と教訓を強調している。
論文 参考訳(メタデータ) (2023-12-30T17:36:08Z) - Managing extreme AI risks amid rapid progress [171.05448842016125]
我々は、大規模社会被害、悪意のある使用、自律型AIシステムに対する人間の制御の不可逆的な喪失を含むリスクについて説明する。
このようなリスクがどのように発生し、どのように管理するかについては、合意の欠如があります。
現在のガバナンスイニシアチブには、誤用や無謀を防ぎ、自律システムにほとんど対処するメカニズムや制度が欠けている。
論文 参考訳(メタデータ) (2023-10-26T17:59:06Z) - Model evaluation for extreme risks [46.53170857607407]
AI開発のさらなる進歩は、攻撃的なサイバー能力や強力な操作スキルのような極端なリスクを引き起こす能力につながる可能性がある。
モデル評価が極端なリスクに対処するために重要である理由を説明します。
論文 参考訳(メタデータ) (2023-05-24T16:38:43Z) - AI Maintenance: A Robustness Perspective [91.28724422822003]
我々は、AIライフサイクルにおけるロバストネスの課題を強調し、自動車のメンテナンスに類似させることで、AIのメンテナンスを動機付ける。
本稿では,ロバストネスリスクの検出と軽減を目的としたAIモデル検査フレームワークを提案する。
我々のAIメンテナンスの提案は、AIライフサイクル全体を通して堅牢性評価、状態追跡、リスクスキャン、モデル硬化、規制を促進する。
論文 参考訳(メタデータ) (2023-01-08T15:02:38Z) - Holistic Adversarial Robustness of Deep Learning Models [91.34155889052786]
敵対的堅牢性は、安全性と信頼性を確保するために、機械学習モデルの最悪のケースパフォーマンスを研究する。
本稿では,深層学習モデルの対角的ロバスト性に関する研究課題の概要と研究手法の基礎原則について概説する。
論文 参考訳(メタデータ) (2022-02-15T05:30:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。