論文の概要: Threat Modeling for AI: The Case for an Asset-Centric Approach
- arxiv url: http://arxiv.org/abs/2505.06315v1
- Date: Thu, 08 May 2025 18:57:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-13 20:21:48.778148
- Title: Threat Modeling for AI: The Case for an Asset-Centric Approach
- Title（参考訳）: AIの脅威モデリング - 集合中心アプローチの場合-
- Authors: Jose Sanchez Vicarte, Marcin Spoczynski, Mostafa Elsaid,
- Abstract要約: AIシステムは、自律的にコードを実行し、外部システムと対話し、人間の監視なしに運用することが可能になった。
AIシステムが自律的にコードを実行し、外部システムと対話し、人間の監視なしに運用できるようになったことで、従来のセキュリティアプローチは不足する。
本稿では、脅威モデリングAIシステムのための資産中心の方法論を紹介する。
- 参考スコア（独自算出の注目度）: 0.23408308015481666
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent advances in AI are transforming AI's ubiquitous presence in our world from that of standalone AI-applications into deeply integrated AI-agents. These changes have been driven by agents' increasing capability to autonomously make decisions and initiate actions, using existing applications; whether those applications are AI-based or not. This evolution enables unprecedented levels of AI integration, with agents now able to take actions on behalf of systems and users -- including, in some cases, the powerful ability for the AI to write and execute scripts as it deems necessary. With AI systems now able to autonomously execute code, interact with external systems, and operate without human oversight, traditional security approaches fall short. This paper introduces an asset-centric methodology for threat modeling AI systems that addresses the unique security challenges posed by integrated AI agents. Unlike existing top-down frameworks that analyze individual attacks within specific product contexts, our bottom-up approach enables defenders to systematically identify how vulnerabilities -- both conventional and AI-specific -- impact critical AI assets across distributed infrastructures used to develop and deploy these agents. This methodology allows security teams to: (1) perform comprehensive analysis that communicates effectively across technical domains, (2) quantify security assumptions about third-party AI components without requiring visibility into their implementation, and (3) holistically identify AI-based vulnerabilities relevant to their specific product context. This approach is particularly relevant for securing agentic systems with complex autonomous capabilities. By focusing on assets rather than attacks, our approach scales with the rapidly evolving threat landscape while accommodating increasingly complex and distributed AI development pipelines.
- Abstract（参考訳）: AIの最近の進歩は、私たちの世界におけるAIのユビキタスな存在を、スタンドアロンのAIアプリケーションから、深く統合されたAIエージェントへと変えつつある。
これらの変更は、エージェントがAIベースのかどうかに関わらず、既存のアプリケーションを使用して、自律的に意思決定し、アクションを開始する能力の増大によって引き起こされている。
この進化により、前例のないレベルのAI統合が可能になり、エージェントはシステムやユーザに代わってアクションを実行できるようになりました。
AIシステムが自律的にコードを実行し、外部システムと対話し、人間の監視なしに運用できるようになったことで、従来のセキュリティアプローチは不足する。
本稿では、統合AIエージェントがもたらすユニークなセキュリティ課題に対処する、脅威モデリングAIシステムのための資産中心の方法論を紹介する。
特定の製品コンテキスト内で個別の攻撃を分析する既存のトップダウンフレームワークとは異なり、ボトムアップのアプローチでは、防御者は、これらのエージェントの開発とデプロイに使用される分散インフラストラクチャにわたる重要なAI資産に、従来のものとAI固有の両方の脆弱性がどう影響するかを体系的に識別することができます。
この手法によってセキュリティチームは,(1)技術ドメイン間で効果的にコミュニケーションする包括的な分析,(2)実装の可視性を必要とせずに,サードパーティのAIコンポーネントに関するセキュリティ仮定の定量化,(3)特定の製品コンテキストに関連するAIベースの脆弱性の全体的特定を行うことができる。
このアプローチは、複雑な自律能力を持つエージェントシステムの確保に特に関係している。
攻撃ではなく資産に焦点を当てることで、我々のアプローチは急速に進化する脅威の状況に合わせてスケールし、ますます複雑で分散したAI開発パイプラインを収容します。
関連論文リスト
- Offensive Security for AI Systems: Concepts, Practices, and Applications [0.0]
従来の防御策は、AI駆動技術に直面するユニークで進化する脅威に対して、しばしば不足する。
本稿では、AIライフサイクル全体を通して脆弱性を明らかにするために、積極的な脅威シミュレーションと敵対的なテストを強調する。
論文 参考訳（メタデータ） (2025-05-09T18:58:56Z) - Multi-agent Embodied AI: Advances and Future Directions [47.25234488714998]
エンボディード人工知能(Embodied AI)は、インテリジェントな時代における先進技術の適用において重要な役割を担っている。
本稿では,研究の現状を概観し,重要な貢献を分析し,課題と今後の方向性を明らかにする。
論文 参考訳（メタデータ） (2025-05-08T10:13:53Z) - Graph of Effort: Quantifying Risk of AI Usage for Vulnerability Assessment [0.0]
非AI資産を攻撃するために使用されるAIは、攻撃的AIと呼ばれる。
高度な自動化や複雑なパターン認識など、その能力を利用するリスクは大幅に増大する可能性がある。
本稿では,攻撃的AIを敵による脆弱性攻撃に使用するために必要な労力を分析するための,直感的でフレキシブルで効果的な脅威モデリング手法であるGraph of Effortを紹介する。
論文 参考訳（メタデータ） (2025-03-20T17:52:42Z) - Considerations Influencing Offense-Defense Dynamics From Artificial Intelligence [0.0]
AIは防御能力を向上するだけでなく、悪意ある搾取と大規模な社会的危害のための道も提示する。
本稿では、AIシステムが主に脅威を生じているか、社会に保護的利益をもたらすかに影響を及ぼす主要な要因をマップし、検証するための分類法を提案する。
論文 参考訳（メタデータ） (2024-12-05T10:05:53Z) - Attack Atlas: A Practitioner's Perspective on Challenges and Pitfalls in Red Teaming GenAI [52.138044013005]
生成AI、特に大規模言語モデル(LLM)は、製品アプリケーションにますます統合される。
新たな攻撃面と脆弱性が出現し、自然言語やマルチモーダルシステムにおける敵の脅威に焦点を当てる。
レッドチーム(英語版)はこれらのシステムの弱点を積極的に識別する上で重要となり、ブルーチーム(英語版)はそのような敵の攻撃から保護する。
この研究は、生成AIシステムの保護のための学術的な洞察と実践的なセキュリティ対策のギャップを埋めることを目的としている。
論文 参考訳（メタデータ） (2024-09-23T10:18:10Z) - Safeguarding AI Agents: Developing and Analyzing Safety Architectures [0.0]
本稿では,人間チームと連携するAIシステムにおける安全対策の必要性について論じる。
我々は,AIエージェントシステムにおける安全プロトコルを強化する3つのフレームワークを提案し,評価する。
これらのフレームワークはAIエージェントシステムの安全性とセキュリティを大幅に強化することができると結論付けている。
論文 参考訳（メタデータ） (2024-09-03T10:14:51Z) - Towards Guaranteed Safe AI: A Framework for Ensuring Robust and Reliable AI Systems [88.80306881112313]
我々は、AI安全性に対する一連のアプローチを紹介し、定義する。
これらのアプローチの中核的な特徴は、高保証の定量的安全性保証を備えたAIシステムを作ることである。
これら3つのコアコンポーネントをそれぞれ作成するためのアプローチを概説し、主な技術的課題を説明し、それらに対する潜在的なソリューションをいくつか提案します。
論文 参考訳（メタデータ） (2024-05-10T17:38:32Z) - Managing extreme AI risks amid rapid progress [171.05448842016125]
我々は、大規模社会被害、悪意のある使用、自律型AIシステムに対する人間の制御の不可逆的な喪失を含むリスクについて説明する。
このようなリスクがどのように発生し、どのように管理するかについては、合意の欠如があります。
現在のガバナンスイニシアチブには、誤用や無謀を防ぎ、自律システムにほとんど対処するメカニズムや制度が欠けている。
論文 参考訳（メタデータ） (2023-10-26T17:59:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。