論文の概要: The AI Security Pyramid of Pain
- arxiv url: http://arxiv.org/abs/2402.11082v1
- Date: Fri, 16 Feb 2024 21:14:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-20 23:39:35.287242
- Title: The AI Security Pyramid of Pain
- Title(参考訳): 痛みのAIセキュリティピラミッド
- Authors: Chris M. Ward, Josh Harguess, Julia Tao, Daniel Christman, Paul
Spicer, Mike Tan
- Abstract要約: 私たちは、AI固有の脅威を分類し優先順位付けするために、Painのサイバーセキュリティピラミッドに適応するフレームワークであるPainのAIセキュリティピラミッドを紹介します。
このフレームワークは、さまざまなレベルのAI脅威を理解し、対処するための構造化されたアプローチを提供する。
- 参考スコア(独自算出の注目度): 0.18820558426635298
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We introduce the AI Security Pyramid of Pain, a framework that adapts the
cybersecurity Pyramid of Pain to categorize and prioritize AI-specific threats.
This framework provides a structured approach to understanding and addressing
various levels of AI threats. Starting at the base, the pyramid emphasizes Data
Integrity, which is essential for the accuracy and reliability of datasets and
AI models, including their weights and parameters. Ensuring data integrity is
crucial, as it underpins the effectiveness of all AI-driven decisions and
operations. The next level, AI System Performance, focuses on MLOps-driven
metrics such as model drift, accuracy, and false positive rates. These metrics
are crucial for detecting potential security breaches, allowing for early
intervention and maintenance of AI system integrity. Advancing further, the
pyramid addresses the threat posed by Adversarial Tools, identifying and
neutralizing tools used by adversaries to target AI systems. This layer is key
to staying ahead of evolving attack methodologies. At the Adversarial Input
layer, the framework addresses the detection and mitigation of inputs designed
to deceive or exploit AI models. This includes techniques like adversarial
patterns and prompt injection attacks, which are increasingly used in
sophisticated attacks on AI systems. Data Provenance is the next critical
layer, ensuring the authenticity and lineage of data and models. This layer is
pivotal in preventing the use of compromised or biased data in AI systems. At
the apex is the tactics, techniques, and procedures (TTPs) layer, dealing with
the most complex and challenging aspects of AI security. This involves a deep
understanding and strategic approach to counter advanced AI-targeted attacks,
requiring comprehensive knowledge and planning.
- Abstract(参考訳): 私たちは、AI固有の脅威を分類し優先順位付けするために、Painのサイバーセキュリティピラミッドに適応するフレームワークであるPainのAIセキュリティピラミッドを紹介します。
このフレームワークは、さまざまなレベルのAI脅威を理解し、対処するための構造化されたアプローチを提供する。
ベースとなるピラミッドでは、データセットとaiモデルの正確性と信頼性に不可欠な、重みとパラメータを含むデータの完全性を強調している。
データ整合性の確保は、すべてのAI駆動の意思決定と運用の有効性を支えているため、極めて重要です。
次のレベルであるAIシステムパフォーマンスは、モデルドリフト、精度、偽陽性率といったMLOps駆動のメトリクスに焦点を当てている。
これらのメトリクスは、潜在的なセキュリティ違反を検出するために重要であり、AIシステムの早期介入とメンテナンスを可能にする。
さらに、ピラミッドは、AIシステムをターゲットにして敵が使用するツールを特定し、中立化する、Adversarial Toolsによる脅威に対処する。
この層は、進化する攻撃方法論に先立ち続けるための鍵である。
Adversarial Inputレイヤでは、AIモデルを騙したり、利用したりするために設計された入力の検出と緩和に対処する。
これには、AIシステムに対する高度な攻撃にますます使用される、敵対的パターンや即発的なインジェクション攻撃といったテクニックが含まれる。
Data Provenanceは次の重要なレイヤであり、データとモデルの信頼性と系統を保証する。
このレイヤは、AIシステムにおける妥協データやバイアスデータの使用を防止する上で重要なものだ。
頂点には戦術、テクニック、手順(TTP)レイヤがあり、AIセキュリティの最も複雑で困難な側面を扱う。
これには、高度なaiターゲット攻撃に対する深い理解と戦略的アプローチが含まれており、包括的な知識と計画を必要とする。
関連論文リスト
- Explainable AI for Safe and Trustworthy Autonomous Driving: A Systematic
Review [13.28560859901137]
本稿では,安全かつ信頼性の高い自動運転のための説明可能な手法に関する,最初の体系的な文献レビューを紹介する。
我々は、ADにおける安全で信頼性の高いAIに対するXAIの5つの重要な貢献を特定し、それらは解釈可能な設計、解釈可能な代理モデル、解釈可能なモニタリング、補助的な説明、解釈可能な検証である。
我々は、これらのコントリビューションを統合するためにSafeXと呼ばれるモジュラーフレームワークを提案し、同時にAIモデルの安全性を確保しながら、ユーザへの説明提供を可能にした。
論文 参考訳(メタデータ) (2024-02-08T09:08:44Z) - Pangu-Agent: A Fine-Tunable Generalist Agent with Structured Reasoning [50.47568731994238]
人工知能(AI)エージェント作成の鍵となる方法は強化学習(RL)である
本稿では,構造化推論をAIエージェントのポリシーに統合し,学習するための一般的なフレームワークモデルを提案する。
論文 参考訳(メタデータ) (2023-12-22T17:57:57Z) - AI Hazard Management: A framework for the systematic management of root
causes for AI risks [0.0]
本稿ではAI Hazard Management(AIHM)フレームワークを紹介する。
AIのハザードを体系的に識別し、評価し、治療するための構造化されたプロセスを提供する。
総合的な最先端分析からAIハザードリストを構築する。
論文 参考訳(メタデータ) (2023-10-25T15:55:50Z) - AI Maintenance: A Robustness Perspective [91.28724422822003]
我々は、AIライフサイクルにおけるロバストネスの課題を強調し、自動車のメンテナンスに類似させることで、AIのメンテナンスを動機付ける。
本稿では,ロバストネスリスクの検出と軽減を目的としたAIモデル検査フレームワークを提案する。
我々のAIメンテナンスの提案は、AIライフサイクル全体を通して堅牢性評価、状態追跡、リスクスキャン、モデル硬化、規制を促進する。
論文 参考訳(メタデータ) (2023-01-08T15:02:38Z) - Towards Automated Classification of Attackers' TTPs by combining NLP
with ML Techniques [77.34726150561087]
我々は,NLP(Natural Language Processing)と,研究におけるセキュリティ情報抽出に使用される機械学習技術の評価と比較を行った。
本研究では,攻撃者の戦術や手法に従って非構造化テキストを自動的に分類するデータ処理パイプラインを提案する。
論文 参考訳(メタデータ) (2022-07-18T09:59:21Z) - SoK: On the Semantic AI Security in Autonomous Driving [34.47681432784334]
自律運転システムは、安全と運転判断の正しさをAIコンポーネントに依存している。
このようなAIコンポーネントレベルの脆弱性がシステムレベルでセマンティックに影響を及ぼすためには、非自明なセマンティックギャップに対処する必要がある。
本稿では,このような研究領域を汎用AIセキュリティとは対照的にセマンティックAIセキュリティと定義する。
論文 参考訳(メタデータ) (2022-03-10T12:00:34Z) - The Feasibility and Inevitability of Stealth Attacks [63.14766152741211]
我々は、攻撃者が汎用人工知能システムにおける決定を制御できる新しい敵の摂動について研究する。
敵対的なデータ修正とは対照的に、ここで考慮する攻撃メカニズムには、AIシステム自体の変更が含まれる。
論文 参考訳(メタデータ) (2021-06-26T10:50:07Z) - Trustworthy AI [75.99046162669997]
入力データの小さな敵対的変化への脆さ、決定の説明能力、トレーニングデータのバイアスに対処する能力は、最も顕著な制限である。
我々は,AIシステムに対するユーザおよび公的な信頼を高める上での6つの重要な問題に対処するために,信頼に値するAIに関するチュートリアルを提案する。
論文 参考訳(メタデータ) (2020-11-02T20:04:18Z) - Vulnerabilities of Connectionist AI Applications: Evaluation and Defence [0.0]
この記事では、コネクショナリスト人工知能(AI)アプリケーションのITセキュリティを扱い、完全性への脅威に焦点を当てます。
脅威の包括的リストと軽減の可能性は、最先端の文献をレビューすることによって提示される。
緩和に関する議論は同様に、AIシステム自体のレベルに限定されず、むしろサプライチェーンの文脈でAIシステムを見ることを提唱している。
論文 参考訳(メタデータ) (2020-03-18T12:33:59Z) - AAAI FSS-19: Human-Centered AI: Trustworthiness of AI Models and Data
Proceedings [8.445274192818825]
予測モデルは不確実性を認識し、信頼できる予測をもたらすことが不可欠である。
このシンポジウムの焦点は、データ品質と技術的堅牢性と安全性を改善するAIシステムであった。
広く定義された領域からの提出はまた、説明可能なモデル、人間の信頼、AIの倫理的側面といった要求に対処するアプローチについても論じた。
論文 参考訳(メタデータ) (2020-01-15T15:30:29Z) - Adversarial vs behavioural-based defensive AI with joint, continual and
active learning: automated evaluation of robustness to deception, poisoning
and concept drift [62.997667081978825]
人工知能(AI)の最近の進歩は、サイバーセキュリティのための行動分析(UEBA)に新たな能力をもたらした。
本稿では、検出プロセスを改善し、人間の専門知識を効果的に活用することにより、この攻撃を効果的に軽減するソリューションを提案する。
論文 参考訳(メタデータ) (2020-01-13T13:54:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。