論文の概要: SoK: A Systems Perspective on Compound AI Threats and Countermeasures
- arxiv url: http://arxiv.org/abs/2411.13459v1
- Date: Wed, 20 Nov 2024 17:08:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-21 16:13:27.063106
- Title: SoK: A Systems Perspective on Compound AI Threats and Countermeasures
- Title（参考訳）: SoK:複合AIの脅威と対策に関するシステム展望
- Authors: Sarbartha Banerjee, Prateek Sahu, Mulong Luo, Anjo Vahldiek-Oberwagner, Neeraja J. Yadwadkar, Mohit Tiwari,
- Abstract要約: 我々は、複合AIシステムに適用可能な、異なるソフトウェアとハードウェアの攻撃について議論する。
複数の攻撃機構を組み合わせることで、孤立攻撃に必要な脅威モデル仮定をいかに削減できるかを示す。
- 参考スコア（独自算出の注目度）: 3.458371054070399
- License:
- Abstract: Large language models (LLMs) used across enterprises often use proprietary models and operate on sensitive inputs and data. The wide range of attack vectors identified in prior research - targeting various software and hardware components used in training and inference - makes it extremely challenging to enforce confidentiality and integrity policies. As we advance towards constructing compound AI inference pipelines that integrate multiple large language models (LLMs), the attack surfaces expand significantly. Attackers now focus on the AI algorithms as well as the software and hardware components associated with these systems. While current research often examines these elements in isolation, we find that combining cross-layer attack observations can enable powerful end-to-end attacks with minimal assumptions about the threat model. Given, the sheer number of existing attacks at each layer, we need a holistic and systemized understanding of different attack vectors at each layer. This SoK discusses different software and hardware attacks applicable to compound AI systems and demonstrates how combining multiple attack mechanisms can reduce the threat model assumptions required for an isolated attack. Next, we systematize the ML attacks in lines with the Mitre Att&ck framework to better position each attack based on the threat model. Finally, we outline the existing countermeasures for both software and hardware layers and discuss the necessity of a comprehensive defense strategy to enable the secure and high-performance deployment of compound AI systems.
- Abstract（参考訳）: 企業全体で使用される大規模言語モデル(LLM)は、しばしばプロプライエタリなモデルを使用して、機密性の高い入力やデータを操作する。
事前の研究で特定される幅広い攻撃ベクトル - トレーニングや推論で使用されるさまざまなソフトウェアやハードウェアコンポーネントをターゲットにする - は、機密性や整合性ポリシーを強制することが極めて困難である。
複数の大規模言語モデル(LLM)を統合する複合AI推論パイプラインの構築に向けて進むにつれ、攻撃面は大幅に拡大する。
攻撃者はAIアルゴリズムだけでなく、これらのシステムに関連するソフトウェアやハードウェアコンポーネントにも注目する。
現在の研究では、これらの要素を分離して調べることが多いが、層間攻撃の観測を組み合わせることで、脅威モデルに関する最小限の仮定で強力なエンドツーエンド攻撃が可能になる。
各層における既存の攻撃の数を考えると、各層における異なる攻撃ベクトルの全体的かつ体系化された理解が必要である。
このSoKは、複合AIシステムに適用可能な異なるソフトウェアとハードウェアの攻撃について論じ、複数の攻撃メカニズムを組み合わせることで、孤立攻撃に必要な脅威モデル仮定をいかに削減できるかを実証する。
次に、脅威モデルに基づいた各攻撃の配置を改善するため、ML攻撃をMitre Att&ckフレームワークと並んで体系化する。
最後に、ソフトウェア層とハードウェア層の両方に対する既存の対策について概説し、複合AIシステムの安全かつ高性能な展開を実現するための総合的な防衛戦略の必要性について論じる。
関連論文リスト
- A Unified Hardware-based Threat Detector for AI Accelerators [12.96840649714218]
FPGAベースのAIアクセラレータを保護するために,UniGuardを設計する。
我々は、電力変動を捉え、教師付き機械学習モデルを訓練し、様々な種類の脅威を特定するために、タイム・トゥ・デジタル・コンバータを用いている。
論文 参考訳（メタデータ） (2023-11-28T10:55:02Z) - Baseline Defenses for Adversarial Attacks Against Aligned Language
Models [109.75753454188705]
最近の研究は、テキストのモデレーションが防御をバイパスするジェイルブレイクのプロンプトを生み出すことを示している。
検出(複雑度に基づく)、入力前処理(言い換えと再帰化)、対人訓練の3種類の防衛について検討する。
テキストに対する既存の離散化の弱点と比較的高いコストの最適化が組み合わさって、標準適応攻撃をより困難にしていることがわかった。
論文 参考訳（メタデータ） (2023-09-01T17:59:44Z) - A Human-in-the-Middle Attack against Object Detection Systems [4.764637544913963]
本稿では,暗号におけるman-in-the-Middle攻撃に触発された新たなハードウェア攻撃を提案する。
この攻撃はUAP(Universal Adversarial Perturbations)を生成し、USBカメラと検出システムとの間の摂動を注入する。
これらの知見は、自律運転のような安全クリティカルなシステムにおけるディープラーニングモデルの適用に対する深刻な懸念を提起する。
論文 参考訳（メタデータ） (2022-08-15T13:21:41Z) - Towards Automated Classification of Attackers' TTPs by combining NLP
with ML Techniques [77.34726150561087]
我々は,NLP(Natural Language Processing)と,研究におけるセキュリティ情報抽出に使用される機械学習技術の評価と比較を行った。
本研究では,攻撃者の戦術や手法に従って非構造化テキストを自動的に分類するデータ処理パイプラインを提案する。
論文 参考訳（メタデータ） (2022-07-18T09:59:21Z) - Attacks, Defenses, And Tools: A Framework To Facilitate Robust AI/ML
Systems [2.5137859989323528]
ソフトウェアシステムは、人工知能(AI)と機械学習(ML)コンポーネントにますます依存している。
本稿では,AI対応システムに関連する攻撃や弱点を特徴付ける枠組みを提案する。
論文 参考訳（メタデータ） (2022-02-18T22:54:04Z) - Fixed Points in Cyber Space: Rethinking Optimal Evasion Attacks in the
Age of AI-NIDS [70.60975663021952]
ネットワーク分類器に対するブラックボックス攻撃について検討する。
我々は、アタッカー・ディフェンダーの固定点がそれ自体、複雑な位相遷移を持つ一般サムゲームであると主張する。
攻撃防御力学の研究には連続的な学習手法が必要であることを示す。
論文 参考訳（メタデータ） (2021-11-23T23:42:16Z) - The Feasibility and Inevitability of Stealth Attacks [63.14766152741211]
我々は、攻撃者が汎用人工知能システムにおける決定を制御できる新しい敵の摂動について研究する。
敵対的なデータ修正とは対照的に、ここで考慮する攻撃メカニズムには、AIシステム自体の変更が含まれる。
論文 参考訳（メタデータ） (2021-06-26T10:50:07Z) - Automating Cyber Threat Hunting Using NLP, Automated Query Generation,
and Genetic Perturbation [8.669461942767098]
We have developed the WILEE system that cyber threat hunting by translating high-level threat descriptions into many possible concrete implementation。
高レベル)抽象的および(低レベル)具体的な実装は、カスタムドメイン固有の言語を使用して表現される。
WILEEは、DSLで書かれた他のロジックと共に実装を使用して、クエリを自動的に生成し、潜在的な敵に結びついた仮説を確認(または否定)する。
論文 参考訳（メタデータ） (2021-04-23T13:19:12Z) - Adversarial Attack Attribution: Discovering Attributable Signals in
Adversarial ML Attacks [0.7883722807601676]
自動運転車やML-as-a-serviceのような生産システムでさえ、逆の入力の影響を受けやすい。
摂動入力は、攻撃を生成するために使われるメソッドに起因できるだろうか?
敵対攻撃属性の概念を導入し、敵対攻撃における攻撃可能信号の発見可能性を調べるための単純な教師付き学習実験フレームワークを作成する。
論文 参考訳（メタデータ） (2021-01-08T08:16:41Z) - Composite Adversarial Attacks [57.293211764569996]
敵対攻撃は、機械学習(ML)モデルを欺くための技術です。
本論文では,攻撃アルゴリズムの最適組み合わせを自動的に探索するための複合攻撃法(Composite Adrial Attack,CAA)を提案する。
CAAは11の防衛でトップ10の攻撃を破り、時間の経過は少ない。
論文 参考訳（メタデータ） (2020-12-10T03:21:16Z) - On Adversarial Examples and Stealth Attacks in Artificial Intelligence
Systems [62.997667081978825]
本稿では,汎用人工知能(AI)システムに対する2種類の多元性行動の評価と分析を行うための公式な枠組みを提案する。
最初のクラスは、逆例を含み、誤分類を引き起こす入力データの小さな摂動の導入を懸念する。
第2のクラスは、ここで初めて導入され、ステルス攻撃と名付けられたもので、AIシステム自体に対する小さな摂動を伴う。
論文 参考訳（メタデータ） (2020-04-09T10:56:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。