論文の概要: On Adversarial Examples and Stealth Attacks in Artificial Intelligence Systems

• arxiv url: http://arxiv.org/abs/2004.04479v1
• Date: Thu, 9 Apr 2020 10:56:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-15 02:11:53.129032
• Title: On Adversarial Examples and Stealth Attacks in Artificial Intelligence Systems
• Title（参考訳）: 人工知能システムにおける敵対的事例とステルス攻撃について
• Authors: Ivan Y. Tyukin, Desmond J. Higham, and Alexander N. Gorban
• Abstract要約: 本稿では,汎用人工知能(AI)システムに対する2種類の多元性行動の評価と分析を行うための公式な枠組みを提案する。 最初のクラスは、逆例を含み、誤分類を引き起こす入力データの小さな摂動の導入を懸念する。 第2のクラスは、ここで初めて導入され、ステルス攻撃と名付けられたもので、AIシステム自体に対する小さな摂動を伴う。
• 参考スコア（独自算出の注目度）: 62.997667081978825
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work we present a formal theoretical framework for assessing and analyzing two classes of malevolent action towards generic Artificial Intelligence (AI) systems. Our results apply to general multi-class classifiers that map from an input space into a decision space, including artificial neural networks used in deep learning applications. Two classes of attacks are considered. The first class involves adversarial examples and concerns the introduction of small perturbations of the input data that cause misclassification. The second class, introduced here for the first time and named stealth attacks, involves small perturbations to the AI system itself. Here the perturbed system produces whatever output is desired by the attacker on a specific small data set, perhaps even a single input, but performs as normal on a validation set (which is unknown to the attacker). We show that in both cases, i.e., in the case of an attack based on adversarial examples and in the case of a stealth attack, the dimensionality of the AI's decision-making space is a major contributor to the AI's susceptibility. For attacks based on adversarial examples, a second crucial parameter is the absence of local concentrations in the data probability distribution, a property known as Smeared Absolute Continuity. According to our findings, robustness to adversarial examples requires either (a) the data distributions in the AI's feature space to have concentrated probability density functions or (b) the dimensionality of the AI's decision variables to be sufficiently small. We also show how to construct stealth attacks on high-dimensional AI systems that are hard to spot unless the validation set is made exponentially large.
• Abstract（参考訳）: 本研究では,汎用人工知能(AI)システムに対する2種類の多元性行動の評価と解析のための公式な理論的枠組みを提案する。 この結果は、入力空間から決定空間にマッピングする一般的な多クラス分類器に適用される。 攻撃には2種類ある。 最初のクラスは、逆例と、誤分類を引き起こす入力データの小さな摂動の導入に関するものである。 第2のクラスは、ここで初めて導入され、ステルス攻撃と名付けられたもので、AIシステム自体に対する小さな摂動を伴う。 ここで、摂動システムは攻撃者が望む任意の出力を特定の小さなデータセット、おそらくは1つの入力で生成するが、検証セット上では正常に実行する(攻撃者には未知)。 いずれの場合も、敵の例に基づく攻撃の場合と、ステルス攻撃の場合において、aiの意思決定空間の次元性が、aiの感受性の主要な要因であることを示している。 2つ目の重要なパラメータは、データ確率分布における局所的な濃度の欠如であり、これはSmeared Absolute Continuityと呼ばれる性質である。 以上の結果から,敵対例に対するロバスト性はいずれかが要求される。 (a)AIの特徴空間内のデータ分布が集中確率密度関数を持つか b)AIの決定変数の次元性は十分小さい。 また,検証セットを指数関数的に大きくしない限り検出しにくい高次元aiシステムに対して,ステルス攻撃を構築する方法を示す。

関連論文リスト

• Adversarial Attacks and Dimensionality in Text Classifiers [3.4179091429029382]
  機械学習アルゴリズムに対する敵対的な攻撃は、多くの現実世界のユースケースにおいて、AIの採用を妨げている。 本研究では,自然言語処理分野,特にテキスト分類タスクにおける逆例について検討する。
  論文  参考訳（メタデータ） (2024-04-03T11:49:43Z)
• Adversarial Attacks Neutralization via Data Set Randomization [3.655021726150369]
  ディープラーニングモデルに対する敵対的な攻撃は、信頼性とセキュリティに深刻な脅威をもたらす。 本稿では,超空間射影に根ざした新しい防御機構を提案する。 提案手法は,敵対的攻撃に対するディープラーニングモデルの堅牢性を高めていることを示す。
  論文  参考訳（メタデータ） (2023-06-21T10:17:55Z)
• Wasserstein distributional robustness of neural networks [9.79503506460041]
  ディープニューラルネットワークは敵攻撃(AA)に弱いことが知られている 画像認識タスクでは、元の小さな摂動によって画像が誤分類される可能性がある。 本稿では,Wassersteinの分散ロバスト最適化(DRO)技術を用いて問題を再検討し,新しいコントリビューションを得た。
  論文  参考訳（メタデータ） (2023-06-16T13:41:24Z)
• Can Adversarial Examples Be Parsed to Reveal Victim Model Information? [62.814751479749695]
  本研究では,データ固有の敵インスタンスから,データに依存しない被害者モデル(VM)情報を推測できるかどうかを問う。 我々は,135件の被害者モデルから生成された7種類の攻撃に対して,敵攻撃のデータセットを収集する。 単純な教師付きモデル解析ネットワーク(MPN)は、見えない敵攻撃からVM属性を推測できることを示す。
  論文  参考訳（メタデータ） (2023-03-13T21:21:49Z)
• Illusory Attacks: Information-Theoretic Detectability Matters in Adversarial Attacks [76.35478518372692]
  エプシロン・イリューソリー(epsilon-illusory)は、シーケンシャルな意思決定者に対する敵対的攻撃の新たな形態である。 既存の攻撃と比較して,エプシロン・イリューソリーの自動検出は極めて困難である。 以上の結果から, より優れた異常検知器, 効果的なハードウェアおよびシステムレベルの防御の必要性が示唆された。
  論文  参考訳（メタデータ） (2022-07-20T19:49:09Z)
• The Feasibility and Inevitability of Stealth Attacks [63.14766152741211]
  我々は、攻撃者が汎用人工知能システムにおける決定を制御できる新しい敵の摂動について研究する。 敵対的なデータ修正とは対照的に、ここで考慮する攻撃メカニズムには、AIシステム自体の変更が含まれる。
  論文  参考訳（メタデータ） (2021-06-26T10:50:07Z)
• Learning and Certification under Instance-targeted Poisoning [49.55596073963654]
  インスタンスターゲット中毒攻撃におけるPAC学習性と認証について検討する。 敵の予算がサンプルの複雑さに比例してスケールすると、PACの学習性と認定が達成可能であることを示す。 実データセット上でのK近傍, ロジスティック回帰, 多層パーセプトロン, 畳み込みニューラルネットワークの堅牢性を実証的に検討する。
  論文  参考訳（メタデータ） (2021-05-18T17:48:15Z)
• Practical No-box Adversarial Attacks against DNNs [31.808770437120536]
  我々は、攻撃者がモデル情報やトレーニングセットにアクセスしたり、モデルに問い合わせたりできない、ノンボックスの逆例を調査する。 非常に小さなデータセットでトレーニングを行うための3つのメカニズムを提案し、プロトタイプの再構築が最も効果的であることを示す。 提案手法は, システムの平均予測精度を15.40%に低下させ, 事前学習したArcfaceモデルから, 敵のサンプルを転送する攻撃と同等にする。
  論文  参考訳（メタデータ） (2020-12-04T11:10:03Z)
• A Self-supervised Approach for Adversarial Robustness [105.88250594033053]
  敵対的な例は、ディープニューラルネットワーク(DNN)ベースの視覚システムにおいて破滅的な誤りを引き起こす可能性がある。 本稿では,入力空間における自己教師型対向学習機構を提案する。 これは、反逆攻撃に対する強力な堅牢性を提供する。
  論文  参考訳（メタデータ） (2020-06-08T20:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。