論文の概要: Adversarial Robustness Assessment of NeuroEvolution Approaches
- arxiv url: http://arxiv.org/abs/2207.05451v1
- Date: Tue, 12 Jul 2022 10:40:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-13 22:06:52.229487
- Title: Adversarial Robustness Assessment of NeuroEvolution Approaches
- Title(参考訳): 神経進化アプローチの逆ロバスト性評価
- Authors: In\^es Valentim, Nuno Louren\c{c}o, Nuno Antunes
- Abstract要約: CIFAR-10画像分類タスクにおける2つのNeuroEvolutionアプローチにより得られたモデルのロバスト性を評価する。
以上の結果から,進化したモデルが反復的手法で攻撃されると,その精度は通常0に低下するか0に近づきます。
これらの技法のいくつかは、元の入力に付加された摂動を悪化させ、頑丈さを損なう可能性がある。
- 参考スコア(独自算出の注目度): 1.237556184089774
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: NeuroEvolution automates the generation of Artificial Neural Networks through
the application of techniques from Evolutionary Computation. The main goal of
these approaches is to build models that maximize predictive performance,
sometimes with an additional objective of minimizing computational complexity.
Although the evolved models achieve competitive results performance-wise, their
robustness to adversarial examples, which becomes a concern in
security-critical scenarios, has received limited attention. In this paper, we
evaluate the adversarial robustness of models found by two prominent
NeuroEvolution approaches on the CIFAR-10 image classification task: DENSER and
NSGA-Net. Since the models are publicly available, we consider white-box
untargeted attacks, where the perturbations are bounded by either the L2 or the
Linfinity-norm. Similarly to manually-designed networks, our results show that
when the evolved models are attacked with iterative methods, their accuracy
usually drops to, or close to, zero under both distance metrics. The DENSER
model is an exception to this trend, showing some resistance under the L2
threat model, where its accuracy only drops from 93.70% to 18.10% even with
iterative attacks. Additionally, we analyzed the impact of pre-processing
applied to the data before the first layer of the network. Our observations
suggest that some of these techniques can exacerbate the perturbations added to
the original inputs, potentially harming robustness. Thus, this choice should
not be neglected when automatically designing networks for applications where
adversarial attacks are prone to occur.
- Abstract(参考訳): NeuroEvolutionは、進化計算のテクニックの適用を通じて、ニューラルネットワークの生成を自動化する。
これらのアプローチの主な目標は、予測性能を最大化するモデルを構築することである。
進化したモデルは性能面では競合する結果をもたらすが、敵の例に対する堅牢性は、セキュリティクリティカルなシナリオの懸念となっている。
本稿では,CIFAR-10画像分類タスクであるDENSERとNSGA-Netの2つの顕著なNeuroEvolutionアプローチによって得られたモデルの対角的ロバスト性を評価する。
モデルが公開されているので、L2またはLinfinity-normによって摂動が束縛される、ホワイトボックスの未標的攻撃を考える。
手動で設計したネットワークと同様に,進化したモデルが反復的な手法で攻撃される場合,その精度は通常,両方の距離測定値の下でゼロに低下する。
DENSERモデルは、この傾向の例外であり、L2脅威モデルの下では、その精度は反復攻撃でも93.70%から18.10%に低下している。
さらに,ネットワークの第1層前におけるデータに対する前処理の影響を解析した。
これらの手法のいくつかは、元の入力に付加された摂動を悪化させ、堅牢性を損なう可能性があることを示唆している。
したがって、敵攻撃が発生しやすいアプリケーションのネットワークを自動設計する場合、この選択は無視すべきではない。
関連論文リスト
- Model Inversion Attacks Through Target-Specific Conditional Diffusion Models [54.69008212790426]
モデル反転攻撃(MIA)は、ターゲット分類器のトレーニングセットからプライベートイメージを再構築することを目的としており、それによってAIアプリケーションにおけるプライバシー上の懸念が高まる。
従来のGANベースのMIAは、GANの固有の欠陥と潜伏空間における最適化の偏りにより、劣った遺伝子的忠実度に悩まされる傾向にある。
これらの問題を緩和するために拡散モデル反転(Diff-MI)攻撃を提案する。
論文 参考訳(メタデータ) (2024-07-16T06:38:49Z) - Model X-ray:Detecting Backdoored Models via Decision Boundary [62.675297418960355]
バックドア攻撃はディープニューラルネットワーク(DNN)に重大な脆弱性をもたらす
図形化された2次元(2次元)決定境界の解析に基づく新しいバックドア検出手法であるモデルX線を提案する。
提案手法は,クリーンサンプルが支配する意思決定領域とラベル分布の集中度に着目した2つの戦略を含む。
論文 参考訳(メタデータ) (2024-02-27T12:42:07Z) - The Surprising Harmfulness of Benign Overfitting for Adversarial
Robustness [13.120373493503772]
根拠的真理そのものが敵の例に対して堅牢であるとしても、標準のアウト・オブ・サンプルのリスク目標の観点から見れば、明らかに過適合なモデルは良性である、という驚くべき結果が証明されます。
我々の発見は、実際に観察されたパズリング現象に関する理論的洞察を与え、真の標的関数(例えば、人間)は副次的攻撃に対して堅牢であり、一方、当初過適合のニューラルネットワークは、堅牢でないモデルに導かれる。
論文 参考訳(メタデータ) (2024-01-19T15:40:46Z) - Securing Graph Neural Networks in MLaaS: A Comprehensive Realization of Query-based Integrity Verification [68.86863899919358]
我々は機械学習におけるGNNモデルをモデル中心の攻撃から保護するための画期的なアプローチを導入する。
提案手法は,GNNの完全性に対する包括的検証スキーマを含み,トランスダクティブとインダクティブGNNの両方を考慮している。
本稿では,革新的なノード指紋生成アルゴリズムを組み込んだクエリベースの検証手法を提案する。
論文 参考訳(メタデータ) (2023-12-13T03:17:05Z) - Meta Adversarial Perturbations [66.43754467275967]
メタ逆境摂動(MAP)の存在を示す。
MAPは1段階の上昇勾配更新によって更新された後、自然画像を高い確率で誤分類する。
これらの摂動は画像に依存しないだけでなく、モデルに依存しないものであり、単一の摂動は見えないデータポイントと異なるニューラルネットワークアーキテクチャにまたがってうまく一般化される。
論文 参考訳(メタデータ) (2021-11-19T16:01:45Z) - Black-box Adversarial Attacks on Network-wide Multi-step Traffic State
Prediction Models [4.353029347463806]
予測モデルをブラックボックスとして扱うことで,敵攻撃の枠組みを提案する。
相手は任意の入力で予測モデルを導出し、対応する出力を得る。
攻撃の有効性を検証するため,グラフニューラルネットワークベースモデル(GCGRNNとDCRNN)の2つの状態について検討した。
論文 参考訳(メタデータ) (2021-10-17T03:45:35Z) - Pruning in the Face of Adversaries [0.0]
ニューラルネットワークのプルーニングがL-0,L-2,L-infinity攻撃に対する対向的ロバスト性に及ぼす影響を評価する。
その結果,ニューラルネットワークのプルーニングと対向ロバスト性は相互に排他的ではないことが確認された。
分析を敵のシナリオに付加的な仮定を取り入れた状況にまで拡張し、状況によって異なる戦略が最適であることを示す。
論文 参考訳(メタデータ) (2021-08-19T09:06:16Z) - Unveiling the potential of Graph Neural Networks for robust Intrusion
Detection [2.21481607673149]
本稿では,グラフとして構造化された攻撃の流れパターンを学習するための新しいグラフニューラルネットワーク(GNN)モデルを提案する。
我々のモデルは従来の実験と同等の精度を維持することができる一方、最先端のML技術は敵攻撃下で50%の精度(F1スコア)を低下させる。
論文 参考訳(メタデータ) (2021-07-30T16:56:39Z) - Targeted Attack against Deep Neural Networks via Flipping Limited Weight
Bits [55.740716446995805]
我々は,悪質な目的で展開段階におけるモデルパラメータを修飾する新しい攻撃パラダイムについて検討する。
私たちのゴールは、特定のサンプルをサンプル修正なしでターゲットクラスに誤分類することです。
整数プログラミングにおける最新の手法を利用することで、このBIP問題を連続最適化問題として等価に再構成する。
論文 参考訳(メタデータ) (2021-02-21T03:13:27Z) - Firearm Detection via Convolutional Neural Networks: Comparing a
Semantic Segmentation Model Against End-to-End Solutions [68.8204255655161]
武器の脅威検出とライブビデオからの攻撃的な行動は、潜在的に致命的な事故の迅速検出と予防に使用できる。
これを実現する一つの方法は、人工知能と、特に画像分析のための機械学習を使用することです。
従来のモノリシックなエンド・ツー・エンドのディープラーニングモデルと、セマンティクスセグメンテーションによって火花を検知する単純なニューラルネットワークのアンサンブルに基づく前述したモデルを比較した。
論文 参考訳(メタデータ) (2020-12-17T15:19:29Z) - A Deep Marginal-Contrastive Defense against Adversarial Attacks on 1D
Models [3.9962751777898955]
ディープラーニングアルゴリズムは最近、脆弱性のために攻撃者がターゲットとしている。
非連続的深層モデルは、いまだに敵対的な攻撃に対して頑健ではない。
本稿では,特徴を特定のマージン下に置くことによって予測を容易にする新しい目的/損失関数を提案する。
論文 参考訳(メタデータ) (2020-12-08T20:51:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。