論文の概要: On the Security Risks of AutoML
- arxiv url: http://arxiv.org/abs/2110.06018v1
- Date: Tue, 12 Oct 2021 14:04:15 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-13 13:39:06.464214
- Title: On the Security Risks of AutoML
- Title(参考訳): AutoMLのセキュリティリスクについて
- Authors: Ren Pang, Zhaohan Xi, Shouling Ji, Xiapu Luo, Ting Wang
- Abstract要約: Neural Architecture Search(NAS)は、与えられたタスクに適したモデルを自動的に検索する、新たな機械学習パラダイムである。
手動で設計したモデルと比較すると、NAS生成モデルは様々な悪意ある攻撃に対して大きな脆弱性を被る傾向にある。
本稿では,セル深さの増大やスキップ接続の抑制など,このような欠点を軽減するための対策の可能性について論じる。
- 参考スコア(独自算出の注目度): 38.03918108363182
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural Architecture Search (NAS) represents an emerging machine learning (ML)
paradigm that automatically searches for models tailored to given tasks, which
greatly simplifies the development of ML systems and propels the trend of ML
democratization. Yet, little is known about the potential security risks
incurred by NAS, which is concerning given the increasing use of NAS-generated
models in critical domains.
This work represents a solid initial step towards bridging the gap. Through
an extensive empirical study of 10 popular NAS methods, we show that compared
with their manually designed counterparts, NAS-generated models tend to suffer
greater vulnerability to various malicious attacks (e.g., adversarial evasion,
model poisoning, and functionality stealing). Further, with both empirical and
analytical evidence, we provide possible explanations for such phenomena: given
the prohibitive search space and training cost, most NAS methods favor models
that converge fast at early training stages; this preference results in
architectural properties associated with attack vulnerability (e.g., high loss
smoothness and low gradient variance). Our findings not only reveal the
relationships between model characteristics and attack vulnerability but also
suggest the inherent connections underlying different attacks. Finally, we
discuss potential remedies to mitigate such drawbacks, including increasing
cell depth and suppressing skip connects, which lead to several promising
research directions.
- Abstract(参考訳): neural architecture search(nas)は、与えられたタスクに合わせたモデルを自動的に検索する、新たな機械学習(ml)パラダイムである。
しかし、nasによって引き起こされる潜在的なセキュリティリスクについてはほとんど知られていない。
この作業はギャップを埋めるための確固たる最初のステップである。
10の一般的なNAS手法に関する広範な実証研究を通して、NAS生成モデルは手動で設計した手法と比較して、様々な悪意ある攻撃(例えば、敵の回避、モデル中毒、機能盗難)により大きな脆弱性を被る傾向があることを示した。
さらに,経験的および分析的証拠の両方により,このような現象の説明が可能となる: 禁止された探索空間と訓練コストを考えると,ほとんどのnas手法は,初期訓練段階で高速に収束するモデルを好む; この傾向は,攻撃の脆弱性(例えば,高損失の滑らかさと低勾配分散)に関連するアーキテクチャ的特性をもたらす。
本研究は,モデル特性と攻撃脆弱性の関係を明らかにするだけでなく,異なる攻撃の基盤となる固有接続を示唆する。
最後に、細胞深度の増加やスキップ接続の抑制など、このような欠点を軽減するための潜在的対策について議論し、いくつかの有望な研究方向を導いた。
関連論文リスト
- Exploring the Vulnerabilities of Machine Learning and Quantum Machine
Learning to Adversarial Attacks using a Malware Dataset: A Comparative
Analysis [0.0]
機械学習(ML)と量子機械学習(QML)は、複雑な問題に対処する上で大きな可能性を示している。
敵攻撃に対する感受性は、これらのシステムをセキュリティに敏感なアプリケーションにデプロイする際の懸念を引き起こす。
本稿では,マルウェアデータセットを用いた敵攻撃に対するMLモデルとQNNモデルの脆弱性の比較分析を行う。
論文 参考訳(メタデータ) (2023-05-31T06:31:42Z) - Enhancing Multiple Reliability Measures via Nuisance-extended
Information Bottleneck [77.37409441129995]
トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。
我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。
そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
論文 参考訳(メタデータ) (2023-03-24T16:03:21Z) - The Dark Side of AutoML: Towards Architectural Backdoor Search [49.16544351888333]
EVASはNASを利用した新たな攻撃で、固有のバックドアを持つニューラルネットワークを見つけ出し、入力認識トリガを使用してそのような脆弱性を悪用する。
EVASは高い回避性、転送可能性、堅牢性を特徴とし、敵の設計スペクトルを拡大する。
この研究は、NASの現在の実践に対する懸念を高め、効果的な対策を開発するための潜在的方向性を示す。
論文 参考訳(メタデータ) (2022-10-21T18:13:23Z) - RelaxLoss: Defending Membership Inference Attacks without Losing Utility [68.48117818874155]
より達成可能な学習目標を持つ緩和された損失に基づく新しい学習フレームワークを提案する。
RelaxLossは、簡単な実装と無視可能なオーバーヘッドのメリットを加えた任意の分類モデルに適用できる。
当社のアプローチはMIAに対するレジリエンスの観点から,常に最先端の防御機構より優れています。
論文 参考訳(メタデータ) (2022-07-12T19:34:47Z) - Poisoning Attacks and Defenses on Artificial Intelligence: A Survey [3.706481388415728]
データ中毒攻撃は、トレーニングフェーズ中にモデルに供給されたデータサンプルを改ざんして、推論フェーズ中にモデルの精度を低下させる攻撃の一種である。
この研究は、この種の攻撃に対処する最新の文献で見つかった最も関連性の高い洞察と発見をまとめたものである。
実環境下での幅広いMLモデルに対するデータ中毒の影響を比較検討し,本研究の徹底的な評価を行った。
論文 参考訳(メタデータ) (2022-02-21T14:43:38Z) - Federated Learning with Unreliable Clients: Performance Analysis and
Mechanism Design [76.29738151117583]
Federated Learning(FL)は、分散クライアント間で効果的な機械学習モデルをトレーニングするための有望なツールとなっている。
しかし、低品質のモデルは信頼性の低いクライアントによってアグリゲータサーバにアップロードすることができ、劣化やトレーニングの崩壊につながる。
クライアントの信頼できない振る舞いをモデル化し、このようなセキュリティリスクを軽減するための防御メカニズムを提案する。
論文 参考訳(メタデータ) (2021-05-10T08:02:27Z) - ML-Doctor: Holistic Risk Assessment of Inference Attacks Against Machine
Learning Models [64.03398193325572]
機械学習(ML)モデルに対する推論攻撃により、敵はトレーニングデータやモデルパラメータなどを学ぶことができる。
私たちは、メンバシップ推論、モデル反転、属性推論、モデル盗難の4つの攻撃に集中しています。
私たちの分析では、MLモデルオーナがモデルをデプロイするリスクを評価することができる、モジュール化された再使用可能なソフトウェアであるML-Doctorに依存しています。
論文 参考訳(メタデータ) (2021-02-04T11:35:13Z) - A Deep Marginal-Contrastive Defense against Adversarial Attacks on 1D
Models [3.9962751777898955]
ディープラーニングアルゴリズムは最近、脆弱性のために攻撃者がターゲットとしている。
非連続的深層モデルは、いまだに敵対的な攻撃に対して頑健ではない。
本稿では,特徴を特定のマージン下に置くことによって予測を容易にする新しい目的/損失関数を提案する。
論文 参考訳(メタデータ) (2020-12-08T20:51:43Z) - Adversarial Examples in Deep Learning for Multivariate Time Series
Regression [0.0]
この研究は、逆時系列の例に対するディープラーニング回帰モデル(DL)の脆弱性について考察する。
我々は、CNN、Long Short-Term Memory(LSTM)、Gated Recurrent Unit(GRU)の逆時系列例を作成する。
その結果, 評価されたDL回帰モデルはすべて, 敵攻撃に対して脆弱であり, 転送可能であり, 破滅的な結果をもたらす可能性が示唆された。
論文 参考訳(メタデータ) (2020-09-24T19:09:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。