論文の概要: On the Security Risks of AutoML

• arxiv url: http://arxiv.org/abs/2110.06018v1
• Date: Tue, 12 Oct 2021 14:04:15 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-13 13:39:06.464214
• Title: On the Security Risks of AutoML
• Title（参考訳）: AutoMLのセキュリティリスクについて
• Authors: Ren Pang, Zhaohan Xi, Shouling Ji, Xiapu Luo, Ting Wang
• Abstract要約: Neural Architecture Search(NAS)は、与えられたタスクに適したモデルを自動的に検索する、新たな機械学習パラダイムである。 手動で設計したモデルと比較すると、NAS生成モデルは様々な悪意ある攻撃に対して大きな脆弱性を被る傾向にある。 本稿では,セル深さの増大やスキップ接続の抑制など,このような欠点を軽減するための対策の可能性について論じる。
• 参考スコア（独自算出の注目度）: 38.03918108363182
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Architecture Search (NAS) represents an emerging machine learning (ML) paradigm that automatically searches for models tailored to given tasks, which greatly simplifies the development of ML systems and propels the trend of ML democratization. Yet, little is known about the potential security risks incurred by NAS, which is concerning given the increasing use of NAS-generated models in critical domains. This work represents a solid initial step towards bridging the gap. Through an extensive empirical study of 10 popular NAS methods, we show that compared with their manually designed counterparts, NAS-generated models tend to suffer greater vulnerability to various malicious attacks (e.g., adversarial evasion, model poisoning, and functionality stealing). Further, with both empirical and analytical evidence, we provide possible explanations for such phenomena: given the prohibitive search space and training cost, most NAS methods favor models that converge fast at early training stages; this preference results in architectural properties associated with attack vulnerability (e.g., high loss smoothness and low gradient variance). Our findings not only reveal the relationships between model characteristics and attack vulnerability but also suggest the inherent connections underlying different attacks. Finally, we discuss potential remedies to mitigate such drawbacks, including increasing cell depth and suppressing skip connects, which lead to several promising research directions.
• Abstract（参考訳）: neural architecture search(nas)は、与えられたタスクに合わせたモデルを自動的に検索する、新たな機械学習(ml)パラダイムである。 しかし、nasによって引き起こされる潜在的なセキュリティリスクについてはほとんど知られていない。 この作業はギャップを埋めるための確固たる最初のステップである。 10の一般的なNAS手法に関する広範な実証研究を通して、NAS生成モデルは手動で設計した手法と比較して、様々な悪意ある攻撃(例えば、敵の回避、モデル中毒、機能盗難)により大きな脆弱性を被る傾向があることを示した。 さらに,経験的および分析的証拠の両方により,このような現象の説明が可能となる: 禁止された探索空間と訓練コストを考えると,ほとんどのnas手法は,初期訓練段階で高速に収束するモデルを好む; この傾向は,攻撃の脆弱性(例えば,高損失の滑らかさと低勾配分散)に関連するアーキテクチャ的特性をもたらす。 本研究は,モデル特性と攻撃脆弱性の関係を明らかにするだけでなく,異なる攻撃の基盤となる固有接続を示唆する。 最後に、細胞深度の増加やスキップ接続の抑制など、このような欠点を軽減するための潜在的対策について議論し、いくつかの有望な研究方向を導いた。

関連論文リスト

• Transferable Adversarial Attacks on SAM and Its Downstream Models [87.23908485521439]
  本稿では,セグメント・アプライス・モデル(SAM)から微調整した様々な下流モデルに対する敵攻撃の可能性について検討する。 未知のデータセットを微調整したモデルに対する敵攻撃の有効性を高めるために,ユニバーサルメタ初期化(UMI)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-26T15:04:04Z)
• CALoR: Towards Comprehensive Model Inversion Defense [43.2642796582236]
  Model Inversion Attacks (MIAs)は、プライバシに敏感なトレーニングデータを、リリースされた機械学習モデルにエンコードされた知識から回復することを目的としている。 MIA分野の最近の進歩は、複数のシナリオにおける攻撃性能を大幅に向上させた。 信頼性適応と低ランク圧縮を統合した堅牢な防御機構を提案する。
  論文  参考訳（メタデータ） (2024-10-08T08:44:01Z)
• Unlearning Backdoor Threats: Enhancing Backdoor Defense in Multimodal Contrastive Learning via Local Token Unlearning [49.242828934501986]
  マルチモーダルコントラスト学習は高品質な機能を構築するための強力なパラダイムとして登場した。 バックドア攻撃は 訓練中に モデルに 悪意ある行動を埋め込む 我々は,革新的なトークンベースの局所的忘れ忘れ学習システムを導入する。
  論文  参考訳（メタデータ） (2024-03-24T18:33:15Z)
• Adversarial Evasion Attacks Practicality in Networks: Testing the Impact of Dynamic Learning [1.6574413179773757]
  敵攻撃は、MLモデルを騙して欠陥予測を生成することを目的としている。 敵攻撃はMLベースのNIDSを妥協する。 本実験は, 対人訓練を伴わない継続的再訓練は, 対人攻撃の有効性を低下させる可能性が示唆された。
  論文  参考訳（メタデータ） (2023-06-08T18:32:08Z)
• The Dark Side of AutoML: Towards Architectural Backdoor Search [49.16544351888333]
  EVASはNASを利用した新たな攻撃で、固有のバックドアを持つニューラルネットワークを見つけ出し、入力認識トリガを使用してそのような脆弱性を悪用する。 EVASは高い回避性、転送可能性、堅牢性を特徴とし、敵の設計スペクトルを拡大する。 この研究は、NASの現在の実践に対する懸念を高め、効果的な対策を開発するための潜在的方向性を示す。
  論文  参考訳（メタデータ） (2022-10-21T18:13:23Z)
• RelaxLoss: Defending Membership Inference Attacks without Losing Utility [68.48117818874155]
  より達成可能な学習目標を持つ緩和された損失に基づく新しい学習フレームワークを提案する。 RelaxLossは、簡単な実装と無視可能なオーバーヘッドのメリットを加えた任意の分類モデルに適用できる。 当社のアプローチはMIAに対するレジリエンスの観点から,常に最先端の防御機構より優れています。
  論文  参考訳（メタデータ） (2022-07-12T19:34:47Z)
• ML-Doctor: Holistic Risk Assessment of Inference Attacks Against Machine Learning Models [64.03398193325572]
  機械学習(ML)モデルに対する推論攻撃により、敵はトレーニングデータやモデルパラメータなどを学ぶことができる。 私たちは、メンバシップ推論、モデル反転、属性推論、モデル盗難の4つの攻撃に集中しています。 私たちの分析では、MLモデルオーナがモデルをデプロイするリスクを評価することができる、モジュール化された再使用可能なソフトウェアであるML-Doctorに依存しています。
  論文  参考訳（メタデータ） (2021-02-04T11:35:13Z)
• A Deep Marginal-Contrastive Defense against Adversarial Attacks on 1D Models [3.9962751777898955]
  ディープラーニングアルゴリズムは最近、脆弱性のために攻撃者がターゲットとしている。 非連続的深層モデルは、いまだに敵対的な攻撃に対して頑健ではない。 本稿では,特徴を特定のマージン下に置くことによって予測を容易にする新しい目的/損失関数を提案する。
  論文  参考訳（メタデータ） (2020-12-08T20:51:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。