論文の概要: The Dark Side of AutoML: Towards Architectural Backdoor Search

• arxiv url: http://arxiv.org/abs/2210.12179v1
• Date: Fri, 21 Oct 2022 18:13:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-25 21:28:06.866983
• Title: The Dark Side of AutoML: Towards Architectural Backdoor Search
• Title（参考訳）: automlのダークサイド:アーキテクチャのバックドア検索に向けて
• Authors: Ren Pang, Changjiang Li, Zhaohan Xi, Shouling Ji, Ting Wang
• Abstract要約: EVASはNASを利用した新たな攻撃で、固有のバックドアを持つニューラルネットワークを見つけ出し、入力認識トリガを使用してそのような脆弱性を悪用する。 EVASは高い回避性、転送可能性、堅牢性を特徴とし、敵の設計スペクトルを拡大する。 この研究は、NASの現在の実践に対する懸念を高め、効果的な対策を開発するための潜在的方向性を示す。
• 参考スコア（独自算出の注目度）: 49.16544351888333
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper asks the intriguing question: is it possible to exploit neural architecture search (NAS) as a new attack vector to launch previously improbable attacks? Specifically, we present EVAS, a new attack that leverages NAS to find neural architectures with inherent backdoors and exploits such vulnerability using input-aware triggers. Compared with existing attacks, EVAS demonstrates many interesting properties: (i) it does not require polluting training data or perturbing model parameters; (ii) it is agnostic to downstream fine-tuning or even re-training from scratch; (iii) it naturally evades defenses that rely on inspecting model parameters or training data. With extensive evaluation on benchmark datasets, we show that EVAS features high evasiveness, transferability, and robustness, thereby expanding the adversary's design spectrum. We further characterize the mechanisms underlying EVAS, which are possibly explainable by architecture-level ``shortcuts'' that recognize trigger patterns. This work raises concerns about the current practice of NAS and points to potential directions to develop effective countermeasures.
• Abstract（参考訳）: ニューラル・アーキテクチャ・サーチ(nas)を新たな攻撃ベクトルとして活用して、これまで不可能だった攻撃を発射することは可能か? 具体的には、nasを利用して固有のバックドアを持つニューラルネットワークを見つけ、入力認識トリガーを使ってそのような脆弱性を悪用する新しい攻撃であるevasを紹介します。 既存の攻撃と比較すると、EVASは多くの興味深い特性を示しています。 (i) 受粉訓練データやモデルパラメータの摂動を必要としない。 (ii)下流の微調整や、スクラッチから再訓練することと無関係である。 (iii)モデルパラメータの検査やトレーニングデータに依存する防御を自然に回避する。 ベンチマークデータセットを広範囲に評価することにより、EVASは高い回避性、転送性、堅牢性を特徴とし、敵の設計スペクトルを拡大することを示す。 我々は,EVASの基盤となるメカニズムを,トリガパターンを認識するアーキテクチャレベルの ``shortcuts'' によって説明することができる。 この研究は、NASの現在の実践に対する懸念を高め、効果的な対策を開発するための潜在的方向性を示す。

関連論文リスト

• Exploiting the Vulnerability of Large Language Models via Defense-Aware Architectural Backdoor [0.24335447922683692]
  基盤となるモデルアーキテクチャ内に隠蔽する新しいタイプのバックドアアタックを導入します。 モデルアーキテクチャレイヤのアドオンモジュールは、入力トリガトークンの存在を検出し、レイヤの重みを変更することができる。 我々は,5つの大言語データセットの2つのモデルアーキテクチャ設定を用いて,攻撃方法を評価するための広範囲な実験を行った。
  論文  参考訳（メタデータ） (2024-09-03T14:54:16Z)
• Backdoor Attack with Sparse and Invisible Trigger [57.41876708712008]
  ディープニューラルネットワーク(DNN)は、バックドア攻撃に対して脆弱である。 バックドアアタックは、訓練段階の脅威を脅かしている。 軽度で目に見えないバックドアアタック(SIBA)を提案する。
  論文  参考訳（メタデータ） (2023-05-11T10:05:57Z)
• Untargeted Backdoor Attack against Object Detection [69.63097724439886]
  我々は,タスク特性に基づいて,無目標で毒のみのバックドア攻撃を設計する。 攻撃によって、バックドアがターゲットモデルに埋め込まれると、トリガーパターンでスタンプされたオブジェクトの検出を失う可能性があることを示す。
  論文  参考訳（メタデータ） (2022-11-02T17:05:45Z)
• Backdoor Defense via Suppressing Model Shortcuts [91.30995749139012]
  本稿では,モデル構造の角度からバックドア機構を探索する。 攻撃成功率 (ASR) は, キースキップ接続の出力を減少させると著しく低下することを示した。
  論文  参考訳（メタデータ） (2022-11-02T15:39:19Z)
• Few-Shot Backdoor Attacks on Visual Object Tracking [80.13936562708426]
  視覚オブジェクト追跡(VOT)は、自律運転やインテリジェント監視システムなど、ミッションクリティカルなアプリケーションで広く採用されている。 学習過程の調整により,隠れたバックドアをVOTモデルに容易に埋め込むことができることを示す。 我々の攻撃は潜在的な防御に耐性があることを示し、潜在的なバックドア攻撃に対するVOTモデルの脆弱性を強調します。
  論文  参考訳（メタデータ） (2022-01-31T12:38:58Z)
• Reconstructing Training Data with Informed Adversaries [30.138217209991826]
  機械学習モデルへのアクセスを考えると、敵はモデルのトレーニングデータを再構築できるだろうか? 本研究は、この疑問を、学習データポイントの全てを知っている強力な情報提供者のレンズから研究する。 この厳密な脅威モデルにおいて、残りのデータポイントを再構築することは可能であることを示す。
  論文  参考訳（メタデータ） (2022-01-13T09:19:25Z)
• On the Security Risks of AutoML [38.03918108363182]
  Neural Architecture Search(NAS)は、与えられたタスクに適したモデルを自動的に検索する、新たな機械学習パラダイムである。 手動で設計したモデルと比較すると、NAS生成モデルは様々な悪意ある攻撃に対して大きな脆弱性を被る傾向にある。 本稿では,セル深さの増大やスキップ接続の抑制など,このような欠点を軽減するための対策の可能性について論じる。
  論文  参考訳（メタデータ） (2021-10-12T14:04:15Z)
• The Feasibility and Inevitability of Stealth Attacks [63.14766152741211]
  我々は、攻撃者が汎用人工知能システムにおける決定を制御できる新しい敵の摂動について研究する。 敵対的なデータ修正とは対照的に、ここで考慮する攻撃メカニズムには、AIシステム自体の変更が含まれる。
  論文  参考訳（メタデータ） (2021-06-26T10:50:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。