論文の概要: Hyperparameter Search Is All You Need For Training-Agnostic Backdoor
Robustness
- arxiv url: http://arxiv.org/abs/2302.04977v1
- Date: Thu, 9 Feb 2023 23:34:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-13 16:56:24.986867
- Title: Hyperparameter Search Is All You Need For Training-Agnostic Backdoor
Robustness
- Title(参考訳): ハイパーパラメーター検索は、トレーニング非依存のバックドアロバストネスに必要なもの
- Authors: Eugene Bagdasaryan and Vitaly Shmatikov
- Abstract要約: トレーニングデータのごく一部をコンパイルするには、攻撃者からのリソースがほとんど必要ないが、これらの攻撃に対する防御は難しい。
トレーニングデータの漏洩したサブセットのサイズを推定するために,学習が容易なプリミティブ・サブタスクを提案する。
トレーニングパイプラインを変更することなく、ハイパーパラメータ検索を活用してモデルの正確性とロバスト性のバランスをとる方法を示す。
- 参考スコア(独自算出の注目度): 22.844973592524966
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Commoditization and broad adoption of machine learning (ML) technologies
expose users of these technologies to new security risks. Many models today are
based on neural networks. Training and deploying these models for real-world
applications involves complex hardware and software pipelines applied to
training data from many sources. Models trained on untrusted data are
vulnerable to poisoning attacks that introduce "backdoor" functionality.
Compromising a fraction of the training data requires few resources from the
attacker, but defending against these attacks is a challenge. Although there
have been dozens of defenses proposed in the research literature, most of them
are expensive to integrate or incompatible with the existing training
pipelines.
In this paper, we take a pragmatic, developer-centric view and show how
practitioners can answer two actionable questions: (1) how robust is my model
to backdoor poisoning attacks?, and (2) how can I make it more robust without
changing the training pipeline? We focus on the size of the compromised subset
of the training data as a universal metric. We propose an easy-to-learn
primitive sub-task to estimate this metric, thus providing a baseline on
backdoor poisoning. Next, we show how to leverage hyperparameter search - a
tool that ML developers already extensively use - to balance the model's
accuracy and robustness to poisoning, without changes to the training pipeline.
We demonstrate how to use our metric to estimate the robustness of models to
backdoor attacks. We then design, implement, and evaluate a multi-stage
hyperparameter search method we call Mithridates that strengthens robustness by
3-5x with only a slight impact on the model's accuracy. We show that the
hyperparameters found by our method increase robustness against multiple types
of backdoor attacks and extend our method to AutoML and federated learning.
- Abstract(参考訳): 機械学習(ML)技術のコモディティ化と広範な採用は、これらの技術のユーザを新たなセキュリティリスクにさらしている。
現在、多くのモデルはニューラルネットワークに基づいている。
これらのモデルを実世界のアプリケーション向けにトレーニングし、デプロイするには、多くのソースからのデータトレーニングに適用される複雑なハードウェアとソフトウェアパイプラインが必要となる。
信頼できないデータでトレーニングされたモデルは、"バックドア"機能を導入する中毒攻撃に対して脆弱である。
トレーニングデータのごく一部をコンパイルするには、攻撃者からのリソースがほとんど必要ないが、これらの攻撃に対する防御は難しい。
研究文献には数十の防衛策が提案されているが、そのほとんどは既存の訓練パイプラインとの統合や非互換が高価である。
本稿では,実践者が2つの行動可能な質問にどのように答えることができるかを,実践的かつ開発者中心の視点で示す。
トレーニングパイプラインを変更することなく、それをより堅牢にするにはどうすればよいのでしょう?
私たちは、トレーニングデータの漏洩したサブセットのサイズを普遍的なメトリックとして重視する。
そこで我々は,この指標を推定するために,容易に学習できるプリミティブ・サブタスクを提案し,バックドア中毒のベースラインを提供する。
次に、ML開発者がすでに広く使用しているハイパーパラメータ検索を活用して、トレーニングパイプラインを変更することなく、モデルの正確性とロバスト性のバランスをとる方法を示す。
我々は、モデルによるバックドア攻撃のロバスト性を評価するために、メトリクスを使用する方法を示します。
そこで我々は,モデル精度にわずかな影響を与えるだけで頑健性を3~5倍強化するマルチステージハイパーパラメータ探索法(mithridates)の設計,実装,評価を行った。
提案手法によって検出されるハイパーパラメータは,複数種類のバックドア攻撃に対するロバスト性を高め,その手法をAutoMLやフェデレート学習に拡張することを示す。
関連論文リスト
- Avoid Adversarial Adaption in Federated Learning by Multi-Metric
Investigations [55.2480439325792]
Federated Learning(FL)は、分散機械学習モデルのトレーニング、データのプライバシの保護、通信コストの低減、多様化したデータソースによるモデルパフォーマンスの向上を支援する。
FLは、中毒攻撃、標的外のパフォーマンス劣化とターゲットのバックドア攻撃の両方でモデルの整合性を損なうような脆弱性に直面している。
我々は、複数の目的に同時に適応できる、強い適応的敵の概念を新たに定義する。
MESASは、実際のデータシナリオで有効であり、平均オーバーヘッドは24.37秒である。
論文 参考訳(メタデータ) (2023-06-06T11:44:42Z) - Towards Understanding How Self-training Tolerates Data Backdoor
Poisoning [11.817302291033725]
バックドア攻撃を緩和するためのラベルのない追加データによる自己学習の可能性を探る。
新たな自己訓練体制は、バックドア攻撃に対する防衛に大いに役立ちます。
論文 参考訳(メタデータ) (2023-01-20T16:36:45Z) - On the Vulnerability of Backdoor Defenses for Federated Learning [8.345632941376673]
Federated Learning(FL)は、クライアントのデータを共有することなく、グローバルモデルの共同トレーニングを可能にする、人気のある分散機械学習パラダイムである。
本稿では,現在の防衛機構が,フェデレートラーニングによるバックドアの脅威を真に中和するかどうかを考察する。
本稿では,新たなバックドア攻撃手法を提案する。
論文 参考訳(メタデータ) (2023-01-19T17:02:02Z) - Backdoor Defense via Suppressing Model Shortcuts [91.30995749139012]
本稿では,モデル構造の角度からバックドア機構を探索する。
攻撃成功率 (ASR) は, キースキップ接続の出力を減少させると著しく低下することを示した。
論文 参考訳(メタデータ) (2022-11-02T15:39:19Z) - FLIP: A Provable Defense Framework for Backdoor Mitigation in Federated
Learning [66.56240101249803]
我々は,クライアントの強固化がグローバルモデル(および悪意のあるクライアント)に与える影響について検討する。
本稿では, 逆エンジニアリングによる防御手法を提案するとともに, 堅牢性を保証して, 改良を実現できることを示す。
競合する8つのSOTA防御法について, 単発および連続のFLバックドア攻撃に対して, 提案手法の実証的優位性を示した。
論文 参考訳(メタデータ) (2022-10-23T22:24:03Z) - On the Effectiveness of Adversarial Training against Backdoor Attacks [111.8963365326168]
バックドアモデルは、事前に定義されたトリガーパターンが存在する場合、常にターゲットクラスを予測する。
一般的には、敵の訓練はバックドア攻撃に対する防御であると信じられている。
本稿では,様々なバックドア攻撃に対して良好な堅牢性を提供するハイブリッド戦略を提案する。
論文 参考訳(メタデータ) (2022-02-22T02:24:46Z) - CRFL: Certifiably Robust Federated Learning against Backdoor Attacks [59.61565692464579]
本稿では,第1の汎用フレームワークであるCertifiably Robust Federated Learning (CRFL) を用いて,バックドアに対する堅牢なFLモデルをトレーニングする。
提案手法は, モデルパラメータのクリッピングと平滑化を利用して大域的モデル平滑化を制御する。
論文 参考訳(メタデータ) (2021-06-15T16:50:54Z) - Backdoor Learning Curves: Explaining Backdoor Poisoning Beyond Influence
Functions [26.143147923356626]
インクリメンタルラーニングとインフルエンス関数のレンズによるバックドアラーニングのプロセスについて検討した。
バックドア攻撃の成功は、(i)学習アルゴリズムの複雑さと(ii)トレーニングセットに注入されたバックドアサンプルの割合に本質的に依存していることが示される。
論文 参考訳(メタデータ) (2021-06-14T08:00:48Z) - Black-box Detection of Backdoor Attacks with Limited Information and
Data [56.0735480850555]
モデルへのクエリアクセスのみを用いてバックドア攻撃を同定するブラックボックスバックドア検出(B3D)手法を提案する。
バックドア検出に加えて,同定されたバックドアモデルを用いた信頼性の高い予測手法を提案する。
論文 参考訳(メタデータ) (2021-03-24T12:06:40Z) - Blind Backdoors in Deep Learning Models [22.844973592524966]
本稿では,機械学習モデルにバックドアを注入する新しい手法について検討する。
従来の文献よりも厳格に強力なバックドアの新たなクラスを実証するために使用しています。
攻撃者はトレーニングデータを変更したり、コードの実行を観察したり、結果のモデルにアクセスしたりすることができません。
論文 参考訳(メタデータ) (2020-05-08T02:15:53Z) - RAB: Provable Robustness Against Backdoor Attacks [20.702977915926787]
我々は、一般的な脅威モデル、特にバックドアアタックに対して、機械学習モデルの堅牢性を証明することに重点を置いている。
トレーニングモデルをスムースにし,バックドア攻撃に対する堅牢性を証明するための,最初の堅牢なトレーニングプロセスであるRABを提案する。
我々は、さまざまな機械学習(ML)モデルに対する包括的な実験を行い、バックドア攻撃に対する信頼性の高い堅牢性を示す最初のベンチマークを提供する。
論文 参考訳(メタデータ) (2020-03-19T17:05:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。