論文の概要: Mithridates: Auditing and Boosting Backdoor Resistance of Machine
Learning Pipelines
- arxiv url: http://arxiv.org/abs/2302.04977v3
- Date: Tue, 19 Dec 2023 13:05:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-21 03:05:06.732807
- Title: Mithridates: Auditing and Boosting Backdoor Resistance of Machine
Learning Pipelines
- Title(参考訳): Mithridates: マシンラーニングパイプラインのバックドア抵抗の監査と向上
- Authors: Eugene Bagdasaryan and Vitaly Shmatikov
- Abstract要約: 潜在的に信頼できないソースのデータに基づいてトレーニングされた機械学習モデルは、毒に弱い。
本稿では,最小限のトレーニング入力数に基づく,汎用的かつ攻撃非依存な抵抗測定法を提案する。
以上の結果から,Mithridatesは複数種類のバックドア攻撃に対する耐性を3~5倍増し,精度にわずかに影響を及ぼすことがわかった。
- 参考スコア(独自算出の注目度): 16.712814763678495
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine learning (ML) models trained on data from potentially untrusted
sources are vulnerable to poisoning. A small, maliciously crafted subset of the
training inputs can cause the model to learn a "backdoor" task (e.g.,
misclassify inputs with a certain feature) in addition to its main task. Recent
research proposed many hypothetical backdoor attacks whose efficacy heavily
depends on the configuration and training hyperparameters of the target model.
Given the variety of potential backdoor attacks, ML engineers who are not
security experts have no way to measure how vulnerable their current training
pipelines are, nor do they have a practical way to compare training
configurations so as to pick the more resistant ones. Deploying a defense
requires evaluating and choosing from among dozens of research papers and
re-engineering the training pipeline.
In this paper, we aim to provide ML engineers with pragmatic tools to audit
the backdoor resistance of their training pipelines and to compare different
training configurations, to help choose one that best balances accuracy and
security.
First, we propose a universal, attack-agnostic resistance metric based on the
minimum number of training inputs that must be compromised before the model
learns any backdoor.
Second, we design, implement, and evaluate Mithridates a multi-stage approach
that integrates backdoor resistance into the training-configuration search. ML
developers already rely on hyperparameter search to find configurations that
maximize the model's accuracy. Mithridates extends this standard tool to
balance accuracy and resistance without disruptive changes to the training
pipeline. We show that hyperparameters found by Mithridates increase resistance
to multiple types of backdoor attacks by 3-5x with only a slight impact on
accuracy. We also discuss extensions to AutoML and federated learning.
- Abstract(参考訳): 潜在的信頼できないソースのデータに基づいてトレーニングされた機械学習(ML)モデルは、毒に弱い。
トレーニング入力の小さな悪意ある部分集合は、モデルがメインタスクに加えて"バックドア"タスク(例えば、特定の機能で入力を誤分類する)を学ぶ原因となる可能性がある。
最近の研究では、ターゲットモデルの配置とトレーニングのハイパーパラメータに大きく依存する仮説上のバックドア攻撃が多数提案されている。
バックドア攻撃の可能性を考慮すれば、セキュリティの専門家でないMLエンジニアは、現在のトレーニングパイプラインがどれほど脆弱であるかを測定する方法も、より耐性のあるものを選択するためのトレーニング構成を比較する実用的な方法もない。
防衛の展開には、数十の研究論文の評価と選択と、トレーニングパイプラインの再設計が必要である。
本稿では,機械学習エンジニアに,トレーニングパイプラインのバックドア抵抗を監査する実用的なツールを提供し,異なるトレーニング構成を比較し,正確性とセキュリティを最良にバランスさせるツールの選択を支援することを目的とする。
まず,モデルがバックドアを学習する前に破らなければならない最小のトレーニング入力数に基づく,普遍的で攻撃非依存な抵抗指標を提案する。
第2に,トレーニング構成検索にバックドア耐性を統合する多段階アプローチを設計,実装,評価する。
ML開発者はモデルの精度を最大化する設定を見つけるためにすでにハイパーパラメータ検索に依存している。
mithridatesはこの標準ツールを拡張して、トレーニングパイプラインの変更を中断することなく、正確性と耐性のバランスをとる。
Mithridatesが検出したハイパーパラメータは,複数種類のバックドア攻撃に対する耐性を3~5倍増し,精度にわずかに影響を及ぼす。
また、AutoMLとフェデレーション学習の拡張についても論じる。
関連論文リスト
- Unlearning Backdoor Threats: Enhancing Backdoor Defense in Multimodal Contrastive Learning via Local Token Unlearning [49.242828934501986]
マルチモーダルコントラスト学習は高品質な機能を構築するための強力なパラダイムとして登場した。
バックドア攻撃は 訓練中に モデルに 悪意ある行動を埋め込む
我々は,革新的なトークンベースの局所的忘れ忘れ学習システムを導入する。
論文 参考訳(メタデータ) (2024-03-24T18:33:15Z) - Backdoor Attacks and Countermeasures in Natural Language Processing Models: A Comprehensive Security Review [15.179940846141873]
サードパーティのデータやモデルを応用することは、NLPにおける言語モデリングの新しいパラダイムとなっている。
バックドア攻撃は 特定のトリガーを通して 予測された行動を示す モデルを誘導できる
セキュリティ上の課題、攻撃者の能力、目的を反映した、体系的で包括的なレビューはまだない。
論文 参考訳(メタデータ) (2023-09-12T08:48:38Z) - Avoid Adversarial Adaption in Federated Learning by Multi-Metric
Investigations [55.2480439325792]
Federated Learning(FL)は、分散機械学習モデルのトレーニング、データのプライバシの保護、通信コストの低減、多様化したデータソースによるモデルパフォーマンスの向上を支援する。
FLは、中毒攻撃、標的外のパフォーマンス劣化とターゲットのバックドア攻撃の両方でモデルの整合性を損なうような脆弱性に直面している。
我々は、複数の目的に同時に適応できる、強い適応的敵の概念を新たに定義する。
MESASは、実際のデータシナリオで有効であり、平均オーバーヘッドは24.37秒である。
論文 参考訳(メタデータ) (2023-06-06T11:44:42Z) - On the Vulnerability of Backdoor Defenses for Federated Learning [8.345632941376673]
Federated Learning(FL)は、クライアントのデータを共有することなく、グローバルモデルの共同トレーニングを可能にする、人気のある分散機械学習パラダイムである。
本稿では,現在の防衛機構が,フェデレートラーニングによるバックドアの脅威を真に中和するかどうかを考察する。
本稿では,新たなバックドア攻撃手法を提案する。
論文 参考訳(メタデータ) (2023-01-19T17:02:02Z) - Backdoor Defense via Suppressing Model Shortcuts [91.30995749139012]
本稿では,モデル構造の角度からバックドア機構を探索する。
攻撃成功率 (ASR) は, キースキップ接続の出力を減少させると著しく低下することを示した。
論文 参考訳(メタデータ) (2022-11-02T15:39:19Z) - On the Effectiveness of Adversarial Training against Backdoor Attacks [111.8963365326168]
バックドアモデルは、事前に定義されたトリガーパターンが存在する場合、常にターゲットクラスを予測する。
一般的には、敵の訓練はバックドア攻撃に対する防御であると信じられている。
本稿では,様々なバックドア攻撃に対して良好な堅牢性を提供するハイブリッド戦略を提案する。
論文 参考訳(メタデータ) (2022-02-22T02:24:46Z) - CRFL: Certifiably Robust Federated Learning against Backdoor Attacks [59.61565692464579]
本稿では,第1の汎用フレームワークであるCertifiably Robust Federated Learning (CRFL) を用いて,バックドアに対する堅牢なFLモデルをトレーニングする。
提案手法は, モデルパラメータのクリッピングと平滑化を利用して大域的モデル平滑化を制御する。
論文 参考訳(メタデータ) (2021-06-15T16:50:54Z) - Backdoor Learning Curves: Explaining Backdoor Poisoning Beyond Influence
Functions [26.143147923356626]
インクリメンタルラーニングとインフルエンス関数のレンズによるバックドアラーニングのプロセスについて検討した。
バックドア攻撃の成功は、(i)学習アルゴリズムの複雑さと(ii)トレーニングセットに注入されたバックドアサンプルの割合に本質的に依存していることが示される。
論文 参考訳(メタデータ) (2021-06-14T08:00:48Z) - Black-box Detection of Backdoor Attacks with Limited Information and
Data [56.0735480850555]
モデルへのクエリアクセスのみを用いてバックドア攻撃を同定するブラックボックスバックドア検出(B3D)手法を提案する。
バックドア検出に加えて,同定されたバックドアモデルを用いた信頼性の高い予測手法を提案する。
論文 参考訳(メタデータ) (2021-03-24T12:06:40Z) - Blind Backdoors in Deep Learning Models [22.844973592524966]
本稿では,機械学習モデルにバックドアを注入する新しい手法について検討する。
従来の文献よりも厳格に強力なバックドアの新たなクラスを実証するために使用しています。
攻撃者はトレーニングデータを変更したり、コードの実行を観察したり、結果のモデルにアクセスしたりすることができません。
論文 参考訳(メタデータ) (2020-05-08T02:15:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。