論文の概要: On Provable Backdoor Defense in Collaborative Learning
- arxiv url: http://arxiv.org/abs/2101.08177v1
- Date: Tue, 19 Jan 2021 14:39:32 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-23 02:01:11.818241
- Title: On Provable Backdoor Defense in Collaborative Learning
- Title(参考訳): 協調学習における証明可能なバックドアディフェンスについて
- Authors: Ximing Qiao, Yuhua Bai, Siping Hu, Ang Li, Yiran Chen, Hai Li
- Abstract要約: 悪意のあるユーザは、モデルの収束を防ぐためにデータをアップロードしたり、隠れたバックドアを注入したりできる。
標準的なテストデータではモデルが正常に動作するため、バックドア攻撃は特に検出が難しいが、特定のバックドアキーによってトリガーされた場合、間違ったアウトプットが与えられる。
既存のサブセット集約メソッドを一般化する新しいフレームワークを提案する。
- 参考スコア(独自算出の注目度): 35.22450536986004
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As collaborative learning allows joint training of a model using multiple
sources of data, the security problem has been a central concern. Malicious
users can upload poisoned data to prevent the model's convergence or inject
hidden backdoors. The so-called backdoor attacks are especially difficult to
detect since the model behaves normally on standard test data but gives wrong
outputs when triggered by certain backdoor keys. Although Byzantine-tolerant
training algorithms provide convergence guarantee, provable defense against
backdoor attacks remains largely unsolved. Methods based on randomized
smoothing can only correct a small number of corrupted pixels or labels;
methods based on subset aggregation cause a severe drop in classification
accuracy due to low data utilization. We propose a novel framework that
generalizes existing subset aggregation methods. The framework shows that the
subset selection process, a deciding factor for subset aggregation methods, can
be viewed as a code design problem. We derive the theoretical bound of data
utilization ratio and provide optimal code construction. Experiments on non-IID
versions of MNIST and CIFAR-10 show that our method with optimal codes
significantly outperforms baselines using non-overlapping partition and random
selection. Additionally, integration with existing coding theory results shows
that special codes can track the location of the attackers. Such capability
provides new countermeasures to backdoor attacks.
- Abstract(参考訳): 協調学習は、複数のデータソースを使用したモデルの共同トレーニングを可能にするため、セキュリティ問題は中心的な関心事となっている。
悪意のあるユーザは、有害なデータをアップロードすることで、モデルの収束を防ぎ、隠れたバックドアを注入することができる。
いわゆるバックドア攻撃は、モデルが標準テストデータで正常に振る舞うが、特定のバックドアキーによってトリガーされた場合に間違った出力を与えるため、特に検出が難しい。
ビザンチン耐性訓練アルゴリズムは収束保証を提供するが、バックドア攻撃に対する証明可能な防御は未解決のままである。
ランダムな平滑化に基づく手法は、少数の破損したピクセルやラベルを補正するしかなく、サブセットアグリゲーションに基づく手法は、低データ利用による分類精度の低下を引き起こす。
既存のサブセット集約メソッドを一般化する新しいフレームワークを提案する。
このフレームワークは、サブセットアグリゲーションメソッドの決定因子であるサブセット選択プロセスが、コード設計の問題と見なせることを示している。
データ利用率の理論的境界を導出し、最適なコード構成を提供する。
MNIST と CIFAR-10 の非IID バージョンに対する実験により、最適符号を用いた手法は、重複しない分割とランダム選択を用いてベースラインを著しく上回ることを示した。
さらに、既存のコーディング理論と統合することで、特別なコードが攻撃者の位置を追跡できることが示される。
このような能力はバックドア攻撃に対する新しい対策を提供する。
関連論文リスト
- Model Pairing Using Embedding Translation for Backdoor Attack Detection
on Open-Set Classification Tasks [51.78558228584093]
バックドア検出のためのオープンセット分類タスクにモデルペアを用いることを提案する。
両モデルがバックドアされている場合でも,バックドアが検出可能であることを示す。
論文 参考訳(メタデータ) (2024-02-28T21:29:16Z) - Mitigating Data Injection Attacks on Federated Learning [20.24380409762923]
フェデレートラーニング(Federated Learning)は、複数のエンティティがデータを使ってモデルを協調的にトレーニングすることを可能にするテクニックである。
その利点にもかかわらず、フェデレートされた学習は偽のデータ注入攻撃の影響を受けやすい。
本稿では,フェデレート学習システムにおけるデータインジェクション攻撃の検出と緩和を行う新しい手法を提案する。
論文 参考訳(メタデータ) (2023-12-04T18:26:31Z) - A Linearly Convergent GAN Inversion-based Algorithm for Reverse
Engineering of Deceptions [1.2891210250935146]
本稿では, クリーンデータがGANの範囲内にあると仮定する, 偽装のリバースエンジニアリングのための新しい枠組みを提案する。
論文の中で初めて、この問題に対して決定論的線形収束を保証する。
論文 参考訳(メタデータ) (2023-06-07T20:08:27Z) - Mitigating Backdoor Poisoning Attacks through the Lens of Spurious
Correlation [43.75579468533781]
バックドアは、特定のトリガーとターゲットラベルでトレーニングインスタンスを作成できる。
本論文は, バックドア毒殺事件は, 単純なテキスト特徴と分類ラベルとの間には明白な相関関係があることを示唆する。
実験により、悪意のあるトリガーはターゲットラベルと高い相関関係があることが判明した。
論文 参考訳(メタデータ) (2023-05-19T11:18:20Z) - Backdoor Learning on Sequence to Sequence Models [94.23904400441957]
本稿では,シークエンス・ツー・シークエンス(seq2seq)モデルがバックドア攻撃に対して脆弱かどうかを検討する。
具体的には、データセットの0.2%のサンプルを注入するだけで、Seq2seqモデルに指定されたキーワードと文全体を生成することができる。
機械翻訳とテキスト要約に関する大規模な実験を行い、提案手法が複数のデータセットやモデルに対して90%以上の攻撃成功率を達成することを示した。
論文 参考訳(メタデータ) (2023-05-03T20:31:13Z) - CleanCLIP: Mitigating Data Poisoning Attacks in Multimodal Contrastive
Learning [63.72975421109622]
CleanCLIPは、バックドア攻撃によって引き起こされる学習された刺激的関連を弱める微調整フレームワークである。
CleanCLIPは、マルチモーダル・コントラッシブ・ラーニングに対するバックドア・アタックを根絶しながら、良質な例によるモデル性能を維持している。
論文 参考訳(メタデータ) (2023-03-06T17:48:32Z) - FedCC: Robust Federated Learning against Model Poisoning Attacks [0.0]
フェデレートラーニング(Federated Learning)は、プライバシー侵害に対する懸念の高まりに対処している。
ローカルデータセットに対するサーバーの盲目は、毒殺攻撃をモデル化する脆弱性を導入している。
FedCCは、Centered Kernel Alignment of Penultimate Layers Representationsを比較することで、堅牢なアグリゲーションを提供する。
論文 参考訳(メタデータ) (2022-12-05T01:52:32Z) - BEAS: Blockchain Enabled Asynchronous & Secure Federated Machine
Learning [0.0]
我々は、N-party Federated Learningのための最初のブロックチェーンベースのフレームワークBEASを紹介する。
グラデーションプルーニングを使用したトレーニングデータの厳格なプライバシー保証を提供する。
異常検出プロトコルは、データ汚染攻撃のリスクを最小限に抑えるために使用される。
また、異種学習環境における早期収束を防止するための新しいプロトコルも定義する。
論文 参考訳(メタデータ) (2022-02-06T17:11:14Z) - Backdoor Attacks on Federated Learning with Lottery Ticket Hypothesis [49.38856542573576]
フェデレート学習におけるエッジデバイスは通常、データセンターのサーバに比べて計算と通信のリソースがはるかに限られている。
本研究は,ロタリー・ティケットモデルが元の密集モデルと同様にバックドア攻撃に対して等しく脆弱であることを実証的に実証する。
論文 参考訳(メタデータ) (2021-09-22T04:19:59Z) - Byzantine-Robust Learning on Heterogeneous Datasets via Bucketing [55.012801269326594]
ビザンチンの堅牢な分散学習では、中央サーバは、複数のワーカーに分散したデータよりも、機械学習モデルを訓練したい。
これらの労働者のごく一部は、所定のアルゴリズムから逸脱し、任意のメッセージを送ることができる。
本稿では,既存のロバストなアルゴリズムを無視可能な計算コストでヘテロジニアスなデータセットに適応させる,シンプルなバケット方式を提案する。
論文 参考訳(メタデータ) (2020-06-16T17:58:53Z) - Scalable Backdoor Detection in Neural Networks [61.39635364047679]
ディープラーニングモデルは、トロイの木馬攻撃に対して脆弱で、攻撃者はトレーニング中にバックドアをインストールして、結果のモデルが小さなトリガーパッチで汚染されたサンプルを誤識別させる。
本稿では,ラベル数と計算複雑性が一致しない新たなトリガリバースエンジニアリング手法を提案する。
実験では,提案手法が純モデルからトロイの木馬モデルを分離する際の完全なスコアを達成できることが観察された。
論文 参考訳(メタデータ) (2020-06-10T04:12:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。