論文の概要: The Devil is in the GAN: Defending Deep Generative Models Against Backdoor Attacks

• arxiv url: http://arxiv.org/abs/2108.01644v1
• Date: Tue, 3 Aug 2021 17:33:38 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-04 15:21:36.226460
• Title: The Devil is in the GAN: Defending Deep Generative Models Against Backdoor Attacks
• Title（参考訳）: the devil is in the gan: defending deep generative models against backdoor attack (英語)
• Authors: Ambrish Rawat, Killian Levacher, Mathieu Sinn
• Abstract要約: 劣化したDeep Generative Models(DGM)による新たなトレーニングタイムアタックについて述べる。 我々の攻撃は、攻撃の盗難と忠実性という2つの目的を組み合わせた敵の損失関数に基づいている。 我々の実験は、大規模産業レベルのDGMであっても、我々の攻撃は控えめな計算努力で実施できることを示している。
• 参考スコア（独自算出の注目度）: 4.369506407912208
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep Generative Models (DGMs) allow users to synthesize data from complex, high-dimensional manifolds. Industry applications of DGMs include data augmentation to boost performance of (semi-)supervised machine learning, or to mitigate fairness or privacy concerns. Large-scale DGMs are notoriously hard to train, requiring expert skills, large amounts of data and extensive computational resources. Thus, it can be expected that many enterprises will resort to sourcing pre-trained DGMs from potentially unverified third parties, e.g.~open source model repositories. As we show in this paper, such a deployment scenario poses a new attack surface, which allows adversaries to potentially undermine the integrity of entire machine learning development pipelines in a victim organization. Specifically, we describe novel training-time attacks resulting in corrupted DGMs that synthesize regular data under normal operations and designated target outputs for inputs sampled from a trigger distribution. Depending on the control that the adversary has over the random number generation, this imposes various degrees of risk that harmful data may enter the machine learning development pipelines, potentially causing material or reputational damage to the victim organization. Our attacks are based on adversarial loss functions that combine the dual objectives of attack stealth and fidelity. We show its effectiveness for a variety of DGM architectures (Generative Adversarial Networks (GANs), Variational Autoencoders (VAEs)) and data domains (images, audio). Our experiments show that - even for large-scale industry-grade DGMs - our attack can be mounted with only modest computational efforts. We also investigate the effectiveness of different defensive approaches (based on static/dynamic model and output inspections) and prescribe a practical defense strategy that paves the way for safe usage of DGMs.
• Abstract（参考訳）: Deep Generative Models (DGM) は、複雑な高次元多様体からデータを合成することができる。 dgmsの業界応用には、(半)教師付き機械学習のパフォーマンス向上や公平さやプライバシーの懸念を軽減するためのデータ拡張が含まれている。 大規模なdgmは訓練が難しいことで悪名高く、専門的なスキル、大量のデータ、膨大な計算リソースを必要とする。 したがって、多くの企業が、未検証のサードパーティ(例えばオープンソースモデルリポジトリ)から事前訓練済みのDGMをソーシングすることに頼ることが期待できる。 本稿で示すように、そのようなデプロイメントシナリオは新たな攻撃面を生じさせ、敵が犠牲者組織内の機械学習開発パイプライン全体の完全性を損なう可能性がある。 具体的には,正規操作下で正規データを合成する破壊型dgmと,トリガー分布からサンプリングされた入力に対して指定された目標出力を生成する新たなトレーニング時間攻撃について述べる。 敵が乱数生成を克服する制御によって、有害なデータが機械学習開発パイプラインに入る様々なリスクを課し、被害者組織に物質的または評判的なダメージを与える可能性がある。 我々の攻撃は、攻撃ステルスと忠実性の二重目的を組み合わせた敵の損失関数に基づいている。 本稿では,GAN(Generative Adversarial Networks)やVAE(VAE),データドメイン(イメージ,オーディオ)など,さまざまなDGMアーキテクチャの有効性を示す。 我々の実験は、大規模産業レベルのDGMであっても、我々の攻撃は控えめな計算努力で実施できることを示している。 また,異なる防衛手法(静的・動的モデルと出力検査に基づく)の有効性について検討し,DGMの安全な使用方法を示す実用的な防衛戦略を定めている。

関連論文リスト

• Long-Tailed Backdoor Attack Using Dynamic Data Augmentation Operations [50.1394620328318]
  既存のバックドア攻撃は主にバランスの取れたデータセットに焦点を当てている。 動的データ拡張操作(D$2$AO)という効果的なバックドア攻撃を提案する。 本手法は,クリーンな精度を維持しつつ,最先端の攻撃性能を実現することができる。
  論文  参考訳（メタデータ） (2024-10-16T18:44:22Z)
• How Realistic Is Your Synthetic Data? Constraining Deep Generative Models for Tabular Data [57.97035325253996]
  本稿では,制約付き深部生成モデル(C-DGM)をリアルな合成データモデルに変換する方法について述べる。 C-DGMは、制約によって表現される背景知識を活用して、標準知識より優れている。
  論文  参考訳（メタデータ） (2024-02-07T13:22:05Z)
• Seeing Is Not Always Believing: Invisible Collision Attack and Defence on Pre-Trained Models [7.7318705389136655]
  既存のバックドア攻撃やデータ中毒は、攻撃者が被害者のコンピュータに侵入したり、ターゲットデータにアクセスしたりするという仮定を立証することが多い。 本稿では,MD5衝突を増強したPTMに対する目に見えない攻撃のための新しい枠組みを提案する。 提案する攻撃法と防御法の有効性を,異なるモデルとデータセット上で広範囲に検証する。
  論文  参考訳（メタデータ） (2023-09-24T08:34:35Z)
• Can Adversarial Examples Be Parsed to Reveal Victim Model Information? [62.814751479749695]
  本研究では,データ固有の敵インスタンスから,データに依存しない被害者モデル(VM)情報を推測できるかどうかを問う。 我々は,135件の被害者モデルから生成された7種類の攻撃に対して,敵攻撃のデータセットを収集する。 単純な教師付きモデル解析ネットワーク(MPN)は、見えない敵攻撃からVM属性を推測できることを示す。
  論文  参考訳（メタデータ） (2023-03-13T21:21:49Z)
• DODEM: DOuble DEfense Mechanism Against Adversarial Attacks Towards Secure Industrial Internet of Things Analytics [8.697883716452385]
  I-IoT環境における敵攻撃の検出と軽減のための二重防御機構を提案する。 まず、新規性検出アルゴリズムを用いて、サンプルに対して逆攻撃があるかどうかを検知する。 攻撃があった場合、敵の再訓練はより堅牢なモデルを提供する一方、通常のサンプルに対して標準的な訓練を適用する。
  論文  参考訳（メタデータ） (2023-01-23T22:10:40Z)
• RelaxLoss: Defending Membership Inference Attacks without Losing Utility [68.48117818874155]
  より達成可能な学習目標を持つ緩和された損失に基づく新しい学習フレームワークを提案する。 RelaxLossは、簡単な実装と無視可能なオーバーヘッドのメリットを加えた任意の分類モデルに適用できる。 当社のアプローチはMIAに対するレジリエンスの観点から,常に最先端の防御機構より優れています。
  論文  参考訳（メタデータ） (2022-07-12T19:34:47Z)
• Fabricated Flips: Poisoning Federated Learning without Data [9.060263645085564]
  フェデレートラーニング(FL)に対する攻撃は、生成されたモデルの品質を大幅に低下させる。 本稿では、悪意のあるデータを合成し、敵対的モデルを構築するデータフリーな未標的攻撃(DFA)を提案する。 DFAは、最先端の未標的攻撃と同じような、あるいはそれ以上の攻撃成功率を達成する。
  論文  参考訳（メタデータ） (2022-02-07T20:38:28Z)
• The Feasibility and Inevitability of Stealth Attacks [63.14766152741211]
  我々は、攻撃者が汎用人工知能システムにおける決定を制御できる新しい敵の摂動について研究する。 敵対的なデータ修正とは対照的に、ここで考慮する攻撃メカニズムには、AIシステム自体の変更が含まれる。
  論文  参考訳（メタデータ） (2021-06-26T10:50:07Z)
• An Introduction to Deep Generative Modeling [8.909115457491522]
  深層生成モデル(dgm)は、複雑な高次元確率分布を近似するために多くの隠れ層を訓練したニューラルネットワークである。 DGMの紹介と3つの最もポピュラーなアプローチをモデリングするためのフレームワークを提供します。 私たちの目標は、読者がこの急成長する研究領域に貢献できるようにすることです。
  論文  参考訳（メタデータ） (2021-03-09T02:19:06Z)
• Knowledge-Enriched Distributional Model Inversion Attacks [49.43828150561947]
  モデルインバージョン(MI)攻撃は、モデルパラメータからトレーニングデータを再構成することを目的としている。 本稿では,パブリックデータからプライベートモデルに対する攻撃を行うのに役立つ知識を抽出する,新しい反転型GANを提案する。 実験の結果,これらの手法を組み合わせることで,最先端MI攻撃の成功率を150%向上させることができることがわかった。
  論文  参考訳（メタデータ） (2020-10-08T16:20:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。