論文の概要: Mitigating Membership Inference Attacks by Self-Distillation Through a Novel Ensemble Architecture

• arxiv url: http://arxiv.org/abs/2110.08324v1
• Date: Fri, 15 Oct 2021 19:22:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-19 21:03:13.646339
• Title: Mitigating Membership Inference Attacks by Self-Distillation Through a Novel Ensemble Architecture
• Title（参考訳）: 新たなアンサンブルアーキテクチャによる自己蒸留による会員推測攻撃の軽減
• Authors: Xinyu Tang, Saeed Mahloujifar, Liwei Song, Virat Shejwalkar, Milad Nasr, Amir Houmansadr, Prateek Mittal
• Abstract要約: 機械学習(ML)モデルにおいて、メンバシップ推論攻撃は、プライバシリークを評価する重要な手段である。 我々は、メンバーと非メンバーの入力に類似した振る舞いを誘発するプライバシー保護モデルをトレーニングするための新しいフレームワークを提案する。 また,SELENAは会員のプライバシーと実用性とのトレードオフが,最先端技術と比較して優れていることを示す。
• 参考スコア（独自算出の注目度）: 44.2351146468898
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Membership inference attacks are a key measure to evaluate privacy leakage in machine learning (ML) models. These attacks aim to distinguish training members from non-members by exploiting differential behavior of the models on member and non-member inputs. The goal of this work is to train ML models that have high membership privacy while largely preserving their utility; we therefore aim for an empirical membership privacy guarantee as opposed to the provable privacy guarantees provided by techniques like differential privacy, as such techniques are shown to deteriorate model utility. Specifically, we propose a new framework to train privacy-preserving models that induces similar behavior on member and non-member inputs to mitigate membership inference attacks. Our framework, called SELENA, has two major components. The first component and the core of our defense is a novel ensemble architecture for training. This architecture, which we call Split-AI, splits the training data into random subsets, and trains a model on each subset of the data. We use an adaptive inference strategy at test time: our ensemble architecture aggregates the outputs of only those models that did not contain the input sample in their training data. We prove that our Split-AI architecture defends against a large family of membership inference attacks, however, it is susceptible to new adaptive attacks. Therefore, we use a second component in our framework called Self-Distillation to protect against such stronger attacks. The Self-Distillation component (self-)distills the training dataset through our Split-AI ensemble, without using any external public datasets. Through extensive experiments on major benchmark datasets we show that SELENA presents a superior trade-off between membership privacy and utility compared to the state of the art.
• Abstract（参考訳）: 機械学習(ML)モデルにおいて、メンバシップ推論攻撃はプライバシリークを評価する重要な手段である。 これらの攻撃は、トレーニングメンバーを非メンバーと区別することを目的としており、メンバーと非メンバーの入力に対するモデルの差分挙動を利用する。 本研究の目的は,高いメンバシップのプライバシを持つMLモデルをトレーニングすることであり,その目的は,モデルユーティリティを劣化させるような,差分プライバシのような技術によって提供される証明可能なプライバシ保証とは対照的に,経験的なメンバシッププライバシ保証を目指している。 具体的には、メンバーと非メンバーの入力に類似した振る舞いを誘導し、メンバーシップ推論攻撃を緩和するプライバシー保護モデルをトレーニングするための新しい枠組みを提案する。 私たちのフレームワークはSELENAと呼ばれ、2つの主要なコンポーネントを持っています。 第1のコンポーネントと防御の中核は、トレーニングのための新しいアンサンブルアーキテクチャです。 このアーキテクチャは、slit-aiと呼ばれ、トレーニングデータをランダムなサブセットに分割し、データの各サブセットでモデルをトレーニングします。 私たちのアンサンブルアーキテクチャは、トレーニングデータに入力サンプルを含まないモデルのみの出力を集約します。 当社のスプリットaiアーキテクチャが,大規模なメンバシップ推論攻撃を防御していることは証明していますが,新たな適応攻撃の影響を受けやすいのです。 それゆえ,我々は,このような強力な攻撃から身を守るために,自己蒸留という枠組みで第2のコンポーネントを使用する。 Self-Distillationコンポーネント(self-)は、外部の公開データセットを使わずに、Split-AIアンサンブルを通じてトレーニングデータセットを蒸留します。 主要なベンチマークデータセットに関する広範な実験を通じて、SELENAは、会員のプライバシとユーティリティのトレードオフが、最先端技術と比較して優れていることを示す。

関連論文リスト

• Client-specific Property Inference against Secure Aggregation in Federated Learning [52.8564467292226]
  フェデレートラーニングは、さまざまな参加者の間で共通のモデルを協調的に訓練するための、広く使われているパラダイムとなっている。 多くの攻撃は、メンバーシップ、資産、または参加者データの完全な再構築のような機密情報を推測することは依然として可能であることを示した。 単純な線形モデルでは、集約されたモデル更新からクライアント固有のプロパティを効果的にキャプチャできることが示される。
  論文  参考訳（メタデータ） (2023-03-07T14:11:01Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• RelaxLoss: Defending Membership Inference Attacks without Losing Utility [68.48117818874155]
  より達成可能な学習目標を持つ緩和された損失に基づく新しい学習フレームワークを提案する。 RelaxLossは、簡単な実装と無視可能なオーバーヘッドのメリットを加えた任意の分類モデルに適用できる。 当社のアプローチはMIAに対するレジリエンスの観点から,常に最先端の防御機構より優れています。
  論文  参考訳（メタデータ） (2022-07-12T19:34:47Z)
• Lessons Learned: Defending Against Property Inference Attacks [0.0]
  本研究は,資産推測攻撃(PIA)に対する複数の防衛戦略について検討し,評価する。 PIAは、基礎となるトレーニングデータの統計的特性、例えば、医療訓練データセットにおける男女比を明らかにすることを目的としている。 プロパティアンラーニングによる実験は、プロパティアンラーニングが一般化できないこと、すなわち、PIAのクラス全体に対する保護が示される。
  論文  参考訳（メタデータ） (2022-05-18T09:38:37Z)
• Truth Serum: Poisoning Machine Learning Models to Reveal Their Secrets [53.866927712193416]
  トレーニングデータセットを有害にすることができる敵が、このデータセットでトレーニングされたモデルに、他の当事者のプライベート詳細を漏洩させる可能性があることを示す。 私たちの攻撃は、メンバーシップ推論、属性推論、データ抽出に効果的です。 私たちの結果は、機械学習のためのマルチパーティプロトコルにおける暗号化プライバシ保証の関連性に疑問を投げかけました。
  論文  参考訳（メタデータ） (2022-03-31T18:06:28Z)
• Adversarial Representation Sharing: A Quantitative and Secure Collaborative Learning Framework [3.759936323189418]
  コミュニケーションのオーバーヘッドが低く,タスク依存度が低いため,共同学習において表現学習には独特なアドバンテージがあることがわかった。 ARSは、ユーザがモデルを訓練するためにデータの表現を共有する協調学習フレームワークである。 我々は,本機構がモデル逆攻撃に対して有効であることを実証し,プライバシとユーティリティのバランスを実現する。
  論文  参考訳（メタデータ） (2022-03-27T13:29:15Z)
• Privacy Analysis of Deep Learning in the Wild: Membership Inference Attacks against Transfer Learning [27.494206948563885]
  本稿では,転送学習モデルに対するメンバシップ推論攻撃の最初の体系的評価について述べる。 4つの実世界の画像データセットに対する実験により、メンバーシップ推論が効果的なパフォーマンスを達成できることが示されている。 我々の結果は、実際に機械学習モデルから生じるメンバーシップリスクの深刻さを浮き彫りにした。
  論文  参考訳（メタデータ） (2020-09-10T14:14:22Z)
• Sampling Attacks: Amplification of Membership Inference Attacks by Repeated Queries [74.59376038272661]
  本手法は,他の標準メンバーシップ相手と異なり,被害者モデルのスコアにアクセスできないような厳格な制限の下で動作可能な,新しいメンバーシップ推論手法であるサンプリングアタックを導入する。 ラベルのみを公開している被害者モデルでは,攻撃のサンプリングが引き続き可能であり,攻撃者はその性能の最大100%を回復できることを示す。 防衛においては,被害者モデルのトレーニング中の勾配摂動と予測時の出力摂動の形式で差分プライバシーを選択する。
  論文  参考訳（メタデータ） (2020-09-01T12:54:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。