論文の概要: One-shot Empirical Privacy Estimation for Federated Learning

• arxiv url: http://arxiv.org/abs/2302.03098v5
• Date: Thu, 18 Apr 2024 17:14:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-19 14:48:42.423839
• Title: One-shot Empirical Privacy Estimation for Federated Learning
• Title（参考訳）: フェデレーション学習のための1ショット経験的プライバシ推定
• Authors: Galen Andrew, Peter Kairouz, Sewoong Oh, Alina Oprea, H. Brendan McMahan, Vinith M. Suriyakumar,
• Abstract要約: ワンショット」アプローチは、モデルパラメータに適合する単一トレーニング実行において、モデルのプライバシ損失の効率的な監査や推定を可能にする。 提案手法は,ガウス機構下でのプライバシー損失を正当に推定できることを示す。
• 参考スコア（独自算出の注目度）: 43.317478030880956
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Privacy estimation techniques for differentially private (DP) algorithms are useful for comparing against analytical bounds, or to empirically measure privacy loss in settings where known analytical bounds are not tight. However, existing privacy auditing techniques usually make strong assumptions on the adversary (e.g., knowledge of intermediate model iterates or the training data distribution), are tailored to specific tasks, model architectures, or DP algorithm, and/or require retraining the model many times (typically on the order of thousands). These shortcomings make deploying such techniques at scale difficult in practice, especially in federated settings where model training can take days or weeks. In this work, we present a novel "one-shot" approach that can systematically address these challenges, allowing efficient auditing or estimation of the privacy loss of a model during the same, single training run used to fit model parameters, and without requiring any a priori knowledge about the model architecture, task, or DP training algorithm. We show that our method provides provably correct estimates for the privacy loss under the Gaussian mechanism, and we demonstrate its performance on well-established FL benchmark datasets under several adversarial threat models.
• Abstract（参考訳）: 差分プライベート(DP)アルゴリズムのプライバシ推定手法は、解析的境界との比較や、既知の解析的境界が厳密でない環境でのプライバシー損失を実証的に測定するのに有用である。 しかしながら、既存のプライバシ監査技術は、通常、敵に対して強い仮定(例えば、中間モデルイテレートの知識やトレーニングデータ分布)を行い、特定のタスク、モデルアーキテクチャ、DPアルゴリズムに適合し、また/またはモデルを再訓練する必要がある(典型的には数千のオーダーで)。 これらの欠点は,特にモデルトレーニングに数日ないし数週間を要する,フェデレートされた環境では,そのようなテクニックを実践的に大規模に展開することが難しくなる。 本研究では,これらの課題を体系的に解決し,モデルパラメータに適合する単一トレーニング実行と,モデルアーキテクチャやタスク,DPトレーニングアルゴリズムに関する事前知識を必要とせず,モデルに対する効率的な監査やプライバシ損失の推定を可能にする,新しい"ワンショット"アプローチを提案する。 提案手法は,ガウス機構下でのプライバシ損失を正当に推定し,複数の脅威モデルの下で確立されたFLベンチマークデータセットの性能を示す。

関連論文リスト

• Too Good to be True? Turn Any Model Differentially Private With DP-Weights [0.0]
  トレーニング後のモデルの重みに差分プライバシーノイズを適用する,画期的なアプローチを導入する。 この新しいアプローチのプライバシ境界に対する包括的数学的証明を提供する。 我々は,メンバシップ推論攻撃とパフォーマンス評価を用いて,その効果を実証的に評価する。
  論文  参考訳（メタデータ） (2024-06-27T19:58:11Z)
• Fantastic Gains and Where to Find Them: On the Existence and Prospect of General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
  事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。 このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
  論文  参考訳（メタデータ） (2023-10-26T17:59:46Z)
• Re-thinking Data Availablity Attacks Against Deep Neural Networks [53.64624167867274]
  本稿では、未学習例の概念を再検討し、既存のロバストな誤り最小化ノイズが不正確な最適化目標であることを示す。 本稿では,計算時間要件の低減による保護性能の向上を図った新しい最適化パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-05-18T04:03:51Z)
• Enhancing Multiple Reliability Measures via Nuisance-extended Information Bottleneck [77.37409441129995]
  トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。 我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。 そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
  論文  参考訳（メタデータ） (2023-03-24T16:03:21Z)
• Tight Auditing of Differentially Private Machine Learning [77.38590306275877]
  プライベート機械学習では、既存の監査メカニズムは厳格である。 彼らは不確実な最悪の仮定の下でのみ厳密な見積もりを行う。 我々は、自然(逆向きではない)データセットの厳密なプライバシー推定を得られる改善された監査スキームを設計する。
  論文  参考訳（メタデータ） (2023-02-15T21:40:33Z)
• On the utility and protection of optimization with differential privacy and classic regularization techniques [9.413131350284083]
  本稿では,標準最適化手法に対するDP-SGDアルゴリズムの有効性について検討する。 我々は、差分プライバシーの欠陥と限界について議論し、ドロップアウトとl2-規則化のプライバシー保護特性がしばしば優れていることを実証した。
  論文  参考訳（メタデータ） (2022-09-07T14:10:21Z)
• Leveraging Adversarial Examples to Quantify Membership Information Leakage [30.55736840515317]
  パターン認識モデルにおけるメンバシップ推論の問題に対処する新しいアプローチを開発する。 この量はトレーニングデータに属する可能性を反映していると我々は主張する。 我々の手法は、最先端の戦略に匹敵する、あるいは上回る性能を発揮する。
  論文  参考訳（メタデータ） (2022-03-17T19:09:38Z)
• Enhanced Membership Inference Attacks against Machine Learning Models [9.26208227402571]
  メンバーシップ推論攻撃は、モデルがトレーニングセット内の個々のデータポイントについてリークする個人情報の定量化に使用される。 我々は,AUCスコアを高い精度で達成できる新たな攻撃アルゴリズムを導き,その性能に影響を及ぼすさまざまな要因を強調した。 我々のアルゴリズムは、モデルにおけるプライバシ損失の極めて正確な近似を捉え、機械学習モデルにおけるプライバシリスクの正確かつ詳細な推定を行うためのツールとして使用することができる。
  論文  参考訳（メタデータ） (2021-11-18T13:31:22Z)
• PEARL: Data Synthesis via Private Embeddings and Adversarial Reconstruction Learning [1.8692254863855962]
  本稿では, 深層生成モデルを用いたデータ・フレームワークを, 差分的にプライベートな方法で提案する。 当社のフレームワークでは、センシティブなデータは、厳格なプライバシ保証をワンショットで行うことで衛生化されています。 提案手法は理論的に性能が保証され,複数のデータセットに対する経験的評価により,提案手法が適切なプライバシーレベルで他の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2021-06-08T18:00:01Z)
• Plausible Counterfactuals: Auditing Deep Learning Classifiers with Realistic Adversarial Examples [84.8370546614042]
  ディープラーニングモデルのブラックボックスの性質は、彼らがデータから何を学ぶかについて、未回答の疑問を提起している。 GAN(Generative Adversarial Network)とマルチオブジェクトは、監査されたモデルに妥当な攻撃を与えるために使用される。 その実用性は人間の顔の分類タスクの中で示され、提案されたフレームワークの潜在的可能性を明らかにしている。
  論文  参考訳（メタデータ） (2020-03-25T11:08:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。