Fugu-MT 論文翻訳(概要): Defending Membership Inference Attacks via Privacy-aware Sparsity Tuning

論文の概要: Defending Membership Inference Attacks via Privacy-aware Sparsity Tuning

arxiv url: http://arxiv.org/abs/2410.06814v1
Date: Wed, 9 Oct 2024 12:13:49 GMT
ステータス: 処理完了
システム内更新日: 2024-11-01 03:30:47.214283
Title: Defending Membership Inference Attacks via Privacy-aware Sparsity Tuning
Title（参考訳）: プライバシを意識したスパシティチューニングによるメンバシップ推論攻撃の回避
Authors: Qiang Hu, Hengxiang Zhang, Hongxin Wei,
Abstract要約: 本稿では,異なるパラメータに対する適応的なペナルティを用いることで,L1正規化の簡単な修正を提案する。 PASTの背後にある重要な考え方は、プライバシーの漏洩に大きく貢献するパラメータの分散を促進することです。 PASTを使用すると、ネットワークはメンバーと非メンバーの間の損失ギャップを縮小し、プライバシー攻撃に対する強い抵抗をもたらす。
参考スコア（独自算出の注目度）: 9.39508697970812
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Over-parameterized models are typically vulnerable to membership inference attacks, which aim to determine whether a specific sample is included in the training of a given model. Previous Weight regularizations (e.g., L1 regularization) typically impose uniform penalties on all parameters, leading to a suboptimal tradeoff between model utility and privacy. In this work, we first show that only a small fraction of parameters substantially impact the privacy risk. In light of this, we propose Privacy-aware Sparsity Tuning (PAST), a simple fix to the L1 Regularization, by employing adaptive penalties to different parameters. Our key idea behind PAST is to promote sparsity in parameters that significantly contribute to privacy leakage. In particular, we construct the adaptive weight for each parameter based on its privacy sensitivity, i.e., the gradient of the loss gap with respect to the parameter. Using PAST, the network shrinks the loss gap between members and non-members, leading to strong resistance to privacy attacks. Extensive experiments demonstrate the superiority of PAST, achieving a state-of-the-art balance in the privacy-utility trade-off.
Abstract（参考訳）: オーバーパラメータ化モデルは通常、特定のサンプルが与えられたモデルのトレーニングに含まれているかどうかを判断することを目的として、メンバシップ推論攻撃に対して脆弱である。以前の重み正規化(例:L1正規化)は、通常、すべてのパラメータに均一な罰則を課し、モデルユーティリティとプライバシの間の準最適トレードオフをもたらす。この研究で最初に示されたのは、少数のパラメータしかプライバシのリスクに大きく影響しないことである。そこで本研究では,L1正則化の簡単な修正であるプライバシを意識したスパシティチューニング(PAST)を提案する。 PASTの背後にある重要な考え方は、プライバシーの漏洩に大きく貢献するパラメータの分散を促進することです。特に,各パラメータに対する適応重みを,そのプライバシー感度,すなわち損失ギャップのパラメータに対する勾配に基づいて構成する。 PASTを使用すると、ネットワークはメンバーと非メンバーの間の損失ギャップを縮小し、プライバシー攻撃に対する強い抵抗をもたらす。大規模な実験は、プライバシとユーティリティのトレードオフにおける最先端のバランスを達成することによって、PASTの優位性を実証している。

関連論文リスト

Efficient and Private: Memorisation under differentially private parameter-efficient fine-tuning in language models [2.3281513013731145]
特定のタスクのための微調整された大型言語モデル(LLM)は、不注意に記憶し、センシティブなトレーニングデータを漏洩する可能性があるため、プライバシのリスクをもたらす。差分プライバシー(DP)は、これらのリスクを軽減するソリューションを提供するが、重大な計算とパフォーマンスのトレードオフをもたらす。 PEFT法は,パラメータを少なくし,プライバシリークを著しく低減しつつ,標準的な微調整に匹敵する性能を実現する。
論文参考訳（メタデータ） (2024-11-24T13:17:36Z)
Pseudo-Probability Unlearning: Towards Efficient and Privacy-Preserving Machine Unlearning [59.29849532966454]
本稿では,PseudoProbability Unlearning (PPU)を提案する。提案手法は,最先端の手法に比べて20%以上の誤りを忘れる改善を実現している。
論文参考訳（メタデータ） (2024-11-04T21:27:06Z)
Enhancing Feature-Specific Data Protection via Bayesian Coordinate Differential Privacy [55.357715095623554]
ローカル微分プライバシー(LDP)は、ユーザーが外部の関係者を信頼することなく、強力なプライバシー保証を提供する。本稿では,ベイジアン・フレームワークであるベイジアン・コーディネート・ディファレンシャル・プライバシ(BCDP)を提案する。
論文参考訳（メタデータ） (2024-10-24T03:39:55Z)
Fine-Tuning Language Models with Differential Privacy through Adaptive Noise Allocation [33.795122935686706]
本稿では,モデルパラメータの重要性に基づいて適応的に付加雑音を割り当てる新しいアルゴリズムANADPを提案する。 ANADPは,一連のデータセットにおいて,通常の微調整と従来のDP微調整のパフォーマンスギャップを狭めることを実証する。
論文参考訳（メタデータ） (2024-10-03T19:02:50Z)
Unified Mechanism-Specific Amplification by Subsampling and Group Privacy Amplification [54.1447806347273]
サブサンプリングによる増幅は、差分プライバシーを持つ機械学習の主要なプリミティブの1つである。本稿では、メカニズム固有の保証を導出するための最初の一般的なフレームワークを提案する。サブサンプリングが複数のユーザのプライバシに与える影響を分析する。
論文参考訳（メタデータ） (2024-03-07T19:36:05Z)
Theoretically Principled Federated Learning for Balancing Privacy and Utility [61.03993520243198]
モデルパラメータを歪ませることでプライバシを保護する保護機構の一般学習フレームワークを提案する。フェデレートされた学習における各コミュニケーションラウンドにおいて、各クライアント上の各モデルパラメータに対して、パーソナライズされたユーティリティプライバシトレードオフを実現することができる。
論文参考訳（メタデータ） (2023-05-24T13:44:02Z)
Towards Achieving Near-optimal Utility for Privacy-Preserving Federated Learning via Data Generation and Parameter Distortion [19.691227962303515]
フェデレートラーニング(FL)は、参加者がプライベートデータ情報を開示することなく、強化されたユーティリティでグローバルモデルを構築することを可能にする。テキストプライバシーの維持と高モデルテキストティタリティ維持の要件を満たすために、様々な保護メカニズムを採用する必要がある。
論文参考訳（メタデータ） (2023-05-07T14:34:15Z)
A Randomized Approach for Tight Privacy Accounting [63.67296945525791]
推定検証リリース(EVR)と呼ばれる新しい差分プライバシーパラダイムを提案する。 EVRパラダイムは、まずメカニズムのプライバシパラメータを推定し、その保証を満たすかどうかを確認し、最後にクエリ出力を解放する。我々の実証的な評価は、新たに提案されたEVRパラダイムが、プライバシ保護機械学習のユーティリティプライバシトレードオフを改善することを示している。
論文参考訳（メタデータ） (2023-04-17T00:38:01Z)
Over-the-Air Federated Learning with Privacy Protection via Correlated Additive Perturbations [57.20885629270732]
我々は、複数のユーザ/エージェントからエッジサーバへの勾配更新をOtA(Over-the-Air)で送信することで、無線フェデレーション学習のプライバシー面を考察する。従来の摂動に基づく手法は、トレーニングの精度を犠牲にしてプライバシー保護を提供する。本研究では,エッジサーバにおけるプライバシリークの最小化とモデル精度の低下を目標とする。
論文参考訳（メタデータ） (2022-10-05T13:13:35Z)
On the Statistical Complexity of Estimation and Testing under Privacy Constraints [17.04261371990489]
差分プライバシー下での統計的テストのパワーをプラグアンドプレイ方式で特徴付ける方法を示す。プライバシ保護のレベルが非常に高い場合にのみ、プライバシの維持が顕著なパフォーマンス低下をもたらすことを示す。最後に,プライベート凸解法であるDP-SGLDアルゴリズムを高信頼度で最大推定できることを示した。
論文参考訳（メタデータ） (2022-10-05T12:55:53Z)
A Blessing of Dimensionality in Membership Inference through Regularization [29.08230123469755]
モデルのパラメータ数がいかにプライバシーとユーティリティのトレードオフを引き起こすかを示す。次に、適切な一般化正規化と組み合わせることで、モデルのパラメータの数を増やすことで、そのプライバシと性能の両方を実際に増加させることができることを示す。
論文参考訳（メタデータ） (2022-05-27T15:44:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。