論文の概要: Enhancing Accuracy-Privacy Trade-off in Differentially Private Split Learning

• arxiv url: http://arxiv.org/abs/2310.14434v2
• Date: Sun, 21 Jul 2024 11:57:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-24 05:26:51.577917
• Title: Enhancing Accuracy-Privacy Trade-off in Differentially Private Split Learning
• Title（参考訳）: ディファレンシャル・プライベート・スプリット・ラーニングにおける精度と生産性のトレードオフの促進
• Authors: Ngoc Duy Pham, Khoa Tran Phan, Naveen Chilamkurti,
• Abstract要約: Split Learning(SL)は、クライアントサーバ間で詳細なモデルを分散し、プライベートデータをローカルに保持することで、ユーザのデータプライバシを保護することを目的としている。 最近提案されたモデル反転攻撃は、スマッシュされたデータから元のデータを復元することができる。 ディファレンシャルプライバシ(DP)を採用する戦略では、スマッシュされたデータをある程度の精度の損失を犠牲にして保護する。
• 参考スコア（独自算出の注目度）: 2.2676798389997863
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Split learning (SL) aims to protect user data privacy by distributing deep models between client-server and keeping private data locally. Only processed or `smashed' data can be transmitted from the clients to the server during the SL process. However, recently proposed model inversion attacks can recover the original data from the smashed data. In order to enhance privacy protection against such attacks, a strategy is to adopt differential privacy (DP), which involves safeguarding the smashed data at the expense of some accuracy loss. This paper presents the first investigation into the impact on accuracy when training multiple clients in SL with various privacy requirements. Subsequently, we propose an approach that reviews the DP noise distributions of other clients during client training to address the identified accuracy degradation. We also examine the application of DP to the local model of SL to gain insights into the trade-off between accuracy and privacy. Specifically, findings reveal that introducing noise in the later local layers offers the most favorable balance between accuracy and privacy. Drawing from our insights in the shallower layers, we propose an approach to reduce the size of smashed data to minimize data leakage while maintaining higher accuracy, optimizing the accuracy-privacy trade-off. Additionally, a smaller size of smashed data reduces communication overhead on the client side, mitigating one of the notable drawbacks of SL. Experiments with popular datasets demonstrate that our proposed approaches provide an optimal trade-off for incorporating DP into SL, ultimately enhancing training accuracy for multi-client SL with varying privacy requirements.
• Abstract（参考訳）: Split Learning(SL)は、クライアントサーバ間で詳細なモデルを分散し、プライベートデータをローカルに保持することで、ユーザのデータプライバシを保護することを目的としている。 SLプロセス中にクライアントからサーバに送信できるのは、処理されたデータまたは‘スマッシュ’データのみである。 しかし、最近提案されたモデル反転攻撃は、スマッシュされたデータから元のデータを復元することができる。 このような攻撃に対するプライバシー保護を強化するために、ある精度の損失を犠牲にして、スマッシュされたデータを保護することを含む差分プライバシー(DP)を採用する戦略がある。 本稿では、SLにおける複数のクライアントをさまざまなプライバシー要件でトレーニングする際の精度への影響について、初めて検討する。 そこで本研究では,クライアントトレーニング中のDPノイズ分布を検証し,精度の劣化に対処する手法を提案する。 また, SLの局所モデルに対するDPの適用について検討し, 精度とプライバシのトレードオフについて考察する。 具体的には、後続のローカルレイヤにノイズを導入することで、精度とプライバシのバランスが最も良好であることが判明した。 より浅い層における洞察から、より高精度を維持しながらデータの漏洩を最小限に抑え、精度とプライバシのトレードオフを最適化する手法を提案する。 さらに、スマッシュデータのサイズが小さくなれば、クライアント側の通信オーバーヘッドが減少し、SLの顕著な欠点の1つが軽減される。 一般的なデータセットを用いた実験により,提案手法はDPをSLに組み込むための最適なトレードオフを提供することを示した。

関連論文リスト

• Pseudo-Probability Unlearning: Towards Efficient and Privacy-Preserving Machine Unlearning [59.29849532966454]
  本稿では,PseudoProbability Unlearning (PPU)を提案する。 提案手法は,最先端の手法に比べて20%以上の誤りを忘れる改善を実現している。
  論文  参考訳（メタデータ） (2024-11-04T21:27:06Z)
• Privacy-Preserving Split Learning with Vision Transformers using Patch-Wise Random and Noisy CutMix [38.370923655357366]
  コンピュータビジョンでは、視覚変換器(ViT)が、精度と堅牢性を改善するために畳み込みニューラルネットワーク(CNN)に取って代わりつつある。 分散学習(SL)は、サーバ側のリソースを活用してViTをトレーニングし、分散デバイスからのプライベートデータを活用する、実行可能なソリューションとして登場した。 本稿では,DP-CutMixSLと呼ばれる,スマッシュデータにガウスノイズを注入し,クライアント間でランダムに選択したスマッシュデータのパッチを混合する,新たなプライバシ保護型SLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-02T06:24:39Z)
• Love or Hate? Share or Split? Privacy-Preserving Training Using Split Learning and Homomorphic Encryption [47.86010265348072]
  Split Learning(SL)は、参加者がクライアントが生データを共有せずに機械学習モデルをトレーニングすることを可能にする、新たなコラボレーティブな学習テクニックである。 以前の研究は、アクティベーションマップの再構築がクライアントデータのプライバシー漏洩につながることを示した。 本稿では,U字型SLをベースとしたプロトコルを構築し,同義的に暗号化されたデータを操作することにより,従来の作業を改善する。
  論文  参考訳（メタデータ） (2023-09-19T10:56:08Z)
• A More Secure Split: Enhancing the Security of Privacy-Preserving Split Learning [2.853180143237022]
  Split Learning(SL)は、参加者がクライアントが生データを共有せずに機械学習モデルをトレーニングすることを可能にする、新たなコラボレーティブな学習テクニックである。 以前の研究は、アクティベーションマップ(AM)の再構築がクライアントデータのプライバシー漏洩をもたらすことを示した。 本稿では,U字型SLをベースとしたプロトコルを構築し,同義的に暗号化されたデータを操作することにより,従来の作業を改善する。
  論文  参考訳（メタデータ） (2023-09-15T18:39:30Z)
• Split Without a Leak: Reducing Privacy Leakage in Split Learning [3.2066885499201176]
  スプリットラーニング(SL)とホモモルフィック暗号化(HE)を用いたハイブリッド手法を提案する。 MIT-BIH データセットでは,SL と HE を用いたハイブリッド手法により,訓練時間(約6倍)が短縮され,通信オーバーヘッド(ほぼ160倍)が他の HE ベースの手法に比べて大幅に低減される。
  論文  参考訳（メタデータ） (2023-08-30T06:28:42Z)
• Split Ways: Privacy-Preserving Training of Encrypted Data Using Split Learning [6.916134299626706]
  Split Learning(SL)は、参加者がクライアントが生データを共有せずに機械学習モデルをトレーニングできる、新たなコラボレーティブ学習技術である。 以前の研究は、アクティベーションマップの再構築がクライアントデータのプライバシー漏洩につながることを示した。 本稿では,U字型SLをベースとしたプロトコルを構築し,同義的に暗号化されたデータを操作することにより,従来の作業を改善する。
  論文  参考訳（メタデータ） (2023-01-20T19:26:51Z)
• Split Learning without Local Weight Sharing to Enhance Client-side Data Privacy [11.092451849022268]
  Split Learning(SL)は、クライアントサーバ間で詳細なモデルを分散し、プライベートデータをローカルに保持することで、ユーザのデータプライバシを保護することを目的としている。 本稿ではまず,SL内のクライアント間の局所的な重み共有から,モデルインバージョン攻撃によるデータプライバシリークが悪化することを明らかにする。 データプライバシーの漏洩問題を解決するために,プライバシ強化型SL(P-SL,ローカルウェイト共有なしSL)を提案し,解析する。
  論文  参考訳（メタデータ） (2022-12-01T03:35:14Z)
• Over-the-Air Federated Learning with Privacy Protection via Correlated Additive Perturbations [57.20885629270732]
  我々は、複数のユーザ/エージェントからエッジサーバへの勾配更新をOtA(Over-the-Air)で送信することで、無線フェデレーション学習のプライバシー面を考察する。 従来の摂動に基づく手法は、トレーニングの精度を犠牲にしてプライバシー保護を提供する。 本研究では,エッジサーバにおけるプライバシリークの最小化とモデル精度の低下を目標とする。
  論文  参考訳（メタデータ） (2022-10-05T13:13:35Z)
• Individual Privacy Accounting for Differentially Private Stochastic Gradient Descent [69.14164921515949]
  DP-SGDで訓練されたモデルをリリースする際の個々の事例に対するプライバシー保証を特徴付ける。 ほとんどの例では、最悪のケースよりも強力なプライバシー保証を享受しています。 これは、モデルユーティリティの観点からは守られないグループが同時に、より弱いプライバシー保証を経験することを意味する。
  論文  参考訳（メタデータ） (2022-06-06T13:49:37Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
  フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。 敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。 差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
  論文  参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。