論文の概要: Split Learning without Local Weight Sharing to Enhance Client-side Data Privacy

• arxiv url: http://arxiv.org/abs/2212.00250v3
• Date: Sun, 21 Jul 2024 11:47:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-24 06:15:59.703678
• Title: Split Learning without Local Weight Sharing to Enhance Client-side Data Privacy
• Title（参考訳）: クライアント側データプライバシを高めるローカルウェイト共有のないスプリットラーニング
• Authors: Ngoc Duy Pham, Tran Khoa Phan, Alsharif Abuadbba, Yansong Gao, Doan Nguyen, Naveen Chilamkurti,
• Abstract要約: Split Learning(SL)は、クライアントサーバ間で詳細なモデルを分散し、プライベートデータをローカルに保持することで、ユーザのデータプライバシを保護することを目的としている。 本稿ではまず,SL内のクライアント間の局所的な重み共有から,モデルインバージョン攻撃によるデータプライバシリークが悪化することを明らかにする。 データプライバシーの漏洩問題を解決するために,プライバシ強化型SL(P-SL,ローカルウェイト共有なしSL)を提案し,解析する。
• 参考スコア（独自算出の注目度）: 11.092451849022268
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Split learning (SL) aims to protect user data privacy by distributing deep models between client-server and keeping private data locally. In SL training with multiple clients, the local model weights are shared among the clients for local model update. This paper first reveals data privacy leakage exacerbated from local weight sharing among the clients in SL through model inversion attacks. Then, to reduce the data privacy leakage issue, we propose and analyze privacy-enhanced SL (P-SL) (or SL without local weight sharing). We further propose parallelized P-SL to expedite the training process by duplicating multiple server-side model instances without compromising accuracy. Finally, we explore P-SL with late participating clients and devise a server-side cache-based training method to address the forgetting phenomenon in SL when late clients join. Experimental results demonstrate that P-SL helps reduce up to 50% of client-side data leakage, which essentially achieves a better privacy-accuracy trade-off than the current trend by using differential privacy mechanisms. Moreover, P-SL and its cache-based version achieve comparable accuracy to baseline SL under various data distributions, while cost less computation and communication. Additionally, caching-based training in P-SL mitigates the negative effect of forgetting, stabilizes the learning, and enables practical and low-complexity training in a dynamic environment with late-arriving clients.
• Abstract（参考訳）: Split Learning(SL)は、クライアントサーバ間で詳細なモデルを分散し、プライベートデータをローカルに保持することで、ユーザのデータプライバシを保護することを目的としている。 複数のクライアントとのSLトレーニングでは、ローカルモデル更新のために、ローカルモデルウェイトがクライアント間で共有される。 本稿ではまず,SL内のクライアント間の局所的な重み共有から,モデルインバージョン攻撃によるデータプライバシリークが悪化することを明らかにする。 そして、データプライバシーの漏洩問題を解決するために、プライバシ強化SL(P-SL)(ローカルな重み共有のないSL)を提案し、分析する。 さらに,複数のサーバサイドモデルインスタンスを複製し,精度を損なうことなくトレーニングプロセスを高速化する並列化P-SLを提案する。 最後に、遅延クライアントとP-SLを探索し、遅延クライアントが参加する際のSLの忘れ現象に対処するため、サーバサイドキャッシュベースのトレーニング方法を考案する。 実験の結果,P-SLはクライアント側のデータ漏洩の最大50%を削減できることがわかった。 さらに、P-SLとそのキャッシュベースのバージョンは、計算と通信のコストを抑えつつ、様々なデータ分散の下でベースラインSLに匹敵する精度を達成する。 さらに、P-SLにおけるキャッシュベースのトレーニングは、忘れることの負の効果を軽減し、学習を安定させ、遅滞したクライアントを持つ動的環境における実践的かつ低複雑さなトレーニングを可能にする。

関連論文リスト

• Enhancing Accuracy-Privacy Trade-off in Differentially Private Split Learning [2.2676798389997863]
  Split Learning(SL)は、クライアントサーバ間で詳細なモデルを分散し、プライベートデータをローカルに保持することで、ユーザのデータプライバシを保護することを目的としている。 最近提案されたモデル反転攻撃は、スマッシュされたデータから元のデータを復元することができる。 ディファレンシャルプライバシ(DP)を採用する戦略では、スマッシュされたデータをある程度の精度の損失を犠牲にして保護する。
  論文  参考訳（メタデータ） (2023-10-22T22:45:13Z)
• Love or Hate? Share or Split? Privacy-Preserving Training Using Split Learning and Homomorphic Encryption [47.86010265348072]
  Split Learning(SL)は、参加者がクライアントが生データを共有せずに機械学習モデルをトレーニングすることを可能にする、新たなコラボレーティブな学習テクニックである。 以前の研究は、アクティベーションマップの再構築がクライアントデータのプライバシー漏洩につながることを示した。 本稿では,U字型SLをベースとしたプロトコルを構築し,同義的に暗号化されたデータを操作することにより,従来の作業を改善する。
  論文  参考訳（メタデータ） (2023-09-19T10:56:08Z)
• A More Secure Split: Enhancing the Security of Privacy-Preserving Split Learning [2.853180143237022]
  Split Learning(SL)は、参加者がクライアントが生データを共有せずに機械学習モデルをトレーニングすることを可能にする、新たなコラボレーティブな学習テクニックである。 以前の研究は、アクティベーションマップ(AM)の再構築がクライアントデータのプライバシー漏洩をもたらすことを示した。 本稿では,U字型SLをベースとしたプロトコルを構築し,同義的に暗号化されたデータを操作することにより,従来の作業を改善する。
  論文  参考訳（メタデータ） (2023-09-15T18:39:30Z)
• PFSL: Personalized & Fair Split Learning with Data & Label Privacy for thin clients [0.5144809478361603]
  PFSLは分散分割学習の新しいフレームワークであり、多数のシンクライアントが並列にトランスファー学習を行う。 クライアントモデルのパーソナライズを行うための軽量なステップを実装し,それぞれのデータ分布に対して高いパフォーマンスを実現する。 我々の精度は現在のアルゴリズムSLをはるかに上回り、いくつかの実生活ベンチマークにおける集中学習に非常に近い。
  論文  参考訳（メタデータ） (2023-03-19T10:38:29Z)
• Split Ways: Privacy-Preserving Training of Encrypted Data Using Split Learning [6.916134299626706]
  Split Learning(SL)は、参加者がクライアントが生データを共有せずに機械学習モデルをトレーニングできる、新たなコラボレーティブ学習技術である。 以前の研究は、アクティベーションマップの再構築がクライアントデータのプライバシー漏洩につながることを示した。 本稿では,U字型SLをベースとしたプロトコルを構築し,同義的に暗号化されたデータを操作することにより,従来の作業を改善する。
  論文  参考訳（メタデータ） (2023-01-20T19:26:51Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• Binarizing Split Learning for Data Privacy Enhancement and Computation Reduction [8.40552206158625]
  Split Learning(SL)は、クライアントが生データを共有することなく、サーバとディープラーニングモデルを協調的にトレーニングすることで、データのプライバシ保護を可能にする。 本研究では、高速な計算とメモリ使用量の削減のために、SLローカル層を二項化することを提案する。 我々の結果は、プライバシー保護の要求が高い軽量IoT/モバイルアプリケーションに対して、B-SLモデルが有望であることを実証した。
  論文  参考訳（メタデータ） (2022-06-10T04:07:02Z)
• DisPFL: Towards Communication-Efficient Personalized Federated Learning via Decentralized Sparse Training [84.81043932706375]
  本稿では,分散型(ピアツーピア)通信プロトコルであるDis-PFLにおいて,新たな個人化フェデレーション学習フレームワークを提案する。 Dis-PFLはパーソナライズされたスパースマスクを使用して、エッジ上のスパースローカルモデルをカスタマイズする。 本手法は,計算複雑性の異なる異種ローカルクライアントに容易に適応できることを実証する。
  論文  参考訳（メタデータ） (2022-06-01T02:20:57Z)
• FedCL: Federated Contrastive Learning for Privacy-Preserving Recommendation [98.5705258907774]
  FedCLは、プライバシーを十分に保護した効果的なモデルトレーニングのために、高品質な負のサンプルを利用することができる。 まず、各クライアントのローカルモデルを介してローカルユーザデータからユーザ埋め込みを推測し、その後、ローカルディファレンシャルプライバシ(LDP)で摂動する。 個々のユーザ埋め込みにはLDPによる重騒音が伴うため,ノイズの影響を軽減するため,サーバ上にユーザ埋め込みをクラスタ化することを提案する。
  論文  参考訳（メタデータ） (2022-04-21T02:37:10Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Server-Side Local Gradient Averaging and Learning Rate Acceleration for Scalable Split Learning [82.06357027523262]
  フェデレーテッド・ラーニング(FL)とスプリット・ラーニング(SL)は、その長所と短所を持つ2つの先駆者であり、多くのユーザ・クライアントや大規模モデルに適している。 本研究では,まずSLの基本ボトルネックを特定し,SGLRという拡張性のあるSLフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-11T08:33:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。