論文の概要: Split Without a Leak: Reducing Privacy Leakage in Split Learning

• arxiv url: http://arxiv.org/abs/2308.15783v1
• Date: Wed, 30 Aug 2023 06:28:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-31 14:43:33.815626
• Title: Split Without a Leak: Reducing Privacy Leakage in Split Learning
• Title（参考訳）: リークのないスプリット:スプリットラーニングにおけるプライバシリーク低減
• Authors: Khoa Nguyen, Tanveer Khan and Antonis Michalas
• Abstract要約: スプリットラーニング(SL)とホモモルフィック暗号化(HE)を用いたハイブリッド手法を提案する。 MIT-BIH データセットでは,SL と HE を用いたハイブリッド手法により,訓練時間(約6倍)が短縮され,通信オーバーヘッド(ほぼ160倍)が他の HE ベースの手法に比べて大幅に低減される。
• 参考スコア（独自算出の注目度）: 3.2066885499201176
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The popularity of Deep Learning (DL) makes the privacy of sensitive data more imperative than ever. As a result, various privacy-preserving techniques have been implemented to preserve user data privacy in DL. Among various privacy-preserving techniques, collaborative learning techniques, such as Split Learning (SL) have been utilized to accelerate the learning and prediction process. Initially, SL was considered a promising approach to data privacy. However, subsequent research has demonstrated that SL is susceptible to many types of attacks and, therefore, it cannot serve as a privacy-preserving technique. Meanwhile, countermeasures using a combination of SL and encryption have also been introduced to achieve privacy-preserving deep learning. In this work, we propose a hybrid approach using SL and Homomorphic Encryption (HE). The idea behind it is that the client encrypts the activation map (the output of the split layer between the client and the server) before sending it to the server. Hence, during both forward and backward propagation, the server cannot reconstruct the client's input data from the intermediate activation map. This improvement is important as it reduces privacy leakage compared to other SL-based works, where the server can gain valuable information about the client's input. In addition, on the MIT-BIH dataset, our proposed hybrid approach using SL and HE yields faster training time (about 6 times) and significantly reduced communication overhead (almost 160 times) compared to other HE-based approaches, thereby offering improved privacy protection for sensitive data in DL.
• Abstract（参考訳）: ディープラーニング(DL)の人気は、機密データのプライバシーをこれまで以上に重要視している。 その結果、dlにおけるユーザデータのプライバシを保護するために、さまざまなプライバシ保存技術が実装されている。 プライバシ保存技術では,slit learning(sl)などの協調学習技術が,学習と予測のプロセスを高速化するために活用されている。 当初、SLはデータプライバシーに対する有望なアプローチと考えられていた。 しかし、その後の研究では、SLは多くの種類の攻撃を受けやすいことが示されており、プライバシー保護技術として機能することができない。 一方,プライバシー保護型深層学習を実現するために,slと暗号化の組み合わせによる対策も導入されている。 本研究では,SLとHymomorphic Encryption(HE)を用いたハイブリッド手法を提案する。 その背景にある考え方は、クライアントがアクティベーションマップ(クライアントとサーバの間で分割されたレイヤの出力)を暗号化し、サーバに送信することです。 これにより、サーバは、前方と後方の両方の伝搬の間、中間活性化マップからクライアントの入力データを再構築できない。 この改善は、サーバがクライアントの入力に関する貴重な情報を得ることができる他のslベースの作業に比べて、プライバシの漏洩を減らすために重要である。 さらに,MIT-BIHデータセット上では,SLとHEを用いたハイブリッド手法により,学習時間(約6倍)の短縮と通信オーバーヘッド(ほぼ160倍)の低減を実現し,DLの機密データに対するプライバシー保護を向上した。

関連論文リスト

• KnowledgeSG: Privacy-Preserving Synthetic Text Generation with Knowledge Distillation from Server [48.04903443425111]
  大規模言語モデル (LLM) は、多くの当事者が自身のプライベートデータでLPMを微調整できるようにする。 置換のために合成データを利用するような既存のソリューションは、同時にパフォーマンスを改善し、プライバシを保存するのに苦労している。 我々は、合成データ品質を高め、プライバシを確保しつつモデル性能を向上させる新しいクライアントサーバフレームワークであるKnowledgeSGを提案する。
  論文  参考訳（メタデータ） (2024-10-08T06:42:28Z)
• Make Split, not Hijack: Preventing Feature-Space Hijacking Attacks in Split Learning [1.6822770693792823]
  クライアントデータのプライバシを確保するために,Split Learning(SL)とFunction Secret Sharing(FSS)を組み合わせたハイブリッドアプローチを導入する。 我々のプロトコルは有望な結果をもたらし、SLを使わずに通信オーバヘッドを2倍以上削減し、FSSと同じモデルと比較して訓練時間を7倍以上削減する。
  論文  参考訳（メタデータ） (2024-04-14T14:14:31Z)
• Enhancing Accuracy-Privacy Trade-off in Differentially Private Split Learning [2.2676798389997863]
  Split Learning(SL)は、クライアントサーバ間で詳細なモデルを分散し、プライベートデータをローカルに保持することで、ユーザのデータプライバシを保護することを目的としている。 最近提案されたモデル反転攻撃は、スマッシュされたデータから元のデータを復元することができる。 ディファレンシャルプライバシ(DP)を採用する戦略では、スマッシュされたデータをある程度の精度の損失を犠牲にして保護する。
  論文  参考訳（メタデータ） (2023-10-22T22:45:13Z)
• Love or Hate? Share or Split? Privacy-Preserving Training Using Split Learning and Homomorphic Encryption [47.86010265348072]
  Split Learning(SL)は、参加者がクライアントが生データを共有せずに機械学習モデルをトレーニングすることを可能にする、新たなコラボレーティブな学習テクニックである。 以前の研究は、アクティベーションマップの再構築がクライアントデータのプライバシー漏洩につながることを示した。 本稿では,U字型SLをベースとしたプロトコルを構築し,同義的に暗号化されたデータを操作することにより,従来の作業を改善する。
  論文  参考訳（メタデータ） (2023-09-19T10:56:08Z)
• A More Secure Split: Enhancing the Security of Privacy-Preserving Split Learning [2.853180143237022]
  Split Learning(SL)は、参加者がクライアントが生データを共有せずに機械学習モデルをトレーニングすることを可能にする、新たなコラボレーティブな学習テクニックである。 以前の研究は、アクティベーションマップ(AM)の再構築がクライアントデータのプライバシー漏洩をもたらすことを示した。 本稿では,U字型SLをベースとしたプロトコルを構築し,同義的に暗号化されたデータを操作することにより,従来の作業を改善する。
  論文  参考訳（メタデータ） (2023-09-15T18:39:30Z)
• Split Ways: Privacy-Preserving Training of Encrypted Data Using Split Learning [6.916134299626706]
  Split Learning(SL)は、参加者がクライアントが生データを共有せずに機械学習モデルをトレーニングできる、新たなコラボレーティブ学習技術である。 以前の研究は、アクティベーションマップの再構築がクライアントデータのプライバシー漏洩につながることを示した。 本稿では,U字型SLをベースとしたプロトコルを構築し,同義的に暗号化されたデータを操作することにより,従来の作業を改善する。
  論文  参考訳（メタデータ） (2023-01-20T19:26:51Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• Server-Side Local Gradient Averaging and Learning Rate Acceleration for Scalable Split Learning [82.06357027523262]
  フェデレーテッド・ラーニング(FL)とスプリット・ラーニング(SL)は、その長所と短所を持つ2つの先駆者であり、多くのユーザ・クライアントや大規模モデルに適している。 本研究では,まずSLの基本ボトルネックを特定し,SGLRという拡張性のあるSLフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-11T08:33:25Z)
• Understanding Clipping for Federated Learning: Convergence and Client-Level Differential Privacy [67.4471689755097]
  本稿では, 切断したFedAvgが, 実質的なデータ均一性でも驚くほど良好に動作できることを実証的に示す。 本稿では,差分プライベート(DP)FedAvgアルゴリズムの収束解析を行い,クリッピングバイアスとクライアント更新の分布との関係を明らかにする。
  論文  参考訳（メタデータ） (2021-06-25T14:47:19Z)
• TIPRDC: Task-Independent Privacy-Respecting Data Crowdsourcing Framework for Deep Learning with Anonymized Intermediate Representations [49.20701800683092]
  本稿では,匿名化中間表現を用いたタスク非依存型プライバシ参照データクラウドソーシングフレームワークTIPRDCを提案する。 このフレームワークの目的は、中間表現からプライバシー情報を隠蔽できる機能抽出器を学習することであり、データコレクターの生データに埋め込まれた元の情報を最大限に保持し、未知の学習タスクを達成することである。
  論文  参考訳（メタデータ） (2020-05-23T06:21:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。