論文の概要: Split Without a Leak: Reducing Privacy Leakage in Split Learning
- arxiv url: http://arxiv.org/abs/2308.15783v1
- Date: Wed, 30 Aug 2023 06:28:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-31 14:43:33.815626
- Title: Split Without a Leak: Reducing Privacy Leakage in Split Learning
- Title(参考訳): リークのないスプリット:スプリットラーニングにおけるプライバシリーク低減
- Authors: Khoa Nguyen, Tanveer Khan and Antonis Michalas
- Abstract要約: スプリットラーニング(SL)とホモモルフィック暗号化(HE)を用いたハイブリッド手法を提案する。
MIT-BIH データセットでは,SL と HE を用いたハイブリッド手法により,訓練時間(約6倍)が短縮され,通信オーバーヘッド(ほぼ160倍)が他の HE ベースの手法に比べて大幅に低減される。
- 参考スコア(独自算出の注目度): 3.2066885499201176
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The popularity of Deep Learning (DL) makes the privacy of sensitive data more
imperative than ever. As a result, various privacy-preserving techniques have
been implemented to preserve user data privacy in DL. Among various
privacy-preserving techniques, collaborative learning techniques, such as Split
Learning (SL) have been utilized to accelerate the learning and prediction
process. Initially, SL was considered a promising approach to data privacy.
However, subsequent research has demonstrated that SL is susceptible to many
types of attacks and, therefore, it cannot serve as a privacy-preserving
technique. Meanwhile, countermeasures using a combination of SL and encryption
have also been introduced to achieve privacy-preserving deep learning. In this
work, we propose a hybrid approach using SL and Homomorphic Encryption (HE).
The idea behind it is that the client encrypts the activation map (the output
of the split layer between the client and the server) before sending it to the
server. Hence, during both forward and backward propagation, the server cannot
reconstruct the client's input data from the intermediate activation map. This
improvement is important as it reduces privacy leakage compared to other
SL-based works, where the server can gain valuable information about the
client's input. In addition, on the MIT-BIH dataset, our proposed hybrid
approach using SL and HE yields faster training time (about 6 times) and
significantly reduced communication overhead (almost 160 times) compared to
other HE-based approaches, thereby offering improved privacy protection for
sensitive data in DL.
- Abstract(参考訳): ディープラーニング(DL)の人気は、機密データのプライバシーをこれまで以上に重要視している。
その結果、dlにおけるユーザデータのプライバシを保護するために、さまざまなプライバシ保存技術が実装されている。
プライバシ保存技術では,slit learning(sl)などの協調学習技術が,学習と予測のプロセスを高速化するために活用されている。
当初、SLはデータプライバシーに対する有望なアプローチと考えられていた。
しかし、その後の研究では、SLは多くの種類の攻撃を受けやすいことが示されており、プライバシー保護技術として機能することができない。
一方,プライバシー保護型深層学習を実現するために,slと暗号化の組み合わせによる対策も導入されている。
本研究では,SLとHymomorphic Encryption(HE)を用いたハイブリッド手法を提案する。
その背景にある考え方は、クライアントがアクティベーションマップ(クライアントとサーバの間で分割されたレイヤの出力)を暗号化し、サーバに送信することです。
これにより、サーバは、前方と後方の両方の伝搬の間、中間活性化マップからクライアントの入力データを再構築できない。
この改善は、サーバがクライアントの入力に関する貴重な情報を得ることができる他のslベースの作業に比べて、プライバシの漏洩を減らすために重要である。
さらに,MIT-BIHデータセット上では,SLとHEを用いたハイブリッド手法により,学習時間(約6倍)の短縮と通信オーバーヘッド(ほぼ160倍)の低減を実現し,DLの機密データに対するプライバシー保護を向上した。
関連論文リスト
- Love or Hate? Share or Split? Privacy-Preserving Training Using Split
Learning and Homomorphic Encryption [47.86010265348072]
Split Learning(SL)は、参加者がクライアントが生データを共有せずに機械学習モデルをトレーニングすることを可能にする、新たなコラボレーティブな学習テクニックである。
以前の研究は、アクティベーションマップの再構築がクライアントデータのプライバシー漏洩につながることを示した。
本稿では,U字型SLをベースとしたプロトコルを構築し,同義的に暗号化されたデータを操作することにより,従来の作業を改善する。
論文 参考訳(メタデータ) (2023-09-19T10:56:08Z) - Split Ways: Privacy-Preserving Training of Encrypted Data Using Split
Learning [6.916134299626706]
Split Learning(SL)は、参加者がクライアントが生データを共有せずに機械学習モデルをトレーニングできる、新たなコラボレーティブ学習技術である。
以前の研究は、アクティベーションマップの再構築がクライアントデータのプライバシー漏洩につながることを示した。
本稿では,U字型SLをベースとしたプロトコルを構築し,同義的に暗号化されたデータを操作することにより,従来の作業を改善する。
論文 参考訳(メタデータ) (2023-01-20T19:26:51Z) - Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。
FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。
SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。
本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文 参考訳(メタデータ) (2022-11-20T10:49:22Z) - Efficient and Privacy Preserving Group Signature for Federated Learning [2.121963121603413]
Federated Learning(FL)は、ユーザデータのプライバシに対する脅威を軽減することを目的とした機械学習(ML)テクニックである。
本稿では,グループ署名に基づくFLの効率的かつプライバシ保護プロトコルを提案する。
論文 参考訳(メタデータ) (2022-07-12T04:12:10Z) - Binarizing Split Learning for Data Privacy Enhancement and Computation
Reduction [8.40552206158625]
Split Learning(SL)は、クライアントが生データを共有することなく、サーバとディープラーニングモデルを協調的にトレーニングすることで、データのプライバシ保護を可能にする。
本研究では、高速な計算とメモリ使用量の削減のために、SLローカル層を二項化することを提案する。
我々の結果は、プライバシー保護の要求が高い軽量IoT/モバイルアプリケーションに対して、B-SLモデルが有望であることを実証した。
論文 参考訳(メタデータ) (2022-06-10T04:07:02Z) - Feature Space Hijacking Attacks against Differentially Private Split
Learning [0.0]
分散学習と差分プライバシーは、分散データセット上でのプライバシーに準拠した高度な分析を支援する可能性がある技術である。
この研究は、クライアントサイドのオフザシェルフDPを使用して、差分プライバシ(DP)で強化されたスプリットニューラルネットワークの学習プロセスに、最近のフィーチャースペースハイジャック攻撃(FSHA)を適用している。
FSHA攻撃は、任意に設定されたDPエプシロンレベルでエラー率の低いクライアントのプライベートデータ再構成を取得する。
論文 参考訳(メタデータ) (2022-01-11T16:06:18Z) - Server-Side Local Gradient Averaging and Learning Rate Acceleration for
Scalable Split Learning [82.06357027523262]
フェデレーテッド・ラーニング(FL)とスプリット・ラーニング(SL)は、その長所と短所を持つ2つの先駆者であり、多くのユーザ・クライアントや大規模モデルに適している。
本研究では,まずSLの基本ボトルネックを特定し,SGLRという拡張性のあるSLフレームワークを提案する。
論文 参考訳(メタデータ) (2021-12-11T08:33:25Z) - Understanding Clipping for Federated Learning: Convergence and
Client-Level Differential Privacy [67.4471689755097]
本稿では, 切断したFedAvgが, 実質的なデータ均一性でも驚くほど良好に動作できることを実証的に示す。
本稿では,差分プライベート(DP)FedAvgアルゴリズムの収束解析を行い,クリッピングバイアスとクライアント更新の分布との関係を明らかにする。
論文 参考訳(メタデータ) (2021-06-25T14:47:19Z) - TIPRDC: Task-Independent Privacy-Respecting Data Crowdsourcing Framework
for Deep Learning with Anonymized Intermediate Representations [49.20701800683092]
本稿では,匿名化中間表現を用いたタスク非依存型プライバシ参照データクラウドソーシングフレームワークTIPRDCを提案する。
このフレームワークの目的は、中間表現からプライバシー情報を隠蔽できる機能抽出器を学習することであり、データコレクターの生データに埋め込まれた元の情報を最大限に保持し、未知の学習タスクを達成することである。
論文 参考訳(メタデータ) (2020-05-23T06:21:26Z) - CryptoSPN: Privacy-preserving Sum-Product Network Inference [84.88362774693914]
総生産ネットワーク(SPN)のプライバシ保護のためのフレームワークを提案する。
CryptoSPNは、中規模のSPNに対して秒の順序で高効率で正確な推論を行う。
論文 参考訳(メタデータ) (2020-02-03T14:49:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。