論文の概要: CURE: Privacy-Preserving Split Learning Done Right
- arxiv url: http://arxiv.org/abs/2407.08977v1
- Date: Fri, 12 Jul 2024 04:10:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-16 00:46:38.928125
- Title: CURE: Privacy-Preserving Split Learning Done Right
- Title(参考訳): CURE:プライバシ保護のスプリット学習を正しく行う
- Authors: Halil Ibrahim Kanpak, Aqsa Shabbir, Esra Genç, Alptekin Küpçü, Sinem Sav,
- Abstract要約: このシナリオには、同型暗号化(HE)ベースのソリューションが存在するが、しばしば禁止的な計算負担を課す。
CUREは、モデルとデータのサーバ側のみを暗号化する新しいシステムである。
CUREは、実行時の16倍の効率で、平文SLと同等の精度を実現できることを示す。
- 参考スコア(独自算出の注目度): 1.388112207221632
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Training deep neural networks often requires large-scale datasets, necessitating storage and processing on cloud servers due to computational constraints. The procedures must follow strict privacy regulations in domains like healthcare. Split Learning (SL), a framework that divides model layers between client(s) and server(s), is widely adopted for distributed model training. While Split Learning reduces privacy risks by limiting server access to the full parameter set, previous research has identified that intermediate outputs exchanged between server and client can compromise client's data privacy. Homomorphic encryption (HE)-based solutions exist for this scenario but often impose prohibitive computational burdens. To address these challenges, we propose CURE, a novel system based on HE, that encrypts only the server side of the model and optionally the data. CURE enables secure SL while substantially improving communication and parallelization through advanced packing techniques. We propose two packing schemes that consume one HE level for one-layer networks and generalize our solutions to n-layer neural networks. We demonstrate that CURE can achieve similar accuracy to plaintext SL while being 16x more efficient in terms of the runtime compared to the state-of-the-art privacy-preserving alternatives.
- Abstract(参考訳): ディープニューラルネットワークのトレーニングには、計算上の制約により、大規模なデータセット、ストレージ、クラウドサーバでの処理が必要になることが少なくない。
この手続きは、医療などの領域で厳格なプライバシー規制に従う必要がある。
モデル層をクライアントとサーバに分割するフレームワークであるスプリットラーニング(SL)は、分散モデルトレーニングに広く採用されている。
Split Learningは、完全なパラメータセットへのサーバアクセスを制限することによって、プライバシのリスクを低減するが、以前の調査では、サーバとクライアントの間で交換された中間出力が、クライアントのデータプライバシを損なう可能性がある。
このシナリオには、同型暗号化(HE)ベースのソリューションが存在するが、しばしば禁止的な計算負担を課す。
これらの課題に対処するために,モデルサーバ側と任意にデータのみを暗号化するHEに基づく新しいシステムであるCUREを提案する。
CUREはセキュアなSLを実現すると同時に、高度なパッキング技術による通信と並列化を大幅に改善する。
我々は,1層ネットワークのHEレベルを1つ消費し,n層ニューラルネットワークへの解を一般化する2つのパッキング手法を提案する。
CUREは,従来のプライバシ保存方式に比べて,実行時の16倍の効率で,平文SLと同等の精度を達成できることを実証した。
関連論文リスト
- ACCESS-FL: Agile Communication and Computation for Efficient Secure Aggregation in Stable Federated Learning Networks [26.002975401820887]
Federated Learning(FL)は、プライバシ対応アプリケーション用に設計された分散学習フレームワークである。
従来のFLは、プレーンモデルのアップデートがサーバに送信されると、機密性の高いクライアントデータを露出するリスクにアプローチする。
GoogleのSecure Aggregation(SecAgg)プロトコルは、二重マスキング技術を使用することで、この脅威に対処する。
通信・計算効率の高いセキュアアグリゲーション手法であるACCESS-FLを提案する。
論文 参考訳(メタデータ) (2024-09-03T09:03:38Z) - PriRoAgg: Achieving Robust Model Aggregation with Minimum Privacy Leakage for Federated Learning [49.916365792036636]
フェデレートラーニング(FL)は、大規模分散ユーザデータを活用する可能性から、最近大きな勢いを増している。
送信されたモデル更新は、センシティブなユーザ情報をリークする可能性があり、ローカルなトレーニングプロセスの集中的な制御の欠如は、モデル更新に対する悪意のある操作の影響を受けやすいグローバルモデルを残します。
我々は、Lagrange符号化計算と分散ゼロ知識証明を利用した汎用フレームワークPriRoAggを開発し、集約されたプライバシを満たすとともに、幅広いロバストな集約アルゴリズムを実行する。
論文 参考訳(メタデータ) (2024-07-12T03:18:08Z) - Safely Learning with Private Data: A Federated Learning Framework for Large Language Model [3.1077263218029105]
フェデレートラーニング(FL)は、分散プライベートデータを用いたモデルのトレーニングに理想的なソリューションである。
FedAvgのような従来のフレームワークは、大きな言語モデル(LLM)には適さない
本稿では,サーバサイド攻撃とピアクライアント攻撃の両方によるデータ漏洩を防止するFL-GLMを提案する。
論文 参考訳(メタデータ) (2024-06-21T06:43:15Z) - Boosting Communication Efficiency of Federated Learning's Secure Aggregation [22.943966056320424]
Federated Learning(FL)は、クライアントデバイスがモデルをローカルにトレーニングしてサーバに送信する分散機械学習アプローチである。
FLは、トレーニングされたモデルからセンシティブなクライアントデータを推論できる、モデル逆攻撃に対して脆弱である。
GoogleのSecure Aggregation(SecAgg)プロトコルは、各クライアントのトレーニング済みモデルを隠すことによって、このデータプライバシ問題に対処する。
このポスターでは、このオーバーヘッドを大幅に削減する通信効率の高いセキュアアグリゲーション(CESA)プロトコルを紹介している。
論文 参考訳(メタデータ) (2024-05-02T10:00:16Z) - Love or Hate? Share or Split? Privacy-Preserving Training Using Split
Learning and Homomorphic Encryption [47.86010265348072]
Split Learning(SL)は、参加者がクライアントが生データを共有せずに機械学習モデルをトレーニングすることを可能にする、新たなコラボレーティブな学習テクニックである。
以前の研究は、アクティベーションマップの再構築がクライアントデータのプライバシー漏洩につながることを示した。
本稿では,U字型SLをベースとしたプロトコルを構築し,同義的に暗号化されたデータを操作することにより,従来の作業を改善する。
論文 参考訳(メタデータ) (2023-09-19T10:56:08Z) - Split Without a Leak: Reducing Privacy Leakage in Split Learning [3.2066885499201176]
スプリットラーニング(SL)とホモモルフィック暗号化(HE)を用いたハイブリッド手法を提案する。
MIT-BIH データセットでは,SL と HE を用いたハイブリッド手法により,訓練時間(約6倍)が短縮され,通信オーバーヘッド(ほぼ160倍)が他の HE ベースの手法に比べて大幅に低減される。
論文 参考訳(メタデータ) (2023-08-30T06:28:42Z) - Subspace based Federated Unlearning [75.90552823500633]
フェデレート・アンラーニング(FL)は、ユーザが忘れられる権利を満たすために、特定のターゲットクライアントのFLへの貢献を取り除くことを目的としている。
既存のフェデレートされた未学習アルゴリズムでは、パラメータの更新履歴をサーバに格納する必要がある。
そこで我々は,SFUと呼ばれる,単純なyet効率のサブスペースに基づくフェデレーションアンラーニング手法を提案する。
論文 参考訳(メタデータ) (2023-02-24T04:29:44Z) - Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。
FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。
SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。
本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文 参考訳(メタデータ) (2022-11-20T10:49:22Z) - Optimizing Server-side Aggregation For Robust Federated Learning via
Subspace Training [80.03567604524268]
クライアント間の非IIDデータ分散と中毒攻撃は、現実世界のフェデレーション学習システムにおける2つの大きな課題である。
サーバ側集約プロセスを最適化する汎用的なアプローチであるSmartFLを提案する。
本稿では,SmartFLの収束と一般化能力に関する理論的解析を行う。
論文 参考訳(メタデータ) (2022-11-10T13:20:56Z) - CryptoSPN: Privacy-preserving Sum-Product Network Inference [84.88362774693914]
総生産ネットワーク(SPN)のプライバシ保護のためのフレームワークを提案する。
CryptoSPNは、中規模のSPNに対して秒の順序で高効率で正確な推論を行う。
論文 参考訳(メタデータ) (2020-02-03T14:49:18Z) - Secure Summation via Subset Sums: A New Primitive for Privacy-Preserving
Distributed Machine Learning [15.275126264550943]
サミネーションは計算手段、カウント、ミニバッチ勾配にとって重要なプリミティブである。
多くの場合、データはプライバシーに敏感であり、中央サーバーでは収集できない。
分散和と計算プライバシ保証の既存のソリューションは、現実の環境で満たされない信頼や接続の前提を定めている。
本稿では,悪意のあるサーバと2つの正直なクライアントの存在下で機能する分散和法であるSecure Summation via Subset Sums (S5)を提案する。
論文 参考訳(メタデータ) (2019-06-27T23:27:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。