論文の概要: Differentially Private Label Protection in Split Learning
- arxiv url: http://arxiv.org/abs/2203.02073v1
- Date: Fri, 4 Mar 2022 00:35:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-08 00:09:20.247970
- Title: Differentially Private Label Protection in Split Learning
- Title(参考訳): スプリットラーニングにおける差分プライベートラベル保護
- Authors: Xin Yang, Jiankai Sun, Yuanshun Yao, Junyuan Xie, Chong Wang
- Abstract要約: Split Learningは分散トレーニングフレームワークで、複数のパーティが分割されたデータ上で機械学習モデルを共同でトレーニングすることができる。
近年の研究では、分割学習の実装は、半正直な敵が簡単にラベルを再構築できる厳しいプライバシーリスクに悩まされていることが示されている。
提案するtextsfTPSL (Transcript Private Split Learning) は,差分プライバシーを保証する汎用的なグラデーションベース分割学習フレームワークである。
- 参考スコア(独自算出の注目度): 20.691549091238965
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Split learning is a distributed training framework that allows multiple
parties to jointly train a machine learning model over vertically partitioned
data (partitioned by attributes). The idea is that only intermediate
computation results, rather than private features and labels, are shared
between parties so that raw training data remains private. Nevertheless, recent
works showed that the plaintext implementation of split learning suffers from
severe privacy risks that a semi-honest adversary can easily reconstruct
labels. In this work, we propose \textsf{TPSL} (Transcript Private Split
Learning), a generic gradient perturbation based split learning framework that
provides provable differential privacy guarantee. Differential privacy is
enforced on not only the model weights, but also the communicated messages in
the distributed computation setting. Our experiments on large-scale real-world
datasets demonstrate the robustness and effectiveness of \textsf{TPSL} against
label leakage attacks. We also find that \textsf{TPSL} have a better
utility-privacy trade-off than baselines.
- Abstract(参考訳): Split Learningは、複数のパーティが垂直に分割されたデータ(属性によって分割される)上で機械学習モデルを共同でトレーニングすることを可能にする分散トレーニングフレームワークである。
プライベートな特徴やラベルではなく、中間的な計算結果だけがパーティ間で共有され、生のトレーニングデータがプライベートのままになる、というのがその考え方だ。
しかし、近年の研究では、分割学習の平易な実装は、半正直な敵が簡単にラベルを再構築できる厳しいプライバシーリスクに悩まされていることが示されている。
本稿では,差分プライバシー保証を提供する汎用勾配摂動型分割学習フレームワークである \textsf{tpsl} (transcript private split learning)を提案する。
差分プライバシはモデル重みだけでなく、分散計算環境における通信メッセージにも適用される。
大規模実世界のデータセットに対する実験により,ラベル漏洩攻撃に対するtextsf{TPSL}の堅牢性と有効性を示した。
また、‘textsf{TPSL} はベースラインよりもユーティリティプライバシトレードオフが優れていることも分かりました。
関連論文リスト
- Federated Learning with Only Positive Labels by Exploring Label Correlations [78.59613150221597]
フェデレートラーニングは、プライバシー上の制約の下で複数のユーザのデータを使用することで、モデルを協調的に学習することを目的としている。
本稿では,フェデレート学習環境下でのマルチラベル分類問題について検討する。
ラベル相関(FedALC)を探索してフェデレート平均化(Federated Averaging)と呼ばれる新しい,汎用的な手法を提案する。
論文 参考訳(メタデータ) (2024-04-24T02:22:50Z) - UFPS: A unified framework for partially-annotated federated segmentation
in heterogeneous data distribution [27.15020107838467]
部分アノテーション付きデータセットに対して,全クラスに画素を分割する統一部分ラベル(UFPS)フレームワークを提案する。
実際の医療データセットに関する包括的実験は、修正手法と比較して、UFPSの分解と能力の向上を実証している。
論文 参考訳(メタデータ) (2023-11-16T10:30:27Z) - Label Inference Attack against Split Learning under Regression Setting [24.287752556622312]
回帰モデルのシナリオにおいて,プライベートラベルが連続数である場合の漏洩について検討する。
グラデーション情報と追加学習正規化目標を統合した,新たな学習ベースアタックを提案する。
論文 参考訳(メタデータ) (2023-01-18T03:17:24Z) - Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。
FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。
SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。
本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文 参考訳(メタデータ) (2022-11-20T10:49:22Z) - Federated Zero-Shot Learning for Visual Recognition [55.65879596326147]
本稿では,Federated Zero-Shot Learning FedZSLフレームワークを提案する。
FedZSLは、エッジデバイス上の分散データから中心的なモデルを学ぶ。
FedZSLの有効性と堅牢性は、3つのゼロショットベンチマークデータセットで実施された広範な実験によって実証された。
論文 参考訳(メタデータ) (2022-09-05T14:49:34Z) - Mixed Differential Privacy in Computer Vision [133.68363478737058]
AdaMixは、プライベートとパブリックの両方の画像データを使用して、ディープニューラルネットワーク分類器をトレーニングするための適応型微分プライベートアルゴリズムである。
プライベートデータを無視する数ショットあるいはゼロショットの学習ベースラインは、大規模なプライベートデータセットの微調整よりも優れています。
論文 参考訳(メタデータ) (2022-03-22T06:15:43Z) - Similarity-based Label Inference Attack against Training and Inference of Split Learning [13.104547182351332]
分割学習は、プライバシを保存する分散学習のための有望なパラダイムである。
本稿では、スマッシュデータを含む交換された中間結果が、既にプライベートラベルを明らかにすることができることを示す。
トレーニングと推論の両段階において,プライベートラベルを効率よく回収する3つのラベル推論攻撃を提案する。
論文 参考訳(メタデータ) (2022-03-10T08:02:03Z) - Scotch: An Efficient Secure Computation Framework for Secure Aggregation [0.0]
フェデレーション学習は、複数のデータ所有者がプライベートデータセットを公開せずに、機械学習モデルを共同でトレーニングすることを可能にする。
悪意のある集約サーバは、モデルパラメータを使用して、使用したトレーニングデータセットに関する機密情報を導き出すことができる。
フェデレーションアグリゲーションのための分散化テキストitm-partyセキュア計算フレームワークであるtextscScotch を提案する。
論文 参考訳(メタデータ) (2022-01-19T17:16:35Z) - Gradient Inversion Attack: Leaking Private Labels in Two-Party Split
Learning [12.335698325757491]
本稿では,ラベル所有者がラベル所有者のプライベートラベルを学習できるようにするラベル漏洩攻撃を提案する。
本攻撃では,複数クラスの画像分類問題と2値変換予測タスクについて,ほぼ完全精度でプライベートラベルデータを明らかにすることができる。
この手法は単純なデータセットに有効であるが、入力次元がより高くなるデータセットの実用性を著しく低下させる。
論文 参考訳(メタデータ) (2021-11-25T16:09:59Z) - OpenMatch: Open-set Consistency Regularization for Semi-supervised
Learning with Outliers [71.08167292329028]
我々はOpenMatchと呼ばれる新しいオープンセットセミスーパーバイザードラーニング(OSSL)アプローチを提案する。
OpenMatchは、1-vs-all(OVA)分類器に基づいた新規検出とFixMatchを統合する。
3つのデータセットで最先端のパフォーマンスを実現し、CIFAR10の未ラベルデータで見えないアウトリーチを検出する上で、完全な教師付きモデルよりも優れています。
論文 参考訳(メタデータ) (2021-05-28T23:57:15Z) - Federated Semi-Supervised Learning with Inter-Client Consistency &
Disjoint Learning [78.88007892742438]
ラベル付きデータの位置に基づくFSSL(Federated Semi-Supervised Learning)の2つの重要なシナリオについて検討する。
フェデレートマッチング(FedMatch)と呼ばれる新しい手法を提案する。
論文 参考訳(メタデータ) (2020-06-22T09:43:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。