論文の概要: Making Split Learning Resilient to Label Leakage by Potential Energy
Loss
- arxiv url: http://arxiv.org/abs/2210.09617v1
- Date: Tue, 18 Oct 2022 06:21:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-19 14:03:48.443319
- Title: Making Split Learning Resilient to Label Leakage by Potential Energy
Loss
- Title(参考訳): エネルギー損失によるラベルリークに対するスプリット学習のレジリエント化
- Authors: Fei Zheng, Chaochao Chen, Binhui Yao, Xiaolin Zheng
- Abstract要約: トレーニングされた分割モデルによって引き起こされるプライバシー漏洩問題、すなわち、攻撃者はいくつかのラベル付きサンプルを使用してボトムモデルを微調整することができる。
このようなプライバシリークを防止するため,ボトムモデルの出力をより複雑にするための潜在的なエネルギー損失を提案する。
実験結果から,本手法は攻撃者の微調整精度を著しく低下させ,スプリットモデルのラベルリークに対する耐性を高めた。
- 参考スコア(独自算出の注目度): 20.021666719425163
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As a practical privacy-preserving learning method, split learning has drawn
much attention in academia and industry. However, its security is constantly
being questioned since the intermediate results are shared during training and
inference. In this paper, we focus on the privacy leakage problem caused by the
trained split model, i.e., the attacker can use a few labeled samples to
fine-tune the bottom model, and gets quite good performance. To prevent such
kind of privacy leakage, we propose the potential energy loss to make the
output of the bottom model become a more `complicated' distribution, by pushing
outputs of the same class towards the decision boundary. Therefore, the
adversary suffers a large generalization error when fine-tuning the bottom
model with only a few leaked labeled samples. Experiment results show that our
method significantly lowers the attacker's fine-tuning accuracy, making the
split model more resilient to label leakage.
- Abstract(参考訳): 実践的なプライバシー保護学習手法として、スプリットラーニングはアカデミックや業界で注目を集めている。
しかし、中間結果がトレーニングや推論中に共有されるため、セキュリティは常に疑問視されている。
本稿では、トレーニングされた分割モデルによって生じるプライバシー漏洩問題、すなわち、攻撃者がラベル付きサンプルを使ってボトムモデルを微調整し、非常に優れたパフォーマンスを得ることができることに焦点を当てる。
このようなプライバシリークを防止するため,同じクラスの出力を決定境界に向けてプッシュすることで,ボトムモデルの出力をより「複雑」な分布にするための潜在的なエネルギー損失を提案する。
そのため, ボトムモデルにラベル付きサンプルがいくつか漏れただけで微調整を行う場合, 敵は大きな一般化誤差を被る。
実験結果から,本手法は攻撃者の微調整精度を著しく低下させ,スプリットモデルのラベルリークに対する耐性を高めた。
関連論文リスト
- Shrinking Class Space for Enhanced Certainty in Semi-Supervised Learning [59.44422468242455]
そこで我々はShrinkMatchと呼ばれる新しい手法を提案し、不確実なサンプルを学習する。
それぞれの不確実なサンプルに対して、元の Top-1 クラスを単に含むスランク類空間を適応的に求める。
次に、スランク空間における強と弱に強化された2つのサンプル間の整合正則化を課し、識別的表現を試みます。
論文 参考訳(メタデータ) (2023-08-13T14:05:24Z) - Uncertainty-Aware Bootstrap Learning for Joint Extraction on
Distantly-Supervised Data [36.54640096189285]
ブートストラップ学習は、インスタンスの不確実性が高ければ高いほど、モデルの信頼性は基礎的な真実と矛盾する可能性が高いという直感によって動機付けられます。
まず、まずインスタンスレベルのデータ不確実性を調べて、信頼度の高い最初の例を作成します。
ブートストラップ学習において,ノイズラベルが生成するモデル間不確実性を軽減するために,正規化器としての自己認識を提案する。
論文 参考訳(メタデータ) (2023-05-05T20:06:11Z) - Label Inference Attack against Split Learning under Regression Setting [24.287752556622312]
回帰モデルのシナリオにおいて,プライベートラベルが連続数である場合の漏洩について検討する。
グラデーション情報と追加学習正規化目標を統合した,新たな学習ベースアタックを提案する。
論文 参考訳(メタデータ) (2023-01-18T03:17:24Z) - RelaxLoss: Defending Membership Inference Attacks without Losing Utility [68.48117818874155]
より達成可能な学習目標を持つ緩和された損失に基づく新しい学習フレームワークを提案する。
RelaxLossは、簡単な実装と無視可能なオーバーヘッドのメリットを加えた任意の分類モデルに適用できる。
当社のアプローチはMIAに対するレジリエンスの観点から,常に最先端の防御機構より優れています。
論文 参考訳(メタデータ) (2022-07-12T19:34:47Z) - Task-Agnostic Robust Representation Learning [31.818269301504564]
本研究では,未ラベルデータを用いた頑健な表現学習の課題をタスクに依存しない方法で検討する。
我々は、その損失をクリーンデータとロバストネス正則化器を用いて、下流タスクにおける予測モデルの逆方向の損失に上限を導出する。
本手法は,関係するベースラインと比較して,好適な対向性能を実現する。
論文 参考訳(メタデータ) (2022-03-15T02:05:11Z) - Self-Damaging Contrastive Learning [92.34124578823977]
ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。
本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。
実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
論文 参考訳(メタデータ) (2021-06-06T00:04:49Z) - Contextual Dropout: An Efficient Sample-Dependent Dropout Module [60.63525456640462]
ドロップアウトは、ディープニューラルネットワークのトレーニングプロセスを正規化するシンプルで効果的なモジュールとして実証されています。
単純でスケーラブルなサンプル依存型ドロップアウトモジュールとして,効率的な構造設計によるコンテキスト型ドロップアウトを提案する。
提案手法は,不確実性推定の精度と品質の両面において,ベースライン法よりも優れていた。
論文 参考訳(メタデータ) (2021-03-06T19:30:32Z) - Quantifying and Mitigating Privacy Risks of Contrastive Learning [4.909548818641602]
我々は、会員推定と属性推論のレンズを通して、コントラスト学習の最初のプライバシ分析を行う。
その結果,コントラストモデルではメンバシップ推論攻撃に弱いが,教師付きモデルに比べて属性推論攻撃に弱いことが示唆された。
この状況を改善するため,プライバシ保護型コントラスト学習機構であるTalosを提案する。
論文 参考訳(メタデータ) (2021-02-08T11:38:11Z) - Sampling Attacks: Amplification of Membership Inference Attacks by
Repeated Queries [74.59376038272661]
本手法は,他の標準メンバーシップ相手と異なり,被害者モデルのスコアにアクセスできないような厳格な制限の下で動作可能な,新しいメンバーシップ推論手法であるサンプリングアタックを導入する。
ラベルのみを公開している被害者モデルでは,攻撃のサンプリングが引き続き可能であり,攻撃者はその性能の最大100%を回復できることを示す。
防衛においては,被害者モデルのトレーニング中の勾配摂動と予測時の出力摂動の形式で差分プライバシーを選択する。
論文 参考訳(メタデータ) (2020-09-01T12:54:54Z) - Adversarial Self-Supervised Contrastive Learning [62.17538130778111]
既存の対数学習アプローチは、主にクラスラベルを使用して、誤った予測につながる対数サンプルを生成する。
本稿では,未ラベルデータに対する新たな逆攻撃を提案する。これにより,モデルが摂動データサンプルのインスタンスレベルのアイデンティティを混乱させる。
ラベル付きデータなしで頑健なニューラルネットワークを逆さまにトレーニングするための,自己教師付きコントラスト学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-06-13T08:24:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。