論文の概要: Label Leakage and Protection from Forward Embedding in Vertical
Federated Learning
- arxiv url: http://arxiv.org/abs/2203.01451v1
- Date: Wed, 2 Mar 2022 22:54:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-04 16:43:45.723669
- Title: Label Leakage and Protection from Forward Embedding in Vertical
Federated Learning
- Title(参考訳): 垂直フェデレート学習におけるラベル漏洩と前方埋め込みからの保護
- Authors: Jiankai Sun and Xin Yang and Yuanshun Yao and Chong Wang
- Abstract要約: 共有中間埋め込みからプライベートラベルを盗むことができる実用的なラベル推論手法を提案する。
ラベル攻撃の有効性は、中間埋め込みと対応するプライベートラベルとの相関から区別できない。
- 参考スコア(独自算出の注目度): 19.96017956261838
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vertical federated learning (vFL) has gained much attention and been deployed
to solve machine learning problems with data privacy concerns in recent years.
However, some recent work demonstrated that vFL is vulnerable to privacy
leakage even though only the forward intermediate embedding (rather than raw
features) and backpropagated gradients (rather than raw labels) are
communicated between the involved participants. As the raw labels often contain
highly sensitive information, some recent work has been proposed to prevent the
label leakage from the backpropagated gradients effectively in vFL. However,
these work only identified and defended the threat of label leakage from the
backpropagated gradients. None of these work has paid attention to the problem
of label leakage from the intermediate embedding. In this paper, we propose a
practical label inference method which can steal private labels effectively
from the shared intermediate embedding even though some existing protection
methods such as label differential privacy and gradients perturbation are
applied. The effectiveness of the label attack is inseparable from the
correlation between the intermediate embedding and corresponding private
labels. To mitigate the issue of label leakage from the forward embedding, we
add an additional optimization goal at the label party to limit the label
stealing ability of the adversary by minimizing the distance correlation
between the intermediate embedding and corresponding private labels. We
conducted massive experiments to demonstrate the effectiveness of our proposed
protection methods.
- Abstract(参考訳): 垂直連合学習(vFL)は近年注目を集め、データプライバシに関する機械学習の問題を解決するためにデプロイされている。
しかし、最近の研究でvFLは、(生の特徴ではなく)前方中間の埋め込みと(生のラベルではなく)後方プロパゲート勾配だけが関係する参加者間で通信されているにもかかわらず、プライバシー漏洩に弱いことが示されている。
ラベルには高感度情報が含まれていることが多いため, バックプロパゲート勾配からのラベル漏洩を効果的に防止するための最近の研究が提案されている。
しかし、これらの研究はバックプロパゲート勾配からのラベルリークの脅威を識別し、防いだだけだった。
これらの研究は、中間埋め込みからラベルリークの問題に注意を払っていない。
本稿では,ラベル差分プライバシーや勾配摂動といった既存の保護手法を適用した場合でも,共有中間埋め込みからプライベートラベルを効果的に盗むことができる実用的なラベル推論手法を提案する。
ラベル攻撃の有効性は、中間埋め込みと対応するプライベートラベルとの相関から区別できない。
先行組込みからのラベルリーク問題を軽減するため,中間組込みと対応するプライベートラベル間の距離相関を最小化することにより,相手のラベル盗み能力を制限するために,ラベルパーティに追加の最適化目標を付加する。
提案手法の有効性を実証するために大規模実験を行った。
関連論文リスト
- Defending Label Inference Attacks in Split Learning under Regression
Setting [20.77178463903939]
Split Learning(スプリットラーニング)は、垂直的フェデレートラーニングを実装するためのプライバシー保護手法である。
本稿では,回帰条件下でのスプリット学習におけるラベル推論攻撃に着目した。
我々はRandom Label Extension (RLE)を提案し、そこでラベルを拡張して勾配に含まれるラベル情報を難読化する。
そこで本研究では,モデルに基づく適応ラベル拡張(MLE)を提案する。
論文 参考訳(メタデータ) (2023-08-18T10:22:31Z) - Partial-Label Regression [54.74984751371617]
部分ラベル学習は、弱い教師付き学習環境であり、各トレーニング例に候補ラベルのセットをアノテートすることができる。
部分ラベル学習に関する従来の研究は、候補ラベルがすべて離散的な分類設定のみに焦点を当てていた。
本稿では,各トレーニング例に実値付き候補ラベルのセットをアノテートした部分ラベル回帰を初めて検討する。
論文 参考訳(メタデータ) (2023-06-15T09:02:24Z) - Adversary-Aware Partial label learning with Label distillation [47.18584755798137]
本稿では、Ad-Aware partial Label Learningを紹介し、各インスタンスの候補ラベルのコレクションに、ノイズの多いラベルのセットである$textitrival$を紹介します。
提案手法は, CIFAR10, CIFAR100, CUB200データセットに対して有望な結果を得る。
論文 参考訳(メタデータ) (2023-04-02T10:18:30Z) - Label Inference Attack against Split Learning under Regression Setting [24.287752556622312]
回帰モデルのシナリオにおいて,プライベートラベルが連続数である場合の漏洩について検討する。
グラデーション情報と追加学習正規化目標を統合した,新たな学習ベースアタックを提案する。
論文 参考訳(メタデータ) (2023-01-18T03:17:24Z) - Exploiting Completeness and Uncertainty of Pseudo Labels for Weakly
Supervised Video Anomaly Detection [149.23913018423022]
弱教師付きビデオ異常検出は、ビデオレベルのラベルのみを用いて、ビデオ内の異常事象を特定することを目的としている。
2段階の自己学習法は擬似ラベルの自己生成によって著しく改善されている。
本稿では,自己学習のための完全性と不確実性を利用した強化フレームワークを提案する。
論文 参考訳(メタデータ) (2022-12-08T05:53:53Z) - Dist-PU: Positive-Unlabeled Learning from a Label Distribution
Perspective [89.5370481649529]
本稿では,PU学習のためのラベル分布視点を提案する。
そこで本研究では,予測型と基底型のラベル分布間のラベル分布の整合性を追求する。
提案手法の有効性を3つのベンチマークデータセットで検証した。
論文 参考訳(メタデータ) (2022-12-06T07:38:29Z) - Acknowledging the Unknown for Multi-label Learning with Single Positive
Labels [65.5889334964149]
伝統的に、全ての無注釈ラベルは、単一正のマルチラベル学習(SPML)において負のラベルとして仮定される。
本研究では, 予測確率のエントロピーを最大化するエントロピー最大化(EM)損失を提案する。
非通知ラベルの正負ラベル不均衡を考慮し、非対称耐性戦略とより精密な監視を行うセルフペースト手順を備えた非対称擬似ラベル(APL)を提案する。
論文 参考訳(メタデータ) (2022-03-30T11:43:59Z) - Part-based Pseudo Label Refinement for Unsupervised Person
Re-identification [29.034390810078172]
教師なしの人物再識別(re-ID)は、ラベルなしデータから人物検索のための識別表現を学習することを目的としている。
近年の手法では擬似ラベルを用いることでこの課題が達成されているが,これらのラベルは本質的にノイズが多く,精度が低下している。
本稿では,グローバルな特徴と部分的特徴の相補関係を利用して,ラベルノイズを低減するPseudo Label Refinement (PPLR) フレームワークを提案する。
論文 参考訳(メタデータ) (2022-03-28T12:15:53Z) - Does Label Differential Privacy Prevent Label Inference Attacks? [26.87328379562665]
ラベル差分プライバシー(ラベルDP)は、パブリック機能と機密性の高いプライベートラベルを持つデータセット上で、プライベートMLモデルをトレーニングするための一般的なフレームワークである。
厳格なプライバシー保証にもかかわらず、実際にはラベルDPはラベル推論攻撃(LIAs)を妨げない。
論文 参考訳(メタデータ) (2022-02-25T20:57:29Z) - Label Leakage and Protection in Two-party Split Learning [31.55902526103684]
本稿では,不均衡な二項分類設定でその答えを検討する。
まず,当事者間のコミュニケーション勾配のノルムを用いた単純な手法であるノームアタックが,参加者の接地ラベルをほとんど明らかにできることを示す。
そこで我々は,ラベル検出の最悪のエラーを直接最大化する原理的手法を考案した。
論文 参考訳(メタデータ) (2021-02-17T00:01:49Z) - Does label smoothing mitigate label noise? [57.76529645344897]
ラベルの平滑化はラベルノイズ下での損失補正と競合することを示す。
ノイズの多いデータからモデルを蒸留する場合,教師のラベルの平滑化は有益であることを示す。
論文 参考訳(メタデータ) (2020-03-05T18:43:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。