論文の概要: Label Leakage and Protection from Forward Embedding in Vertical Federated Learning

• arxiv url: http://arxiv.org/abs/2203.01451v2
• Date: Fri, 4 Mar 2022 01:54:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-07 12:12:58.738590
• Title: Label Leakage and Protection from Forward Embedding in Vertical Federated Learning
• Title（参考訳）: 垂直フェデレート学習におけるラベル漏洩と前方埋め込みからの保護
• Authors: Jiankai Sun and Xin Yang and Yuanshun Yao and Chong Wang
• Abstract要約: 共有中間埋め込みからプライベートラベルを盗むことができる実用的なラベル推論手法を提案する。 ラベル攻撃の有効性は、中間埋め込みと対応するプライベートラベルとの相関から区別できない。
• 参考スコア（独自算出の注目度）: 19.96017956261838
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vertical federated learning (vFL) has gained much attention and been deployed to solve machine learning problems with data privacy concerns in recent years. However, some recent work demonstrated that vFL is vulnerable to privacy leakage even though only the forward intermediate embedding (rather than raw features) and backpropagated gradients (rather than raw labels) are communicated between the involved participants. As the raw labels often contain highly sensitive information, some recent work has been proposed to prevent the label leakage from the backpropagated gradients effectively in vFL. However, these work only identified and defended the threat of label leakage from the backpropagated gradients. None of these work has paid attention to the problem of label leakage from the intermediate embedding. In this paper, we propose a practical label inference method which can steal private labels effectively from the shared intermediate embedding even though some existing protection methods such as label differential privacy and gradients perturbation are applied. The effectiveness of the label attack is inseparable from the correlation between the intermediate embedding and corresponding private labels. To mitigate the issue of label leakage from the forward embedding, we add an additional optimization goal at the label party to limit the label stealing ability of the adversary by minimizing the distance correlation between the intermediate embedding and corresponding private labels. We conducted massive experiments to demonstrate the effectiveness of our proposed protection methods.
• Abstract（参考訳）: 垂直連合学習(vFL)は近年注目を集め、データプライバシに関する機械学習の問題を解決するためにデプロイされている。 しかし、最近の研究でvFLは、(生の特徴ではなく)前方中間の埋め込みと(生のラベルではなく)後方プロパゲート勾配だけが関係する参加者間で通信されているにもかかわらず、プライバシー漏洩に弱いことが示されている。 ラベルには高感度情報が含まれていることが多いため, バックプロパゲート勾配からのラベル漏洩を効果的に防止するための最近の研究が提案されている。 しかし、これらの研究はバックプロパゲート勾配からのラベルリークの脅威を識別し、防いだだけだった。 これらの研究は、中間埋め込みからラベルリークの問題に注意を払っていない。 本稿では,ラベル差分プライバシーや勾配摂動といった既存の保護手法を適用した場合でも,共有中間埋め込みからプライベートラベルを効果的に盗むことができる実用的なラベル推論手法を提案する。 ラベル攻撃の有効性は、中間埋め込みと対応するプライベートラベルとの相関から区別できない。 先行組込みからのラベルリーク問題を軽減するため,中間組込みと対応するプライベートラベル間の距離相関を最小化することにより,相手のラベル盗み能力を制限するために,ラベルパーティに追加の最適化目標を付加する。 提案手法の有効性を実証するために大規模実験を行った。

関連論文リスト

• Mixed Blessing: Class-Wise Embedding guided Instance-Dependent Partial Label Learning [53.64180787439527]
  部分ラベル学習(PLL)では、各サンプルは、基底トラスラベルと複数のノイズラベルからなる候補ラベルセットに関連付けられている。 初めて、各サンプルに対してクラスワイドな埋め込みを作成し、インスタンス依存のノイズラベルの関係を調査できるようにします。 ラベルの曖昧さを低減するため,グローバルな特徴情報を含むクラスプロトタイプのコンセプトを紹介した。
  論文  参考訳（メタデータ） (2024-12-06T13:25:39Z)
• Learning from Concealed Labels [5.235218636685312]
  複数クラス分類のための隠れラベルから学習する,各インスタンスのプライバシ保護のための新しい設定を提案する。 ラベル収集段階では、機密ラベルがラベルセットに現れるのを防止し、機密データを注釈付けするための隠蔽ラベルとしてランダムにサンプリングされた無機密ラベルを指定しない。
  論文  参考訳（メタデータ） (2024-12-03T08:00:19Z)
• KDk: A Defense Mechanism Against Label Inference Attacks in Vertical Federated Learning [2.765106384328772]
  Vertical Federated Learning (VFL) のシナリオでは、サンプルのラベルは、ラベル所有者である集約サーバを除くすべてのパーティからプライベートに保持される。 最近の研究で、サーバからボトムモデルに返される勾配情報を利用することで、敵がプライベートラベルを推測できることが判明した。 我々は,KDkという,知識蒸留とk匿名を組み合わせて防御機構を提供する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-18T17:51:02Z)
• Defending Label Inference Attacks in Split Learning under Regression Setting [20.77178463903939]
  Split Learning(スプリットラーニング)は、垂直的フェデレートラーニングを実装するためのプライバシー保護手法である。 本稿では,回帰条件下でのスプリット学習におけるラベル推論攻撃に着目した。 我々はRandom Label Extension (RLE)を提案し、そこでラベルを拡張して勾配に含まれるラベル情報を難読化する。 そこで本研究では,モデルに基づく適応ラベル拡張(MLE)を提案する。
  論文  参考訳（メタデータ） (2023-08-18T10:22:31Z)
• Adversary-Aware Partial label learning with Label distillation [47.18584755798137]
  本稿では、Ad-Aware partial Label Learningを紹介し、各インスタンスの候補ラベルのコレクションに、ノイズの多いラベルのセットである$textitrival$を紹介します。 提案手法は, CIFAR10, CIFAR100, CUB200データセットに対して有望な結果を得る。
  論文  参考訳（メタデータ） (2023-04-02T10:18:30Z)
• Label Inference Attack against Split Learning under Regression Setting [24.287752556622312]
  回帰モデルのシナリオにおいて,プライベートラベルが連続数である場合の漏洩について検討する。 グラデーション情報と追加学習正規化目標を統合した,新たな学習ベースアタックを提案する。
  論文  参考訳（メタデータ） (2023-01-18T03:17:24Z)
• Exploiting Completeness and Uncertainty of Pseudo Labels for Weakly Supervised Video Anomaly Detection [149.23913018423022]
  弱教師付きビデオ異常検出は、ビデオレベルのラベルのみを用いて、ビデオ内の異常事象を特定することを目的としている。 2段階の自己学習法は擬似ラベルの自己生成によって著しく改善されている。 本稿では,自己学習のための完全性と不確実性を利用した強化フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-08T05:53:53Z)
• Dist-PU: Positive-Unlabeled Learning from a Label Distribution Perspective [89.5370481649529]
  本稿では,PU学習のためのラベル分布視点を提案する。 そこで本研究では,予測型と基底型のラベル分布間のラベル分布の整合性を追求する。 提案手法の有効性を3つのベンチマークデータセットで検証した。
  論文  参考訳（メタデータ） (2022-12-06T07:38:29Z)
• Protecting Split Learning by Potential Energy Loss [70.81375125791979]
  我々は、分割学習の前方埋め込みからのプライバシー漏洩に焦点を当てる。 我々は、前方埋め込みをより「複雑化」させるためのエネルギー損失の可能性を提案する。
  論文  参考訳（メタデータ） (2022-10-18T06:21:11Z)
• Does Label Differential Privacy Prevent Label Inference Attacks? [26.87328379562665]
  ラベル差分プライバシー(ラベルDP)は、パブリック機能と機密性の高いプライベートラベルを持つデータセット上で、プライベートMLモデルをトレーニングするための一般的なフレームワークである。 厳格なプライバシー保証にもかかわらず、実際にはラベルDPはラベル推論攻撃(LIAs)を妨げない。
  論文  参考訳（メタデータ） (2022-02-25T20:57:29Z)
• Does label smoothing mitigate label noise? [57.76529645344897]
  ラベルの平滑化はラベルノイズ下での損失補正と競合することを示す。 ノイズの多いデータからモデルを蒸留する場合,教師のラベルの平滑化は有益であることを示す。
  論文  参考訳（メタデータ） (2020-03-05T18:43:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。