論文の概要: Training on Fake Labels: Mitigating Label Leakage in Split Learning via Secure Dimension Transformation

• arxiv url: http://arxiv.org/abs/2410.09125v1
• Date: Fri, 11 Oct 2024 09:25:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 16:13:24.704072
• Title: Training on Fake Labels: Mitigating Label Leakage in Split Learning via Secure Dimension Transformation
• Title（参考訳）: フェイクラベルの学習:セキュア次元変換によるスプリットラーニングにおけるラベルリークの軽減
• Authors: Yukun Jiang, Peiran Wang, Chengguo Lin, Ziyue Huang, Yong Cheng,
• Abstract要約: ふたつのパーティ分割学習は、ラベル推論攻撃を生き残ることが証明されている。 そこで本稿では,既存のラベル推論攻撃を防御する二者分割学習手法を提案する。
• 参考スコア（独自算出の注目度）: 10.404379188947383
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Two-party split learning has emerged as a popular paradigm for vertical federated learning. To preserve the privacy of the label owner, split learning utilizes a split model, which only requires the exchange of intermediate representations (IRs) based on the inputs and gradients for each IR between two parties during the learning process. However, split learning has recently been proven to survive label inference attacks. Though several defense methods could be adopted, they either have limited defensive performance or significantly negatively impact the original mission. In this paper, we propose a novel two-party split learning method to defend against existing label inference attacks while maintaining the high utility of the learned models. Specifically, we first craft a dimension transformation module, SecDT, which could achieve bidirectional mapping between original labels and increased K-class labels to mitigate label leakage from the directional perspective. Then, a gradient normalization algorithm is designed to remove the magnitude divergence of gradients from different classes. We propose a softmax-normalized Gaussian noise to mitigate privacy leakage and make our K unknowable to adversaries. We conducted experiments on real-world datasets, including two binary-classification datasets (Avazu and Criteo) and three multi-classification datasets (MNIST, FashionMNIST, CIFAR-10); we also considered current attack schemes, including direction, norm, spectral, and model completion attacks. The detailed experiments demonstrate our proposed method's effectiveness and superiority over existing approaches. For instance, on the Avazu dataset, the attack AUC of evaluated four prominent attacks could be reduced by 0.4532+-0.0127.
• Abstract（参考訳）: 双方向分割学習は、垂直連合学習の一般的なパラダイムとして現れている。 ラベル所有者のプライバシを維持するために、スプリットラーニングは、学習プロセス中に各IRの入力と勾配に基づいて、中間表現(IR)を交換することのみを必要とする分割モデルを利用する。 しかし、最近、スプリットラーニングはラベル推論攻撃を生き残ることが証明されている。 いくつかの防衛方法は採用できるが、防御性能が限られるか、当初の任務に著しく悪影響を及ぼすかのいずれかである。 本稿では,学習モデルの高能率性を維持しつつ,既存のラベル推論攻撃を防御する,新たな2要素分割学習手法を提案する。 具体的には,まず次元変換モジュール SecDT を設計し,オリジナルラベル間の双方向マッピングとKクラスラベルの増大を実現し,指向性の観点からラベルの漏洩を緩和する。 次に、勾配正規化アルゴリズムは、異なるクラスから勾配の大きさのばらつきを取り除くように設計されている。 プライバシリークを軽減し,我々のKを敵に知られないようにするために,ソフトマックス正規化ガウス雑音を提案する。 我々は2つのバイナリ分類データセット(AvazuとCriteo)と3つのマルチ分類データセット(MNIST、FashionMNIST、CIFAR-10)を含む実世界のデータセットの実験を行った。 提案手法の有効性と既存手法よりも優れていることを示す。 例えば、アバズデータセットでは、評価された4つの顕著な攻撃の攻撃 AUC は 0.4532+-0.0127 に削減できる。

関連論文リスト

• Towards Modality-agnostic Label-efficient Segmentation with Entropy-Regularized Distribution Alignment [62.73503467108322]
  この話題は、3次元の点雲のセグメンテーションで広く研究されている。 近年まで、擬似ラベルは、限られた地道ラベルによる訓練を容易にするために広く用いられてきた。 既存の擬似ラベリングアプローチは、重複しないデータのノイズやバリエーションに悩まされる可能性がある。 本研究では,学習用擬似ラベルを正規化し,擬似ラベルとモデル予測とのギャップを効果的に狭める学習戦略を提案する。
  論文  参考訳（メタデータ） (2024-08-29T13:31:15Z)
• JointMatch: A Unified Approach for Diverse and Collaborative Pseudo-Labeling to Semi-Supervised Text Classification [65.268245109828]
  半教師付きテキスト分類(SSTC)は、ラベルのないデータを活用する能力によって注目を集めている。 擬似ラベルに基づく既存のアプローチは、擬似ラベルバイアスと誤り蓄積の問題に悩まされる。 我々は、最近の半教師付き学習からアイデアを統一することでこれらの課題に対処する、SSTCの総合的なアプローチであるJointMatchを提案する。
  論文  参考訳（メタデータ） (2023-10-23T05:43:35Z)
• Defending Label Inference Attacks in Split Learning under Regression Setting [20.77178463903939]
  Split Learning(スプリットラーニング)は、垂直的フェデレートラーニングを実装するためのプライバシー保護手法である。 本稿では,回帰条件下でのスプリット学習におけるラベル推論攻撃に着目した。 我々はRandom Label Extension (RLE)を提案し、そこでラベルを拡張して勾配に含まれるラベル情報を難読化する。 そこで本研究では,モデルに基づく適応ラベル拡張(MLE)を提案する。
  論文  参考訳（メタデータ） (2023-08-18T10:22:31Z)
• Label Inference Attack against Split Learning under Regression Setting [24.287752556622312]
  回帰モデルのシナリオにおいて,プライベートラベルが連続数である場合の漏洩について検討する。 グラデーション情報と追加学習正規化目標を統合した,新たな学習ベースアタックを提案する。
  論文  参考訳（メタデータ） (2023-01-18T03:17:24Z)
• Spacing Loss for Discovering Novel Categories [72.52222295216062]
  新たなクラスディスカバリ(NCD)は、マシンラーニングモデルがラベルのないデータからインスタンスを意味的にグループ化する、学習パラダイムである。 まず,ラベル付きデータとラベルなしデータを併用する必要があるかどうかに基づいて,既存のNCD手法を1段階および2段階の手法に特徴付ける。 多次元スケーリングのキューを用いて、潜在空間における分離性を強制する単純で強力な損失関数を考案する。
  論文  参考訳（メタデータ） (2022-04-22T09:37:11Z)
• Similarity-based Label Inference Attack against Training and Inference of Split Learning [13.104547182351332]
  分割学習は、プライバシを保存する分散学習のための有望なパラダイムである。 本稿では、スマッシュデータを含む交換された中間結果が、既にプライベートラベルを明らかにすることができることを示す。 トレーニングと推論の両段階において,プライベートラベルを効率よく回収する3つのラベル推論攻撃を提案する。
  論文  参考訳（メタデータ） (2022-03-10T08:02:03Z)
• Defending Label Inference and Backdoor Attacks in Vertical Federated Learning [11.319694528089773]
  共同学習では、好奇心が強いパリティは正直かもしれないが、推論攻撃を通じて他人の個人データを推測しようとしている。 本稿では,サンプルごとの勾配から,プライベートラベルを再構築可能であることを示す。 本稿では、オートエンコーダとエントロピー正規化に基づく、混乱型オートエンコーダ(CoAE)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-12-10T09:32:09Z)
• Gradient Inversion Attack: Leaking Private Labels in Two-Party Split Learning [12.335698325757491]
  本稿では,ラベル所有者がラベル所有者のプライベートラベルを学習できるようにするラベル漏洩攻撃を提案する。 本攻撃では,複数クラスの画像分類問題と2値変換予測タスクについて,ほぼ完全精度でプライベートラベルデータを明らかにすることができる。 この手法は単純なデータセットに有効であるが、入力次元がより高くなるデータセットの実用性を著しく低下させる。
  論文  参考訳（メタデータ） (2021-11-25T16:09:59Z)
• Staircase Sign Method for Boosting Adversarial Attacks [123.19227129979943]
  トランスファーベースの攻撃の敵の例を作るのは難しいし、研究のホットスポットだ。 そこで本研究では,この問題を緩和するための新しい階段サイン法(S$2$M)を提案する。 我々の手法は一般に転送ベースの攻撃と統合することができ、計算オーバーヘッドは無視できる。
  論文  参考訳（メタデータ） (2021-04-20T02:31:55Z)
• Adversarial Self-Supervised Contrastive Learning [62.17538130778111]
  既存の対数学習アプローチは、主にクラスラベルを使用して、誤った予測につながる対数サンプルを生成する。 本稿では,未ラベルデータに対する新たな逆攻撃を提案する。これにより,モデルが摂動データサンプルのインスタンスレベルのアイデンティティを混乱させる。 ラベル付きデータなしで頑健なニューラルネットワークを逆さまにトレーニングするための,自己教師付きコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-13T08:24:33Z)
• Attentive WaveBlock: Complementarity-enhanced Mutual Networks for Unsupervised Domain Adaptation in Person Re-identification and Beyond [97.25179345878443]
  本稿では,新しい軽量モジュールであるAttentive WaveBlock (AWB)を提案する。 AWBは相互学習の二重ネットワークに統合され、相互学習の相補性を高め、擬似ラベルのノイズをさらに抑えることができる。 実験により, 提案手法は, 複数のUDA人物再識別タスクを大幅に改善し, 最先端の性能を達成できることが実証された。
  論文  参考訳（メタデータ） (2020-06-11T15:40:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。