論文の概要: EXACT: Extensive Attack for Split Learning

• arxiv url: http://arxiv.org/abs/2305.12997v1
• Date: Mon, 22 May 2023 13:00:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-23 16:02:59.815914
• Title: EXACT: Extensive Attack for Split Learning
• Title（参考訳）: EXACT: 分割学習に対する大規模な攻撃
• Authors: Xinchi Qiu, Ilias Leontiadis, Luca Melis, Alex Sablayrolles, Pierre Stock
• Abstract要約: 我々は、スプリットラーニング(SL)に関連する潜在的なプライバシーリスクに関する洞察を提供する。 個人情報を再構築するための新しい攻撃手法EXACTを導入する。 以上の結果から,3つのデータセットにおいて,攻撃者の有効性が著しく向上することが示唆された。
• 参考スコア（独自算出の注目度）: 8.043224872048533
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Privacy-Preserving machine learning (PPML) can help us train and deploy models that utilize private information. In particular, on-device Machine Learning allows us to completely avoid sharing information with a third-party server during inference. However, on-device models are typically less accurate when compared to the server counterparts due to the fact that (1) they typically only rely on a small set of on-device features and (2) they need to be small enough to run efficiently on end-user devices. Split Learning (SL) is a promising approach that can overcome these limitations. In SL, a large machine learning model is divided into two parts, with the bigger part residing on the server-side and a smaller part executing on-device, aiming to incorporate the private features. However, end-to-end training of such models requires exchanging gradients at the cut layer, which might encode private features or labels. In this paper, we provide insights into potential privacy risks associated with SL and introduce a novel attack method, EXACT, to reconstruct private information. Furthermore, we also investigate the effectiveness of various mitigation strategies. Our results indicate that the gradients significantly improve the attacker's effectiveness in all three datasets reaching almost 100% reconstruction accuracy for some features. However, a small amount of differential privacy (DP) is quite effective in mitigating this risk without causing significant training degradation.
• Abstract（参考訳）: プライバシ保護機械学習(PPML)は、プライベート情報を利用したモデルのトレーニングとデプロイを支援する。 特に、オンデバイス機械学習は、推論中にサードパーティサーバとの情報の共有を完全に回避します。 しかし、デバイス上のモデルは通常、サーバのモデルに比べて正確性が低く、(1)デバイス上の小さな機能のみに依存し、(2)エンドユーザデバイス上で効率的に実行するのに十分なサイズでなければならない、という事実がある。 Split Learning(SL)は、これらの制限を克服できる有望なアプローチである。 SLでは、大規模な機械学習モデルが2つの部分に分割され、大きな部分はサーバ側にあり、小さな部分はデバイス上で実行され、プライベート機能を統合することを目的としている。 しかしながら、そのようなモデルのエンドツーエンドのトレーニングでは、プライベート機能やラベルをエンコードするカット層での勾配の交換が必要となる。 本稿では,SLに関連する潜在的なプライバシーリスクに関する知見を提供し,個人情報を再構築するための新たな攻撃手法であるEXACTを導入する。 さらに,様々な緩和戦略の有効性についても検討した。 以上の結果から,3つのデータセットすべてにおいて,攻撃者の有効性が有意に向上し,ほぼ100%の再現精度が得られた。 しかし、少数の差分プライバシー(DP)は、トレーニングの大幅な劣化を引き起こすことなく、このリスクを軽減するのに非常に効果的である。

関連論文リスト

• Love or Hate? Share or Split? Privacy-Preserving Training Using Split Learning and Homomorphic Encryption [47.86010265348072]
  Split Learning(SL)は、参加者がクライアントが生データを共有せずに機械学習モデルをトレーニングすることを可能にする、新たなコラボレーティブな学習テクニックである。 以前の研究は、アクティベーションマップの再構築がクライアントデータのプライバシー漏洩につながることを示した。 本稿では,U字型SLをベースとしたプロトコルを構築し,同義的に暗号化されたデータを操作することにより,従来の作業を改善する。
  論文  参考訳（メタデータ） (2023-09-19T10:56:08Z)
• Can Public Large Language Models Help Private Cross-device Federated Learning? [58.05449579773249]
  言語モデルのプライベート・フェデレーション・ラーニング(FL)について検討する。 公開データは、大小両方の言語モデルのプライバシーとユーティリティのトレードオフを改善するために使われてきた。 提案手法は,プライベートなデータ分布に近い公開データをサンプリングするための理論的基盤を持つ新しい分布マッチングアルゴリズムである。
  論文  参考訳（メタデータ） (2023-05-20T07:55:58Z)
• Split Ways: Privacy-Preserving Training of Encrypted Data Using Split Learning [6.916134299626706]
  Split Learning(SL)は、参加者がクライアントが生データを共有せずに機械学習モデルをトレーニングできる、新たなコラボレーティブ学習技術である。 以前の研究は、アクティベーションマップの再構築がクライアントデータのプライバシー漏洩につながることを示した。 本稿では,U字型SLをベースとしたプロトコルを構築し,同義的に暗号化されたデータを操作することにより,従来の作業を改善する。
  論文  参考訳（メタデータ） (2023-01-20T19:26:51Z)
• Dual Learning for Large Vocabulary On-Device ASR [64.10124092250128]
  デュアル・ラーニング(英: Dual learning)は、教師なしのデータを一度に2つの逆のタスクを解くことによって活用しようとする、半教師なし機械学習のパラダイムである。 本稿では,Librispeech全体をトレーニングしたオンデバイスサイズのストリーミングコンバータの解析を行い,LMを使わずにWERを10.7%/5.2%,LMを11.7%/16.4%改善したことを示す。
  論文  参考訳（メタデータ） (2023-01-11T06:32:28Z)
• Exploring the Limits of Differentially Private Deep Learning with Group-wise Clipping [91.60608388479645]
  本研究では, クリッピングとバックプロパゲーションを併用して, 異なる最適化手法でクリッピングを行えることを示す。 その結果、プライベートな学習は、記憶効率が良く、トレーニング更新あたりの速度は、多くの関心を持つ非プライベートな学習と同程度になる。
  論文  参考訳（メタデータ） (2022-12-03T05:20:15Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• Federated Split GANs [12.007429155505767]
  ユーザデバイス自体でMLモデルをトレーニングするための代替手法を提案する。 我々は、GAN(ジェネレーティブ・逆境ネットワーク)に注目し、その固有のプライバシー保護属性を活用する。 我々のシステムはデータのプライバシを保ち、短時間のトレーニング時間を保ち、制約のないデバイスで同じ精度でモデルトレーニングを行う。
  論文  参考訳（メタデータ） (2022-07-04T23:53:47Z)
• Binarizing Split Learning for Data Privacy Enhancement and Computation Reduction [8.40552206158625]
  Split Learning(SL)は、クライアントが生データを共有することなく、サーバとディープラーニングモデルを協調的にトレーニングすることで、データのプライバシ保護を可能にする。 本研究では、高速な計算とメモリ使用量の削減のために、SLローカル層を二項化することを提案する。 我々の結果は、プライバシー保護の要求が高い軽量IoT/モバイルアプリケーションに対して、B-SLモデルが有望であることを実証した。
  論文  参考訳（メタデータ） (2022-06-10T04:07:02Z)
• Truth Serum: Poisoning Machine Learning Models to Reveal Their Secrets [53.866927712193416]
  トレーニングデータセットを有害にすることができる敵が、このデータセットでトレーニングされたモデルに、他の当事者のプライベート詳細を漏洩させる可能性があることを示す。 私たちの攻撃は、メンバーシップ推論、属性推論、データ抽出に効果的です。 私たちの結果は、機械学習のためのマルチパーティプロトコルにおける暗号化プライバシ保証の関連性に疑問を投げかけました。
  論文  参考訳（メタデータ） (2022-03-31T18:06:28Z)
• Constrained Differentially Private Federated Learning for Low-bandwidth Devices [1.1470070927586016]
  本稿では,新しいプライバシー保護型連合学習方式を提案する。 これは、差分プライバシーに基づく理論上のプライバシー保証を提供する。 上流と下流の帯域幅を標準のフェデレート学習と比較して最大99.9%削減する。
  論文  参考訳（メタデータ） (2021-02-27T22:25:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。