論文の概要: iDLG: Improved Deep Leakage from Gradients

• arxiv url: http://arxiv.org/abs/2001.02610v1
• Date: Wed, 8 Jan 2020 16:45:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-13 09:39:56.831279
• Title: iDLG: Improved Deep Leakage from Gradients
• Title（参考訳）: iDLG: グラディエンスからのディープリークの改善
• Authors: Bo Zhao, Konda Reddy Mopuri, Hakan Bilen
• Abstract要約: 共有勾配は、分散学習システムにおけるプライベートトレーニングデータを漏らさないと広く信じられている。 本稿では,勾配から正確なデータを抽出するための簡易かつ信頼性の高い手法を提案する。 提案手法は,1ホットラベル上でのクロスエントロピー損失を訓練した任意の微分可能モデルに対して有効である。
• 参考スコア（独自算出の注目度）: 36.14340188365505
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It is widely believed that sharing gradients will not leak private training data in distributed learning systems such as Collaborative Learning and Federated Learning, etc. Recently, Zhu et al. presented an approach which shows the possibility to obtain private training data from the publicly shared gradients. In their Deep Leakage from Gradient (DLG) method, they synthesize the dummy data and corresponding labels with the supervision of shared gradients. However, DLG has difficulty in convergence and discovering the ground-truth labels consistently. In this paper, we find that sharing gradients definitely leaks the ground-truth labels. We propose a simple but reliable approach to extract accurate data from the gradients. Particularly, our approach can certainly extract the ground-truth labels as opposed to DLG, hence we name it Improved DLG (iDLG). Our approach is valid for any differentiable model trained with cross-entropy loss over one-hot labels. We mathematically illustrate how our method can extract ground-truth labels from the gradients and empirically demonstrate the advantages over DLG.
• Abstract（参考訳）: コラボレーション学習やフェデレート学習などの分散学習システムでは,共有勾配がプライベートトレーニングデータを漏らさないことが広く信じられている。 最近、Zhuらは、公に共有される勾配からプライベートトレーニングデータを取得する可能性を示すアプローチを提示した。 dlg法(deep leak from gradient)では、ダミーデータと対応するラベルを共有勾配の監督の下で合成する。 しかし、DLGはコンバージェンスに難色を呈し、ゼロトラストラベルを一貫して発見する。 本稿では,グラデーションの共有が明らかに接地ラベルを漏らすことを見出した。 勾配から正確なデータを抽出するための簡易かつ信頼性の高い手法を提案する。 特に,本手法はDLGとは対照的に,基盤構造ラベルを抽出できるので,改良DLG (iDLG) と命名する。 我々のアプローチは、1つのホットラベルでクロスエントロピー損失を訓練された任意の微分可能なモデルに対して有効である。 本手法は,勾配から地下構造ラベルを抽出する方法を数学的に説明し,DLGの利点を実証的に示す。

関連論文リスト

• Training on Fake Labels: Mitigating Label Leakage in Split Learning via Secure Dimension Transformation [10.404379188947383]
  ふたつのパーティ分割学習は、ラベル推論攻撃を生き残ることが証明されている。 そこで本稿では,既存のラベル推論攻撃を防御する二者分割学習手法を提案する。
  論文  参考訳（メタデータ） (2024-10-11T09:25:21Z)
• Two Trades is not Baffled: Condensing Graph via Crafting Rational Gradient Matching [50.30124426442228]
  大規模グラフの学習はグラフ表現学習において顕著な成果を上げてきたが、そのコストと記憶力の増大が懸念されている。 そこで我々は,textbfCraftextbfTing textbfRationatextbf (textbfCTRL) という新しいグラフ手法を提案する。
  論文  参考訳（メタデータ） (2024-02-07T14:49:10Z)
• The Manifold Hypothesis for Gradient-Based Explanations [55.01671263121624]
  勾配に基づく説明アルゴリズムは知覚的に整合した説明を提供する。 特徴属性がデータの接する空間と一致しているほど、知覚的に一致している傾向にあることを示す。 説明アルゴリズムは、その説明をデータ多様体と整合させるよう積極的に努力すべきである。
  論文  参考訳（メタデータ） (2022-06-15T08:49:24Z)
• Gradient Inversion Attack: Leaking Private Labels in Two-Party Split Learning [12.335698325757491]
  本稿では,ラベル所有者がラベル所有者のプライベートラベルを学習できるようにするラベル漏洩攻撃を提案する。 本攻撃では,複数クラスの画像分類問題と2値変換予測タスクについて,ほぼ完全精度でプライベートラベルデータを明らかにすることができる。 この手法は単純なデータセットに有効であるが、入力次元がより高くなるデータセットの実用性を著しく低下させる。
  論文  参考訳（メタデータ） (2021-11-25T16:09:59Z)
• Revealing and Protecting Labels in Distributed Training [3.18475216176047]
  本稿では,最終層の勾配とラベルマッピングへのIDのみから,トレーニングサンプルのラベル集合を発見する手法を提案する。 本稿では,画像分類と自動音声認識という2つの領域におけるモデル学習の有効性を示す。
  論文  参考訳（メタデータ） (2021-10-31T17:57:49Z)
• CAFE: Catastrophic Data Leakage in Vertical Federated Learning [65.56360219908142]
  近年の研究では、分散機械学習システムにデプロイされた勾配共有機構を通じて、プライベートトレーニングデータがリークされることが示されている。 本稿では,共有集約勾配からバッチデータを効率よく回収する理論的正当性を持つ高度なデータ漏洩攻撃を提案する。
  論文  参考訳（メタデータ） (2021-10-26T23:22:58Z)
• Gradient Imitation Reinforcement Learning for Low Resource Relation Extraction [52.63803634033647]
  低リソース関係抽出(LRE)は,人間のアノテーションが不足している場合に,ラベル付きコーパスから関係事実を抽出することを目的としている。 我々は、擬似ラベルデータにラベル付きデータへの勾配降下方向を模倣するように促すグラディエント・イミテーション強化学習法を開発した。 また,低リソース関係抽出における2つの主要なシナリオを扱うGradLREというフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-14T03:51:15Z)
• Quantifying Information Leakage from Gradients [8.175697239083474]
  トレーニングデータの代わりにディープニューラルネットワークの勾配を共有することで、コラボレーティブラーニングにおけるデータのプライバシが向上する可能性がある。 しかし実際には、勾配はプライベート潜在属性とオリジナルデータの両方を明らかにすることができる。 トレーニングデータ上で計算された勾配から、元の情報漏洩と潜時情報漏洩の両方を定量化するために、数学的メトリクスが必要である。
  論文  参考訳（メタデータ） (2021-05-28T15:47:44Z)
• User Label Leakage from Gradients in Federated Learning [12.239472997714804]
  フェデレートラーニング(Federated Learning)は、複数のユーザがモデル更新(段階的)を共有することで、ジョイントモデルを構築することを可能にする。 本稿では,Gradients (LLG) のラベル漏洩を,共有勾配からユーザのトレーニングデータのラベルを抽出する新たな攻撃法を提案する。
  論文  参考訳（メタデータ） (2021-05-19T19:21:05Z)
• Understanding Gradient Clipping in Private SGD: A Geometric Perspective [68.61254575987013]
  ディープラーニングモデルは、トレーニングデータが機密情報を含む可能性がある多くの機械学習アプリケーションで、ますます人気が高まっている。 多くの学習システムは、(異なる)プライベートSGDでモデルをトレーニングすることで、差分プライバシーを取り入れている。 各プライベートSGDアップデートにおける重要なステップは勾配クリッピングであり、L2ノルムがしきい値を超えると、個々の例の勾配を小さくする。
  論文  参考訳（メタデータ） (2020-06-27T19:08:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。