論文の概要: Quantifying Information Leakage from Gradients
- arxiv url: http://arxiv.org/abs/2105.13929v1
- Date: Fri, 28 May 2021 15:47:44 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-31 13:29:58.882129
- Title: Quantifying Information Leakage from Gradients
- Title（参考訳）: 勾配情報漏洩の定量化
- Authors: Fan Mo, Anastasia Borovykh, Mohammad Malekzadeh, Hamed Haddadi,
Soteris Demetriou
- Abstract要約: トレーニングデータの代わりにディープニューラルネットワークの勾配を共有することで、コラボレーティブラーニングにおけるデータのプライバシが向上する可能性がある。
しかし実際には、勾配はプライベート潜在属性とオリジナルデータの両方を明らかにすることができる。
トレーニングデータ上で計算された勾配から、元の情報漏洩と潜時情報漏洩の両方を定量化するために、数学的メトリクスが必要である。
- 参考スコア（独自算出の注目度）: 8.175697239083474
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sharing deep neural networks' gradients instead of training data could
facilitate data privacy in collaborative learning. In practice however,
gradients can disclose both private latent attributes and original data.
Mathematical metrics are needed to quantify both original and latent
information leakages from gradients computed over the training data. In this
work, we first use an adaptation of the empirical $\mathcal{V}$-information to
present an information-theoretic justification for the attack success rates in
a layer-wise manner. We then move towards a deeper understanding of gradient
leakages and propose more general and efficient metrics, using sensitivity and
subspace distance to quantify the gradient changes w.r.t. original and latent
information, respectively. Our empirical results, on six datasets and four
models, reveal that gradients of the first layers contain the highest amount of
original information, while the classifier/fully-connected layers placed after
the feature extractor contain the highest latent information. Further, we show
how training hyperparameters such as gradient aggregation can decrease
information leakages. Our characterization provides a new understanding on
gradient-based information leakages using the gradients' sensitivity w.r.t.
changes in private information, and portends possible defenses such as
layer-based protection or strong aggregation.
- Abstract（参考訳）: トレーニングデータの代わりにディープニューラルネットワークの勾配を共有することで、協調学習におけるデータのプライバシが向上する可能性がある。
しかし実際には、勾配はプライベート潜在属性とオリジナルデータの両方を明らかにすることができる。
トレーニングデータ上で計算された勾配から元の情報と潜在情報の両方を定量化するには、数学的メトリクスが必要である。
本研究ではまず,実証的な$\mathcal{V}$-informationの適応を用いて,攻撃成功率に関する情報理論的正当性を示す。
次に、勾配の漏洩をより深く理解し、感度とサブスペース距離を使って、より汎用的で効率的なメトリクスを提案し、勾配の変化を定量化する。
オリジナル情報と潜伏情報です
その結果,6つのデータセットと4つのモデルを用いた実験結果から,第1層の勾配が最も高い原情報を含むことが明らかとなった。
さらに,勾配集約などのトレーニングハイパーパラメータが情報漏洩を低減する方法を示す。
我々の特徴は勾配の感度 w.r.t を用いた勾配情報漏洩の新しい理解を提供する。
プライベート情報の変更と、レイヤベースの保護や強力なアグリゲーションといった防御策の強化。
関連論文リスト
- R-CONV: An Analytical Approach for Efficient Data Reconstruction via Convolutional Gradients [40.209183669098735]
本稿では,畳み込み層の勾配を効率的に利用するための高度なデータ漏洩手法を提案する。
我々の知る限りでは、これは勾配から直接畳み込み層の入力を再構築する最初の分析手法である。
論文 参考訳（メタデータ） (2024-06-06T16:28:04Z) - How to guess a gradient [68.98681202222664]
我々は、勾配が以前考えられていたよりもより構造化されていることを示す。
この構造をエクスプロイトすると、勾配のない最適化スキームが大幅に改善される。
厳密な勾配の最適化と勾配の推測の間に大きなギャップを克服する上での新たな課題を強調した。
論文 参考訳（メタデータ） (2023-12-07T21:40:44Z) - Reconstructing Training Data from Model Gradient, Provably [68.21082086264555]
ランダムに選択されたパラメータ値で1つの勾配クエリからトレーニングサンプルを再構成する。
センシティブなトレーニングデータを示す証明可能な攻撃として、われわれの発見はプライバシーに対する深刻な脅威を示唆している。
論文 参考訳（メタデータ） (2022-12-07T15:32:22Z) - Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。
勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。
勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
論文 参考訳（メタデータ） (2022-10-13T15:09:54Z) - The Manifold Hypothesis for Gradient-Based Explanations [55.01671263121624]
勾配に基づく説明アルゴリズムは知覚的に整合した説明を提供する。
特徴属性がデータの接する空間と一致しているほど、知覚的に一致している傾向にあることを示す。
説明アルゴリズムは、その説明をデータ多様体と整合させるよう積極的に努力すべきである。
論文 参考訳（メタデータ） (2022-06-15T08:49:24Z) - Auditing Privacy Defenses in Federated Learning via Generative Gradient
Leakage [9.83989883339971]
Federated Learning (FL)フレームワークは、分散学習システムにプライバシーの利点をもたらす。
近年の研究では、共有情報を通じて個人情報を漏洩させることが報告されている。
我々は,GGL(Generative Gradient Leakage)と呼ばれる新しいタイプのリーク手法を提案する。
論文 参考訳（メタデータ） (2022-03-29T15:59:59Z) - Weakly Supervised Change Detection Using Guided Anisotropic Difusion [97.43170678509478]
我々は、このようなデータセットを変更検出の文脈で活用するのに役立つ独自のアイデアを提案する。
まず,意味的セグメンテーション結果を改善する誘導異方性拡散(GAD)アルゴリズムを提案する。
次に、変化検出に適した2つの弱い教師付き学習戦略の可能性を示す。
論文 参考訳（メタデータ） (2021-12-31T10:03:47Z) - Understanding Training-Data Leakage from Gradients in Neural Networks
for Image Classification [11.272188531829016]
多くのアプリケーションでは、IPやプライバシの懸念からトレーニングデータが漏洩することを防ぐために、トレーニングデータを保護する必要があります。
近年の研究では、アーキテクチャが分かっていれば、画像分類モデルの勾配からトレーニングデータを再構築できることが示されている。
我々は各層に対して反復的に最適化問題を解くものとして、データ再構成のトレーニング問題を定式化する。
私たちは、ディープネットワーク内のトレーニングデータの潜在的漏洩を、そのアーキテクチャに関連付けることができます。
論文 参考訳（メタデータ） (2021-11-19T12:14:43Z) - Large Scale Private Learning via Low-rank Reparametrization [77.38947817228656]
本稿では、大規模ニューラルネットワークに微分プライベートSGDを適用する際の課題を解決するために、再パラメータ化方式を提案する。
BERTモデルにディファレンシャルプライバシを適用し、4つの下流タスクで平均精度が8,3.9%に達するのはこれが初めてである。
論文 参考訳（メタデータ） (2021-06-17T10:14:43Z) - A Quantitative Metric for Privacy Leakage in Federated Learning [22.968763654455298]
クライアントが勾配における情報漏洩の潜在的なリスクを評価するために、相互情報に基づく定量的指標を提案します。
情報漏洩のリスクは、タスクモデルの状態だけでなく、固有のデータ分布に関連していることが証明されています。
論文 参考訳（メタデータ） (2021-02-24T02:48:35Z) - Layer-wise Characterization of Latent Information Leakage in Federated
Learning [9.397152006395174]
フェデレートされた学習を通じてディープニューラルネットワークをトレーニングすることで、クライアントは元のデータではなく、データに基づいてトレーニングされたモデルのみを共有することができる。
従来の研究は、クライアントのプライベート情報が、メインの学習タスクとは無関係に、モデルの勾配から発見できることを実証している。
共有された更新モデルや勾配を通じて、プライベート情報の漏洩を定量化するための公式なアプローチはまだ存在しない。
論文 参考訳（メタデータ） (2020-10-17T10:49:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。