論文の概要: R-CONV: An Analytical Approach for Efficient Data Reconstruction via Convolutional Gradients
- arxiv url: http://arxiv.org/abs/2406.04227v1
- Date: Thu, 6 Jun 2024 16:28:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-07 13:59:57.821827
- Title: R-CONV: An Analytical Approach for Efficient Data Reconstruction via Convolutional Gradients
- Title（参考訳）: R-CONV:畳み込み勾配による効率的なデータ再構成のための解析的アプローチ
- Authors: Tamer Ahmed Eltaras, Qutaibah Malluhi, Alessandro Savino, Stefano Di Carlo, Adnan Qayyum, Junaid Qadir,
- Abstract要約: 本稿では,畳み込み層の勾配を効率的に利用するための高度なデータ漏洩手法を提案する。
我々の知る限りでは、これは勾配から直接畳み込み層の入力を再構築する最初の分析手法である。
- 参考スコア（独自算出の注目度）: 40.209183669098735
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In the effort to learn from extensive collections of distributed data, federated learning has emerged as a promising approach for preserving privacy by using a gradient-sharing mechanism instead of exchanging raw data. However, recent studies show that private training data can be leaked through many gradient attacks. While previous analytical-based attacks have successfully reconstructed input data from fully connected layers, their effectiveness diminishes when applied to convolutional layers. This paper introduces an advanced data leakage method to efficiently exploit convolutional layers' gradients. We present a surprising finding: even with non-fully invertible activation functions, such as ReLU, we can analytically reconstruct training samples from the gradients. To the best of our knowledge, this is the first analytical approach that successfully reconstructs convolutional layer inputs directly from the gradients, bypassing the need to reconstruct layers' outputs. Prior research has mainly concentrated on the weight constraints of convolution layers, overlooking the significance of gradient constraints. Our findings demonstrate that existing analytical methods used to estimate the risk of gradient attacks lack accuracy. In some layers, attacks can be launched with less than 5% of the reported constraints.
- Abstract（参考訳）: 分散データの大規模な収集から学ぶために、フェデレーション学習は、生データを交換する代わりに勾配共有機構を使用することで、プライバシを保護するための有望なアプローチとして登場した。
しかし、最近の研究では、多くのグラデーションアタックによってプライベートトレーニングデータがリークされることが示されている。
従来の分析に基づく攻撃は、完全に接続された層から入力データを再構成することに成功しているが、畳み込み層に適用した場合、その効果は低下する。
本稿では,畳み込み層の勾配を効率的に利用するための高度なデータ漏洩手法を提案する。
ReLUのような非完全可逆的活性化関数であっても、勾配からトレーニングサンプルを解析的に再構築することができる。
我々の知る限りでは、これは、階層の出力を再構築する必要性を回避し、勾配から直接畳み込み層入力を再構築する最初の分析的アプローチである。
それまでの研究は主に、勾配制約の意義を見越して、畳み込み層の重み制約に焦点を合わせてきた。
以上の結果から,グラデーション攻撃のリスクを推定する既存の分析手法では精度が低いことが示唆された。
一部のレイヤでは、報告された制約の5%未満でアタックを起動することができる。
関連論文リスト
- Towards Eliminating Hard Label Constraints in Gradient Inversion Attacks [88.12362924175741]
グラディエント・インバージョン・アタックは、フェデレート学習フレームワークで公開された中間勾配から局所的なトレーニングデータを再構築することを目的としている。
以前のメソッドは、単一のデータポイントの再構築から始まり、単一イメージの制限をバッチレベルに緩和することから始まり、ハードラベルの制約の下でのみテストされる。
単入力勾配から最後の完全連結層の入力特徴と地下構造ラベルを同時に復元する新しいアルゴリズムを最初に開始する。
論文 参考訳（メタデータ） (2024-02-05T15:51:34Z) - Rethinking PGD Attack: Is Sign Function Necessary? [131.6894310945647]
本稿では,このような手話に基づく更新アルゴリズムが段階的攻撃性能にどのように影響するかを理論的に分析する。
本稿では,手話の使用を排除したRGDアルゴリズムを提案する。
提案したRGDアルゴリズムの有効性は実験で広く実証されている。
論文 参考訳（メタデータ） (2023-12-03T02:26:58Z) - A Theoretical Insight into Attack and Defense of Gradient Leakage in
Transformer [11.770915202449517]
グラディエント(DLG)攻撃によるDeep Leakageは、交換勾配を検査してセンシティブなトレーニングデータを抽出する方法として、広く普及している。
本研究は, 変圧器モデルに特に適用した場合の勾配漏洩法を包括的に解析する。
論文 参考訳（メタデータ） (2023-11-22T09:58:01Z) - Minimizing the Accumulated Trajectory Error to Improve Dataset
Distillation [151.70234052015948]
本稿では,フラットな軌道を求める最適化アルゴリズムを提案する。
合成データに基づいてトレーニングされた重みは、平坦な軌道への正規化を伴う累積誤差摂動に対して頑健であることを示す。
本手法はFTD (Flat Trajectory Distillation) と呼ばれ, 勾配整合法の性能を最大4.7%向上させる。
論文 参考訳（メタデータ） (2022-11-20T15:49:11Z) - Analysing Training-Data Leakage from Gradients through Linear Systems
and Gradient Matching [8.071506311915396]
グラデーションからのトレーニングデータ漏洩を分析するための新しいフレームワークを提案する。
我々は、解析的および最適化に基づく勾配誘導攻撃の両方から洞察を得る。
また,勾配に基づく攻撃に対するディープラーニングモデルのセキュリティレベルを測定する指標を提案する。
論文 参考訳（メタデータ） (2022-10-20T08:53:20Z) - Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。
勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。
勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
論文 参考訳（メタデータ） (2022-10-13T15:09:54Z) - Understanding Training-Data Leakage from Gradients in Neural Networks
for Image Classification [11.272188531829016]
多くのアプリケーションでは、IPやプライバシの懸念からトレーニングデータが漏洩することを防ぐために、トレーニングデータを保護する必要があります。
近年の研究では、アーキテクチャが分かっていれば、画像分類モデルの勾配からトレーニングデータを再構築できることが示されている。
我々は各層に対して反復的に最適化問題を解くものとして、データ再構成のトレーニング問題を定式化する。
私たちは、ディープネットワーク内のトレーニングデータの潜在的漏洩を、そのアーキテクチャに関連付けることができます。
論文 参考訳（メタデータ） (2021-11-19T12:14:43Z) - Imputation-Free Learning from Incomplete Observations [73.15386629370111]
本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。
バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。
我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
論文 参考訳（メタデータ） (2021-07-05T12:44:39Z) - Quantifying Information Leakage from Gradients [8.175697239083474]
トレーニングデータの代わりにディープニューラルネットワークの勾配を共有することで、コラボレーティブラーニングにおけるデータのプライバシが向上する可能性がある。
しかし実際には、勾配はプライベート潜在属性とオリジナルデータの両方を明らかにすることができる。
トレーニングデータ上で計算された勾配から、元の情報漏洩と潜時情報漏洩の両方を定量化するために、数学的メトリクスが必要である。
論文 参考訳（メタデータ） (2021-05-28T15:47:44Z) - R-GAP: Recursive Gradient Attack on Privacy [5.687523225718642]
フェデレートラーニング(Federated Learning)は、プライバシの要求と、分散データの大規模なコレクションから学ぶという約束の間のジレンマを打破する、有望なアプローチである。
ディープニューラルネットワークの勾配からデータを復元するクローズドフォーム再帰法を提案する。
また,特定のネットワークアーキテクチャに固有の勾配攻撃のリスクを推定するランク解析手法を提案する。
論文 参考訳（メタデータ） (2020-10-15T13:22:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。