論文の概要: Analysing Training-Data Leakage from Gradients through Linear Systems
and Gradient Matching
- arxiv url: http://arxiv.org/abs/2210.13231v1
- Date: Thu, 20 Oct 2022 08:53:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-25 18:31:05.872200
- Title: Analysing Training-Data Leakage from Gradients through Linear Systems
and Gradient Matching
- Title（参考訳）: 線形システムと勾配マッチングによる勾配からのトレーニングデータ漏洩の解析
- Authors: Cangxiong Chen, Neill D. F. Campbell
- Abstract要約: グラデーションからのトレーニングデータ漏洩を分析するための新しいフレームワークを提案する。
我々は、解析的および最適化に基づく勾配誘導攻撃の両方から洞察を得る。
また,勾配に基づく攻撃に対するディープラーニングモデルのセキュリティレベルを測定する指標を提案する。
- 参考スコア（独自算出の注目度）: 8.071506311915396
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent works have demonstrated that it is possible to reconstruct training
images and their labels from gradients of an image-classification model when
its architecture is known. Unfortunately, there is still an incomplete
theoretical understanding of the efficacy and failure of these gradient-leakage
attacks. In this paper, we propose a novel framework to analyse training-data
leakage from gradients that draws insights from both analytic and
optimisation-based gradient-leakage attacks. We formulate the reconstruction
problem as solving a linear system from each layer iteratively, accompanied by
corrections using gradient matching. Under this framework, we claim that the
solubility of the reconstruction problem is primarily determined by that of the
linear system at each layer. As a result, we are able to partially attribute
the leakage of the training data in a deep network to its architecture. We also
propose a metric to measure the level of security of a deep learning model
against gradient-based attacks on the training data.
- Abstract（参考訳）: 近年の研究では、そのアーキテクチャが分かっていれば、画像分類モデルの勾配からトレーニング画像とそのラベルを再構築できることが示されている。
残念ながら、これらの勾配誘導攻撃の有効性と失敗についてはまだ不完全な理論的理解が残っている。
本稿では,解析的および最適化に基づくグラデーション・リーカド攻撃からの洞察を引き出す,グラデーションからのトレーニングデータ漏洩を解析するための新しい枠組みを提案する。
各層から線形系を反復的に解き、勾配マッチングによる補正を伴って再構成問題を定式化する。
この枠組みの下では、再構成問題の溶解度は各層における線形系の溶解度によって決定される。
その結果,深層ネットワークにおけるトレーニングデータの漏洩を,そのアーキテクチャに部分的に分類することが可能となった。
また,学習データに対する勾配に基づく攻撃に対して,ディープラーニングモデルのセキュリティレベルを測定する指標を提案する。
関連論文リスト
- R-CONV: An Analytical Approach for Efficient Data Reconstruction via Convolutional Gradients [40.209183669098735]
本稿では,畳み込み層の勾配を効率的に利用するための高度なデータ漏洩手法を提案する。
我々の知る限りでは、これは勾配から直接畳み込み層の入力を再構築する最初の分析手法である。
論文 参考訳（メタデータ） (2024-06-06T16:28:04Z) - Understanding Reconstruction Attacks with the Neural Tangent Kernel and
Dataset Distillation [110.61853418925219]
我々は、データセット再構築攻撃のより強力なバージョンを構築し、無限の幅で設定されたエンペントリアルトレーニングを確実に回復する方法を示す。
理論的にも経験的にも再構成された画像は、データセットの「外部」に傾向を示す。
これらのリコンストラクション攻撃は, テクストデータセット蒸留において, 再構成画像上で再トレーニングを行い, 高い予測精度を得ることができる。
論文 参考訳（メタデータ） (2023-02-02T21:41:59Z) - Reconstructing Training Data from Model Gradient, Provably [68.21082086264555]
ランダムに選択されたパラメータ値で1つの勾配クエリからトレーニングサンプルを再構成する。
センシティブなトレーニングデータを示す証明可能な攻撃として、われわれの発見はプライバシーに対する深刻な脅威を示唆している。
論文 参考訳（メタデータ） (2022-12-07T15:32:22Z) - Minimizing the Accumulated Trajectory Error to Improve Dataset
Distillation [151.70234052015948]
本稿では,フラットな軌道を求める最適化アルゴリズムを提案する。
合成データに基づいてトレーニングされた重みは、平坦な軌道への正規化を伴う累積誤差摂動に対して頑健であることを示す。
本手法はFTD (Flat Trajectory Distillation) と呼ばれ, 勾配整合法の性能を最大4.7%向上させる。
論文 参考訳（メタデータ） (2022-11-20T15:49:11Z) - Regression as Classification: Influence of Task Formulation on Neural
Network Features [16.239708754973865]
ニューラルネットワークは、勾配に基づく手法を用いて2乗損失を最小限に抑えることにより、回帰問題を解決するために訓練することができる。
実践者は、しばしば回帰を分類問題として再編成し、クロスエントロピー損失のトレーニングがより良いパフォーマンスをもたらすことを観察する。
2層ReLUネットワークに着目して、勾配に基づく最適化によって引き起こされる暗黙のバイアスが、この現象を部分的に説明できるかを検討する。
論文 参考訳（メタデータ） (2022-11-10T15:13:23Z) - Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。
勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。
勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
論文 参考訳（メタデータ） (2022-10-13T15:09:54Z) - RISP: Rendering-Invariant State Predictor with Differentiable Simulation
and Rendering for Cross-Domain Parameter Estimation [110.4255414234771]
既存のソリューションでは、大量のトレーニングデータが必要か、未知のレンダリング設定への一般化性が欠如している。
本稿では、ドメインのランダム化と微分可能なレンダリング勾配を併用してこの問題に対処する手法を提案する。
提案手法は, 再構成誤差を大幅に低減し, 未知のレンダリング構成間の一般化性が向上する。
論文 参考訳（メタデータ） (2022-05-11T17:59:51Z) - Unsupervised Restoration of Weather-affected Images using Deep Gaussian
Process-based CycleGAN [92.15895515035795]
本稿では,CycleGANに基づくディープネットワークの監視手法について述べる。
我々は,より効果的なトレーニングにつながるCycleGANのトレーニングに新たな損失を導入し,高品質な再構築を実現した。
提案手法は, 脱落, 脱落, 脱落といった様々な修復作業に効果的に適用できることを実証する。
論文 参考訳（メタデータ） (2022-04-23T01:30:47Z) - Understanding Training-Data Leakage from Gradients in Neural Networks
for Image Classification [11.272188531829016]
多くのアプリケーションでは、IPやプライバシの懸念からトレーニングデータが漏洩することを防ぐために、トレーニングデータを保護する必要があります。
近年の研究では、アーキテクチャが分かっていれば、画像分類モデルの勾配からトレーニングデータを再構築できることが示されている。
我々は各層に対して反復的に最適化問題を解くものとして、データ再構成のトレーニング問題を定式化する。
私たちは、ディープネットワーク内のトレーニングデータの潜在的漏洩を、そのアーキテクチャに関連付けることができます。
論文 参考訳（メタデータ） (2021-11-19T12:14:43Z) - Revealing and Protecting Labels in Distributed Training [3.18475216176047]
本稿では,最終層の勾配とラベルマッピングへのIDのみから,トレーニングサンプルのラベル集合を発見する手法を提案する。
本稿では,画像分類と自動音声認識という2つの領域におけるモデル学習の有効性を示す。
論文 参考訳（メタデータ） (2021-10-31T17:57:49Z) - A block coordinate descent optimizer for classification problems
exploiting convexity [0.0]
隠れ層の重み付けにおけるクロスエントロピー損失の凸性を利用した分類タスクのためのディープ線形ネットワークに座標降下法を導入する。
線形層に対する大域的最適パラメータと隠蔽層への勾配勾配を求める2次法とを交互に組み合わせることで、トレーニング全体を通してデータに対する適応基底の最適適合性を確保する。
論文 参考訳（メタデータ） (2020-06-17T19:49:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。