論文の概要: Understanding Training-Data Leakage from Gradients in Neural Networks
for Image Classification
- arxiv url: http://arxiv.org/abs/2111.10178v1
- Date: Fri, 19 Nov 2021 12:14:43 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-22 21:09:13.678914
- Title: Understanding Training-Data Leakage from Gradients in Neural Networks
for Image Classification
- Title（参考訳）: 画像分類のためのニューラルネットワークの勾配からのトレーニングデータ漏洩の理解
- Authors: Cangxiong Chen, Neill D.F. Campbell
- Abstract要約: 多くのアプリケーションでは、IPやプライバシの懸念からトレーニングデータが漏洩することを防ぐために、トレーニングデータを保護する必要があります。
近年の研究では、アーキテクチャが分かっていれば、画像分類モデルの勾配からトレーニングデータを再構築できることが示されている。
我々は各層に対して反復的に最適化問題を解くものとして、データ再構成のトレーニング問題を定式化する。
私たちは、ディープネットワーク内のトレーニングデータの潜在的漏洩を、そのアーキテクチャに関連付けることができます。
- 参考スコア（独自算出の注目度）: 11.272188531829016
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated learning of deep learning models for supervised tasks, e.g. image
classification and segmentation, has found many applications: for example in
human-in-the-loop tasks such as film post-production where it enables sharing
of domain expertise of human artists in an efficient and effective fashion. In
many such applications, we need to protect the training data from being leaked
when gradients are shared in the training process due to IP or privacy
concerns. Recent works have demonstrated that it is possible to reconstruct the
training data from gradients for an image-classification model when its
architecture is known. However, there is still an incomplete theoretical
understanding of the efficacy and failure of such attacks. In this paper, we
analyse the source of training-data leakage from gradients. We formulate the
problem of training data reconstruction as solving an optimisation problem
iteratively for each layer. The layer-wise objective function is primarily
defined by weights and gradients from the current layer as well as the output
from the reconstruction of the subsequent layer, but it might also involve a
'pull-back' constraint from the preceding layer. Training data can be
reconstructed when we solve the problem backward from the output of the network
through each layer. Based on this formulation, we are able to attribute the
potential leakage of the training data in a deep network to its architecture.
We also propose a metric to measure the level of security of a deep learning
model against gradient-based attacks on the training data.
- Abstract（参考訳）: 教師付きタスクのためのディープラーニングモデルのフェデレーション学習(例えば、画像分類やセグメンテーション)は、例えばフィルムポストプロダクションのような、人間のアーティストのドメイン知識を効率的かつ効果的に共有できるヒューマンインザループタスクにおいて、多くの応用を見出した。
多くのアプリケーションでは、IPやプライバシの懸念により、トレーニングプロセスで勾配が共有されている場合、トレーニングデータの漏洩を防止する必要があります。
近年の研究では、アーキテクチャが分かっていれば、画像分類モデルの勾配からトレーニングデータを再構築できることが示されている。
しかし、そのような攻撃の有効性と失敗についてはまだ不完全な理論的理解が残っている。
本稿では,勾配からのトレーニングデータ漏洩源の解析を行う。
各層に対する最適化問題の反復解として,データ再構成のトレーニング問題を定式化する。
層別目的関数は、主に現在の層からの重みと勾配と、それに続く層の再構築からの出力によって定義されるが、前層からの'プルバック'制約も含む。
各層を通してネットワークの出力から逆方向の問題を解くと、トレーニングデータを再構築することができる。
この定式化に基づき、深層ネットワークにおけるトレーニングデータの潜在的漏洩を、そのアーキテクチャに分類することができる。
また,学習データに対する勾配に基づく攻撃に対して,ディープラーニングモデルのセキュリティレベルを測定する指標を提案する。
関連論文リスト
- R-CONV: An Analytical Approach for Efficient Data Reconstruction via Convolutional Gradients [40.209183669098735]
本稿では,畳み込み層の勾配を効率的に利用するための高度なデータ漏洩手法を提案する。
我々の知る限りでは、これは勾配から直接畳み込み層の入力を再構築する最初の分析手法である。
論文 参考訳（メタデータ） (2024-06-06T16:28:04Z) - Take A Shortcut Back: Mitigating the Gradient Vanishing for Training Spiking Neural Networks [15.691263438655842]
Spiking Neural Network(SNN)は生物学的にインスパイアされたニューラルネットワーク基盤であり、最近大きな注目を集めている。
SNNの訓練は、発射スパイクプロセスの未定義の勾配のため、直接的に挑戦する。
本論文では,損失から浅い層に直接勾配を伝達する手法を提案する。
論文 参考訳（メタデータ） (2024-01-09T10:54:41Z) - Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning
Interference with Gradient Projection [56.292071534857946]
最近のデータプライバシ法は、機械学習への関心を喚起している。
課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。
我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。
トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
論文 参考訳（メタデータ） (2023-12-07T07:17:24Z) - Optimal transfer protocol by incremental layer defrosting [66.76153955485584]
トランスファーラーニングは、限られた量のデータでモデルトレーニングを可能にする強力なツールである。
最も単純な転送学習プロトコルは、データリッチなソースタスクで事前訓練されたネットワークの機能抽出層を凍結する。
このプロトコルは、しばしば準最適であり、事前学習されたネットワークの小さな部分を凍結したままにしておくと、最大の性能向上が達成される可能性がある。
論文 参考訳（メタデータ） (2023-03-02T17:32:11Z) - Understanding Reconstruction Attacks with the Neural Tangent Kernel and
Dataset Distillation [110.61853418925219]
我々は、データセット再構築攻撃のより強力なバージョンを構築し、無限の幅で設定されたエンペントリアルトレーニングを確実に回復する方法を示す。
理論的にも経験的にも再構成された画像は、データセットの「外部」に傾向を示す。
これらのリコンストラクション攻撃は, テクストデータセット蒸留において, 再構成画像上で再トレーニングを行い, 高い予測精度を得ることができる。
論文 参考訳（メタデータ） (2023-02-02T21:41:59Z) - Reconstructing Training Data from Model Gradient, Provably [68.21082086264555]
ランダムに選択されたパラメータ値で1つの勾配クエリからトレーニングサンプルを再構成する。
センシティブなトレーニングデータを示す証明可能な攻撃として、われわれの発見はプライバシーに対する深刻な脅威を示唆している。
論文 参考訳（メタデータ） (2022-12-07T15:32:22Z) - Analysing Training-Data Leakage from Gradients through Linear Systems
and Gradient Matching [8.071506311915396]
グラデーションからのトレーニングデータ漏洩を分析するための新しいフレームワークを提案する。
我々は、解析的および最適化に基づく勾配誘導攻撃の両方から洞察を得る。
また,勾配に基づく攻撃に対するディープラーニングモデルのセキュリティレベルを測定する指標を提案する。
論文 参考訳（メタデータ） (2022-10-20T08:53:20Z) - Unsupervised Restoration of Weather-affected Images using Deep Gaussian
Process-based CycleGAN [92.15895515035795]
本稿では,CycleGANに基づくディープネットワークの監視手法について述べる。
我々は,より効果的なトレーニングにつながるCycleGANのトレーニングに新たな損失を導入し,高品質な再構築を実現した。
提案手法は, 脱落, 脱落, 脱落といった様々な修復作業に効果的に適用できることを実証する。
論文 参考訳（メタデータ） (2022-04-23T01:30:47Z) - Revealing and Protecting Labels in Distributed Training [3.18475216176047]
本稿では,最終層の勾配とラベルマッピングへのIDのみから,トレーニングサンプルのラベル集合を発見する手法を提案する。
本稿では,画像分類と自動音声認識という2つの領域におけるモデル学習の有効性を示す。
論文 参考訳（メタデータ） (2021-10-31T17:57:49Z) - Adversarially-Trained Deep Nets Transfer Better: Illustration on Image
Classification [53.735029033681435]
トランスファーラーニングは、訓練済みのディープニューラルネットワークを画像認識タスクに新しいドメインに適用するための強力な方法論である。
本研究では,非逆学習モデルよりも逆学習モデルの方が優れていることを示す。
論文 参考訳（メタデータ） (2020-07-11T22:48:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。