論文の概要: Understanding Reconstruction Attacks with the Neural Tangent Kernel and Dataset Distillation

• arxiv url: http://arxiv.org/abs/2302.01428v2
• Date: Thu, 9 Nov 2023 21:07:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-13 18:27:02.282862
• Title: Understanding Reconstruction Attacks with the Neural Tangent Kernel and Dataset Distillation
• Title（参考訳）: ニューラルネットワークカーネルとデータセット蒸留による再構成攻撃の理解
• Authors: Noel Loo, Ramin Hasani, Mathias Lechner, Alexander Amini, Daniela Rus
• Abstract要約: 我々は、データセット再構築攻撃のより強力なバージョンを構築し、無限の幅で設定されたエンペントリアルトレーニングを確実に回復する方法を示す。 理論的にも経験的にも再構成された画像は、データセットの「外部」に傾向を示す。 これらのリコンストラクション攻撃は, テクストデータセット蒸留において, 再構成画像上で再トレーニングを行い, 高い予測精度を得ることができる。
• 参考スコア（独自算出の注目度）: 110.61853418925219
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Modern deep learning requires large volumes of data, which could contain sensitive or private information that cannot be leaked. Recent work has shown for homogeneous neural networks a large portion of this training data could be reconstructed with only access to the trained network parameters. While the attack was shown to work empirically, there exists little formal understanding of its effective regime which datapoints are susceptible to reconstruction. In this work, we first build a stronger version of the dataset reconstruction attack and show how it can provably recover the \emph{entire training set} in the infinite width regime. We then empirically study the characteristics of this attack on two-layer networks and reveal that its success heavily depends on deviations from the frozen infinite-width Neural Tangent Kernel limit. Next, we study the nature of easily-reconstructed images. We show that both theoretically and empirically, reconstructed images tend to "outliers" in the dataset, and that these reconstruction attacks can be used for \textit{dataset distillation}, that is, we can retrain on reconstructed images and obtain high predictive accuracy.
• Abstract（参考訳）: 現代のディープラーニングには大量のデータが必要であり、リークできない機密情報やプライベート情報を含む可能性がある。 最近の研究では、このトレーニングデータの大部分は、トレーニング済みのネットワークパラメータにのみアクセスすることで再構成可能であることが示されている。 攻撃は経験的に働くことが示されているが、データポイントが復元に影響を受けやすい、その効果的な体制について正式な理解はほとんど存在しない。 本研究は,まず,データセット再構築攻撃のより強力なバージョンを構築し,無限幅の条件下での 'emph{entire training set} の再現性を示す。 次に,2層ネットワークに対する攻撃特性を実験的に検討し,その成功は,凍結した無限幅の神経接核限界からの逸脱に大きく依存することを明らかにした。 次に,容易に再構成できる画像の性質について検討する。 理論上および経験上、再構成された画像はデータセット内で「異常値」になりがちであり、これらの復元攻撃は \textit{dataset distillation}、つまり再構成された画像を再訓練し、高い予測精度を得ることができる。

関連論文リスト

• Reconstructing Training Data from Model Gradient, Provably [68.21082086264555]
  ランダムに選択されたパラメータ値で1つの勾配クエリからトレーニングサンプルを再構成する。 センシティブなトレーニングデータを示す証明可能な攻撃として、われわれの発見はプライバシーに対する深刻な脅威を示唆している。
  論文  参考訳（メタデータ） (2022-12-07T15:32:22Z)
• Reconstructing Training Data from Trained Neural Networks [42.60217236418818]
  いくつかのケースでは、トレーニングデータのかなりの部分が、実際にトレーニングされたニューラルネットワーク分類器のパラメータから再構成可能であることを示す。 本稿では,勾配に基づくニューラルネットワークの学習における暗黙バイアスに関する最近の理論的結果から,新たな再構成手法を提案する。
  論文  参考訳（メタデータ） (2022-06-15T18:35:16Z)
• Unsupervised Restoration of Weather-affected Images using Deep Gaussian Process-based CycleGAN [92.15895515035795]
  本稿では,CycleGANに基づくディープネットワークの監視手法について述べる。 我々は,より効果的なトレーニングにつながるCycleGANのトレーニングに新たな損失を導入し,高品質な再構築を実現した。 提案手法は, 脱落, 脱落, 脱落といった様々な修復作業に効果的に適用できることを実証する。
  論文  参考訳（メタデータ） (2022-04-23T01:30:47Z)
• Last Layer Re-Training is Sufficient for Robustness to Spurious Correlations [51.552870594221865]
  最後の層再トレーニングは,突発的な相関ベンチマークにおいて,最先端の手法と一致するか,あるいは性能的に優れていることを示す。 また,大規模な画像ネット学習モデルにおける最終層の再トレーニングにより,背景情報やテクスチャ情報への依存を著しく低減できることを示す。
  論文  参考訳（メタデータ） (2022-04-06T16:55:41Z)
• Reconstructing Training Data with Informed Adversaries [30.138217209991826]
  機械学習モデルへのアクセスを考えると、敵はモデルのトレーニングデータを再構築できるだろうか? 本研究は、この疑問を、学習データポイントの全てを知っている強力な情報提供者のレンズから研究する。 この厳密な脅威モデルにおいて、残りのデータポイントを再構築することは可能であることを示す。
  論文  参考訳（メタデータ） (2022-01-13T09:19:25Z)
• Is Deep Image Prior in Need of a Good Education? [57.3399060347311]
  画像再構成に有効な先行画像として, 奥行き画像が導入された。 その印象的な再建性にもかかわらず、学習技術や伝統的な再建技術と比べてアプローチは遅い。 計算課題に対処する2段階の学習パラダイムを開発する。
  論文  参考訳（メタデータ） (2021-11-23T15:08:26Z)
• Exploring the Security Boundary of Data Reconstruction via Neuron Exclusivity Analysis [23.07323180340961]
  線形整列ユニット(ReLUs)を用いたニューラルネットワーク上の微視的視点による勾配からのデータ再構成のセキュリティ境界について検討する。 ニューラルネットワークの安全性の低い境界にある訓練バッチの再構築において,従来の攻撃よりも大幅に優れる新しい決定論的攻撃アルゴリズムを構築した。
  論文  参考訳（メタデータ） (2020-10-26T05:54:47Z)
• Compressive sensing with un-trained neural networks: Gradient descent finds the smoothest approximation [60.80172153614544]
  訓練されていない畳み込みニューラルネットワークは、画像の回復と復元に非常に成功したツールとして登場した。 トレーニングされていない畳み込みニューラルネットワークは、ほぼ最小限のランダムな測定値から、十分に構造化された信号や画像を概ね再構成可能であることを示す。
  論文  参考訳（メタデータ） (2020-05-07T15:57:25Z)
• Pseudo Rehearsal using non photo-realistic images [0.0]
  ディープニューラルネットワークは、新しいタスクの学習に直面しているときに、以前の学習タスクを忘れる。 ニューラルネットワークを以前のタスクのトレーニングデータでリハーサルすることで、ネットワークが破滅的な忘れ物から保護することができる。 画像分類設定において、現在の手法は、フォトリアリスティックな合成データを生成しようとするが、ニューラルネットワークは、写真リアリスティックではなく、以前のタスクの良好な保持を実現しているデータに基づいてリハーサルできることを実証した。
  論文  参考訳（メタデータ） (2020-04-28T10:44:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。