論文の概要: Dataset Distillation Fixes Dataset Reconstruction Attacks

• arxiv url: http://arxiv.org/abs/2302.01428v1
• Date: Thu, 2 Feb 2023 21:41:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-06 18:06:53.348062
• Title: Dataset Distillation Fixes Dataset Reconstruction Attacks
• Title（参考訳）: データセット蒸留がデータセット再構築攻撃を修正
• Authors: Noel Loo, Ramin Hasani, Mathias Lechner, Daniela Rus
• Abstract要約: 現代のディープラーニングは大量のデータを必要としており、漏洩できない機密情報やプライベート情報を含んでいる可能性がある。 最近の研究では、このトレーニングデータの大部分は、トレーニング済みのネットワークパラメータにのみアクセスすることで再構成可能であることが示されている。 データセット再構築攻撃がデータセット蒸留のバリエーションであることを初めて示す。
• 参考スコア（独自算出の注目度）: 58.06468516625362
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Modern deep learning requires large volumes of data, which could contain sensitive or private information which cannot be leaked. Recent work has shown for homogeneous neural networks a large portion of this training data could be reconstructed with only access to the trained network parameters. While the attack was shown to work empirically, there exists little formal understanding of its effectiveness regime, and ways to defend against it. In this work, we first build a stronger version of the dataset reconstruction attack and show how it can provably recover its entire training set in the infinite width regime. We then empirically study the characteristics of this attack on two-layer networks and reveal that its success heavily depends on deviations from the frozen infinite-width Neural Tangent Kernel limit. More importantly, we formally show for the first time that dataset reconstruction attacks are a variation of dataset distillation. This key theoretical result on the unification of dataset reconstruction and distillation not only sheds more light on the characteristics of the attack but enables us to design defense mechanisms against them via distillation algorithms.
• Abstract（参考訳）: 現代のディープラーニングには大量のデータが必要であり、リークできない機密情報やプライベート情報を含む可能性がある。 最近の研究では、このトレーニングデータの大部分は、トレーニング済みのネットワークパラメータにのみアクセスすることで再構成可能であることが示されている。 この攻撃は実証的に機能することが示されているが、その効果体制とそれに対する防御方法に関する正式な理解はほとんどない。 本研究では,まず,データセット再構築攻撃のより強力なバージョンを構築し,無限幅でトレーニングセット全体を確実に回復する方法を示す。 次に,2層ネットワークに対する攻撃特性を実験的に検討し,その成功は,凍結した無限幅の神経接核限界からの逸脱に大きく依存することを明らかにした。 さらに重要なことは、データセット再構築攻撃がデータセット蒸留のバリエーションであることを初めて正式に示すことである。 データセットの再構築と蒸留の統一に関するこの重要な理論的結果は、攻撃の特性により多くの光を放つだけでなく、蒸留アルゴリズムによってそれらに対する防御機構を設計することができる。

関連論文リスト

• Reconstructing Training Data from Model Gradient, Provably [68.21082086264555]
  ランダムに選択されたパラメータ値で1つの勾配クエリからトレーニングサンプルを再構成する。 センシティブなトレーニングデータを示す証明可能な攻撃として、われわれの発見はプライバシーに対する深刻な脅威を示唆している。
  論文  参考訳（メタデータ） (2022-12-07T15:32:22Z)
• Reconstructing Training Data from Trained Neural Networks [42.60217236418818]
  いくつかのケースでは、トレーニングデータのかなりの部分が、実際にトレーニングされたニューラルネットワーク分類器のパラメータから再構成可能であることを示す。 本稿では,勾配に基づくニューラルネットワークの学習における暗黙バイアスに関する最近の理論的結果から,新たな再構成手法を提案する。
  論文  参考訳（メタデータ） (2022-06-15T18:35:16Z)
• Unsupervised Restoration of Weather-affected Images using Deep Gaussian Process-based CycleGAN [92.15895515035795]
  本稿では,CycleGANに基づくディープネットワークの監視手法について述べる。 我々は,より効果的なトレーニングにつながるCycleGANのトレーニングに新たな損失を導入し,高品質な再構築を実現した。 提案手法は, 脱落, 脱落, 脱落といった様々な修復作業に効果的に適用できることを実証する。
  論文  参考訳（メタデータ） (2022-04-23T01:30:47Z)
• Last Layer Re-Training is Sufficient for Robustness to Spurious Correlations [51.552870594221865]
  最後の層再トレーニングは,突発的な相関ベンチマークにおいて,最先端の手法と一致するか,あるいは性能的に優れていることを示す。 また,大規模な画像ネット学習モデルにおける最終層の再トレーニングにより,背景情報やテクスチャ情報への依存を著しく低減できることを示す。
  論文  参考訳（メタデータ） (2022-04-06T16:55:41Z)
• Reconstructing Training Data with Informed Adversaries [30.138217209991826]
  機械学習モデルへのアクセスを考えると、敵はモデルのトレーニングデータを再構築できるだろうか? 本研究は、この疑問を、学習データポイントの全てを知っている強力な情報提供者のレンズから研究する。 この厳密な脅威モデルにおいて、残りのデータポイントを再構築することは可能であることを示す。
  論文  参考訳（メタデータ） (2022-01-13T09:19:25Z)
• Is Deep Image Prior in Need of a Good Education? [57.3399060347311]
  画像再構成に有効な先行画像として, 奥行き画像が導入された。 その印象的な再建性にもかかわらず、学習技術や伝統的な再建技術と比べてアプローチは遅い。 計算課題に対処する2段階の学習パラダイムを開発する。
  論文  参考訳（メタデータ） (2021-11-23T15:08:26Z)
• Exploring the Security Boundary of Data Reconstruction via Neuron Exclusivity Analysis [23.07323180340961]
  線形整列ユニット(ReLUs)を用いたニューラルネットワーク上の微視的視点による勾配からのデータ再構成のセキュリティ境界について検討する。 ニューラルネットワークの安全性の低い境界にある訓練バッチの再構築において,従来の攻撃よりも大幅に優れる新しい決定論的攻撃アルゴリズムを構築した。
  論文  参考訳（メタデータ） (2020-10-26T05:54:47Z)
• Compressive sensing with un-trained neural networks: Gradient descent finds the smoothest approximation [60.80172153614544]
  訓練されていない畳み込みニューラルネットワークは、画像の回復と復元に非常に成功したツールとして登場した。 トレーニングされていない畳み込みニューラルネットワークは、ほぼ最小限のランダムな測定値から、十分に構造化された信号や画像を概ね再構成可能であることを示す。
  論文  参考訳（メタデータ） (2020-05-07T15:57:25Z)
• Pseudo Rehearsal using non photo-realistic images [0.0]
  ディープニューラルネットワークは、新しいタスクの学習に直面しているときに、以前の学習タスクを忘れる。 ニューラルネットワークを以前のタスクのトレーニングデータでリハーサルすることで、ネットワークが破滅的な忘れ物から保護することができる。 画像分類設定において、現在の手法は、フォトリアリスティックな合成データを生成しようとするが、ニューラルネットワークは、写真リアリスティックではなく、以前のタスクの良好な保持を実現しているデータに基づいてリハーサルできることを実証した。
  論文  参考訳（メタデータ） (2020-04-28T10:44:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。