論文の概要: Reconstructing Training Data from Multiclass Neural Networks

• arxiv url: http://arxiv.org/abs/2305.03350v1
• Date: Fri, 5 May 2023 08:11:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-08 14:47:37.000586
• Title: Reconstructing Training Data from Multiclass Neural Networks
• Title（参考訳）: マルチクラスニューラルネットワークによるトレーニングデータの再構成
• Authors: Gon Buzaglo, Niv Haim, Gilad Yehudai, Gal Vardi and Michal Irani
• Abstract要約: トレーニングされたニューラルネットワークのトレーニングセットからサンプルを再構築することは、大きなプライバシー上の懸念事項である。 マルチクラス設定ではトレーニングデータ再構成が可能であり,バイナリ分類の場合よりも再構築品質がさらに高いことを示す。
• 参考スコア（独自算出の注目度）: 20.736732081151363
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reconstructing samples from the training set of trained neural networks is a major privacy concern. Haim et al. (2022) recently showed that it is possible to reconstruct training samples from neural network binary classifiers, based on theoretical results about the implicit bias of gradient methods. In this work, we present several improvements and new insights over this previous work. As our main improvement, we show that training-data reconstruction is possible in the multi-class setting and that the reconstruction quality is even higher than in the case of binary classification. Moreover, we show that using weight-decay during training increases the vulnerability to sample reconstruction. Finally, while in the previous work the training set was of size at most $1000$ from $10$ classes, we show preliminary evidence of the ability to reconstruct from a model trained on $5000$ samples from $100$ classes.
• Abstract（参考訳）: トレーニングされたニューラルネットワークのトレーニングセットからサンプルを再構成することは、プライバシの大きな懸念である。 Haim et al. (2022) は、勾配法の暗黙バイアスに関する理論的結果に基づいて、ニューラルネットワークバイナリ分類器からトレーニングサンプルを再構築可能であることを示した。 この作業では、前回の作業に対するいくつかの改善と新たな洞察を提示します。 主な改善点として,多クラス設定ではトレーニングデータ再構成が可能であり,二分分類の場合よりも再構築品質がさらに高いことを示す。 さらに,トレーニング中に重み付けを使用すると,サンプル再構成の脆弱性が増大することを示した。 最後に、前回の作業では、トレーニングセットのサイズは10ドルクラスから1,000ドル以上でしたが、100ドルクラスから5000ドルサンプルでトレーニングされたモデルから再構築できることの予備的な証拠を示します。

関連論文リスト

• Deconstructing Data Reconstruction: Multiclass, Weight Decay and General Losses [28.203535970330343]
  Haim et al. (2022) は多層パーセプトロンバイナリ分類器からトレーニングサンプルを再構成する手法を提案した。 我々は、多クラスニューラルネットワークや畳み込みニューラルネットワークからの再構成を含む、いくつかの方向で研究結果を拡張した。 本稿では,ネットワークのこのような再建計画への感受性に寄与する諸要因について検討する。
  論文  参考訳（メタデータ） (2023-07-04T17:09:49Z)
• Understanding Reconstruction Attacks with the Neural Tangent Kernel and Dataset Distillation [110.61853418925219]
  我々は、データセット再構築攻撃のより強力なバージョンを構築し、無限の幅で設定されたエンペントリアルトレーニングを確実に回復する方法を示す。 理論的にも経験的にも再構成された画像は、データセットの「外部」に傾向を示す。 これらのリコンストラクション攻撃は, テクストデータセット蒸留において, 再構成画像上で再トレーニングを行い, 高い予測精度を得ることができる。
  論文  参考訳（メタデータ） (2023-02-02T21:41:59Z)
• Reconstructing Training Data from Model Gradient, Provably [68.21082086264555]
  ランダムに選択されたパラメータ値で1つの勾配クエリからトレーニングサンプルを再構成する。 センシティブなトレーニングデータを示す証明可能な攻撃として、われわれの発見はプライバシーに対する深刻な脅威を示唆している。
  論文  参考訳（メタデータ） (2022-12-07T15:32:22Z)
• Reconstructing Training Data from Trained Neural Networks [42.60217236418818]
  いくつかのケースでは、トレーニングデータのかなりの部分が、実際にトレーニングされたニューラルネットワーク分類器のパラメータから再構成可能であることを示す。 本稿では,勾配に基づくニューラルネットワークの学習における暗黙バイアスに関する最近の理論的結果から,新たな再構成手法を提案する。
  論文  参考訳（メタデータ） (2022-06-15T18:35:16Z)
• Last Layer Re-Training is Sufficient for Robustness to Spurious Correlations [51.552870594221865]
  最後の層再トレーニングは,突発的な相関ベンチマークにおいて,最先端の手法と一致するか,あるいは性能的に優れていることを示す。 また,大規模な画像ネット学習モデルにおける最終層の再トレーニングにより,背景情報やテクスチャ情報への依存を著しく低減できることを示す。
  論文  参考訳（メタデータ） (2022-04-06T16:55:41Z)
• Few-shot Transfer Learning for Holographic Image Reconstruction using a Recurrent Neural Network [0.30586855806896046]
  ホログラフィック画像再構成ディープニューラルネットワークを,小さなデータセットを用いて新しいタイプのサンプルに迅速に一般化する,数発の転写学習手法を提案する。 提案手法の有効性を,小型ホログラフデータセットを用いた新しいタイプのサンプルに適用し,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2022-01-27T05:51:36Z)
• Logarithmic Continual Learning [11.367079056418957]
  本稿では、連続学習モデルの生成的リハーサルにおける自己リハーサルステップの数を対数的に減少させるニューラルネットワークアーキテクチャを提案する。 継続学習(CL)では、トレーニングサンプルがその後のタスクに反映され、トレーニングされたモデルが一度に1つのタスクにしかアクセスできない。
  論文  参考訳（メタデータ） (2022-01-17T17:29:16Z)
• Neural Capacitance: A New Perspective of Neural Network Selection via Edge Dynamics [85.31710759801705]
  現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。 本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。 我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
  論文  参考訳（メタデータ） (2022-01-11T20:53:15Z)
• Taylorized Training: Towards Better Approximation of Neural Network Training at Finite Width [116.69845849754186]
  Taylorized Trainingは、ニューラルネットワークの$k$-orderTaylor拡張をトレーニングする。 我々は、Taylorized Trainingが完全なニューラルネットワークトレーニングに同意していることを示します。 本実験は, 広帯域ニューラルネットワークにおいて, 近似誤差$k$-階Taylorized Modelが指数関数的に$k$以上減衰することを示す理論的結果と相補する。
  論文  参考訳（メタデータ） (2020-02-10T18:37:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。