論文の概要: Deconstructing Data Reconstruction: Multiclass, Weight Decay and General Losses

• arxiv url: http://arxiv.org/abs/2307.01827v2
• Date: Thu, 2 Nov 2023 20:05:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-06 17:42:14.012778
• Title: Deconstructing Data Reconstruction: Multiclass, Weight Decay and General Losses
• Title（参考訳）: データ再構築のデコンストラクション:マルチクラス、軽量化、一般的な損失
• Authors: Gon Buzaglo, Niv Haim, Gilad Yehudai, Gal Vardi, Yakir Oz, Yaniv Nikankin and Michal Irani
• Abstract要約: Haim et al. (2022) は多層パーセプトロンバイナリ分類器からトレーニングサンプルを再構成する手法を提案した。 我々は、多クラスニューラルネットワークや畳み込みニューラルネットワークからの再構成を含む、いくつかの方向で研究結果を拡張した。 本稿では,ネットワークのこのような再建計画への感受性に寄与する諸要因について検討する。
• 参考スコア（独自算出の注目度）: 28.203535970330343
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Memorization of training data is an active research area, yet our understanding of the inner workings of neural networks is still in its infancy. Recently, Haim et al. (2022) proposed a scheme to reconstruct training samples from multilayer perceptron binary classifiers, effectively demonstrating that a large portion of training samples are encoded in the parameters of such networks. In this work, we extend their findings in several directions, including reconstruction from multiclass and convolutional neural networks. We derive a more general reconstruction scheme which is applicable to a wider range of loss functions such as regression losses. Moreover, we study the various factors that contribute to networks' susceptibility to such reconstruction schemes. Intriguingly, we observe that using weight decay during training increases reconstructability both in terms of quantity and quality. Additionally, we examine the influence of the number of neurons relative to the number of training samples on the reconstructability. Code: https://github.com/gonbuzaglo/decoreco
• Abstract（参考訳）: トレーニングデータの記憶は活発な研究分野であるが、ニューラルネットワークの内部動作に関する我々の理解はまだ初期段階にある。 近年,haimら (2022) は多層型パーセプトロンバイナリ分類器からトレーニングサンプルを再構成する手法を提案し,トレーニングサンプルの大部分がそのようなネットワークのパラメータにエンコードされていることを効果的に証明した。 本研究では,マルチクラスニューラルネットワークや畳み込みニューラルネットワークからの再構成など,その知見をいくつかの方向に拡張する。 回帰損失のようなより広い範囲の損失関数に適用可能な、より一般的な再構成スキームを導出する。 さらに,ネットワークがそのような再構築計画に感受性を及ぼす様々な要因について検討した。 興味深いことに、トレーニング中に重量減少を使用することで、量と品質の両面で復元性が向上する。 さらに, トレーニング標本数に対するニューロン数の影響について検討した。 コード: https://github.com/gonbuzaglo/decoreco

関連論文リスト

• Riemannian Residual Neural Networks [58.925132597945634]
  残余ニューラルネットワーク(ResNet)の拡張方法を示す。 ResNetは、機械学習において、有益な学習特性、優れた経験的結果、そして様々なニューラルネットワークを構築する際に容易に組み込める性質のために、ユビキタスになった。
  論文  参考訳（メタデータ） (2023-10-16T02:12:32Z)
• Reconstructing Training Data from Multiclass Neural Networks [20.736732081151363]
  トレーニングされたニューラルネットワークのトレーニングセットからサンプルを再構築することは、大きなプライバシー上の懸念事項である。 マルチクラス設定ではトレーニングデータ再構成が可能であり,バイナリ分類の場合よりも再構築品質がさらに高いことを示す。
  論文  参考訳（メタデータ） (2023-05-05T08:11:00Z)
• Understanding Reconstruction Attacks with the Neural Tangent Kernel and Dataset Distillation [110.61853418925219]
  我々は、データセット再構築攻撃のより強力なバージョンを構築し、無限の幅で設定されたエンペントリアルトレーニングを確実に回復する方法を示す。 理論的にも経験的にも再構成された画像は、データセットの「外部」に傾向を示す。 これらのリコンストラクション攻撃は, テクストデータセット蒸留において, 再構成画像上で再トレーニングを行い, 高い予測精度を得ることができる。
  論文  参考訳（メタデータ） (2023-02-02T21:41:59Z)
• Global quantitative robustness of regression feed-forward neural networks [0.0]
  我々は回帰分解点の概念を回帰ニューラルネットワークに適用する。 我々は、故障率のプロキシにより、サンプル外損失によって測定された性能を比較した。 この結果は、ニューラルネットワークのトレーニングにロバストな損失関数を使うことを動機付けている。
  論文  参考訳（メタデータ） (2022-11-18T09:57:53Z)
• Reconstructing Training Data from Trained Neural Networks [42.60217236418818]
  いくつかのケースでは、トレーニングデータのかなりの部分が、実際にトレーニングされたニューラルネットワーク分類器のパラメータから再構成可能であることを示す。 本稿では,勾配に基づくニューラルネットワークの学習における暗黙バイアスに関する最近の理論的結果から,新たな再構成手法を提案する。
  論文  参考訳（メタデータ） (2022-06-15T18:35:16Z)
• The learning phases in NN: From Fitting the Majority to Fitting a Few [2.5991265608180396]
  本研究では、学習中のパラメータの進化に基づいて、入力と予測性能の層再構成能力を分析する。 また、ResNetやVGGといったコンピュータビジョンから、共通のデータセットやアーキテクチャを用いて行動を評価する。
  論文  参考訳（メタデータ） (2022-02-16T19:11:42Z)
• Is Deep Image Prior in Need of a Good Education? [57.3399060347311]
  画像再構成に有効な先行画像として, 奥行き画像が導入された。 その印象的な再建性にもかかわらず、学習技術や伝統的な再建技術と比べてアプローチは遅い。 計算課題に対処する2段階の学習パラダイムを開発する。
  論文  参考訳（メタデータ） (2021-11-23T15:08:26Z)
• Over-and-Under Complete Convolutional RNN for MRI Reconstruction [57.95363471940937]
  MR画像再構成のための最近のディープラーニングに基づく手法は、通常、汎用的なオートエンコーダアーキテクチャを利用する。 OUCR(Over-and-Under Complete Convolu?tional Recurrent Neural Network)を提案する。 提案手法は, トレーニング可能なパラメータの少ない圧縮されたセンシングと, 一般的なディープラーニングに基づく手法に対して, 大幅な改善を実現する。
  論文  参考訳（メタデータ） (2021-06-16T15:56:34Z)
• Compressive Sensing and Neural Networks from a Statistical Learning Perspective [4.561032960211816]
  線形測定の少ないスパース再構成に適したニューラルネットワークのクラスに対する一般化誤差解析を提案する。 現実的な条件下では、一般化誤差は層数で対数的にしかスケールせず、測定数ではほとんど線形である。
  論文  参考訳（メタデータ） (2020-10-29T15:05:43Z)
• Incremental Training of a Recurrent Neural Network Exploiting a Multi-Scale Dynamic Memory [79.42778415729475]
  本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。 隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。 新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
  論文  参考訳（メタデータ） (2020-06-29T08:35:49Z)
• Beyond Dropout: Feature Map Distortion to Regularize Deep Neural Networks [107.77595511218429]
  本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。 上記の問題に対処するための特徴歪み法(Disout)を提案する。 より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
  論文  参考訳（メタデータ） (2020-02-23T13:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。