論文の概要: Reconstructing Training Data from Trained Neural Networks

• arxiv url: http://arxiv.org/abs/2206.07758v1
• Date: Wed, 15 Jun 2022 18:35:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-17 14:08:31.769172
• Title: Reconstructing Training Data from Trained Neural Networks
• Title（参考訳）: トレーニングニューラルネットワークからのトレーニングデータの再構成
• Authors: Niv Haim, Gal Vardi, Gilad Yehudai, Ohad Shamir, Michal Irani
• Abstract要約: いくつかのケースでは、トレーニングデータのかなりの部分が、実際にトレーニングされたニューラルネットワーク分類器のパラメータから再構成可能であることを示す。 本稿では,勾配に基づくニューラルネットワークの学習における暗黙バイアスに関する最近の理論的結果から,新たな再構成手法を提案する。
• 参考スコア（独自算出の注目度）: 42.60217236418818
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding to what extent neural networks memorize training data is an intriguing question with practical and theoretical implications. In this paper we show that in some cases a significant fraction of the training data can in fact be reconstructed from the parameters of a trained neural network classifier. We propose a novel reconstruction scheme that stems from recent theoretical results about the implicit bias in training neural networks with gradient-based methods. To the best of our knowledge, our results are the first to show that reconstructing a large portion of the actual training samples from a trained neural network classifier is generally possible. This has negative implications on privacy, as it can be used as an attack for revealing sensitive training data. We demonstrate our method for binary MLP classifiers on a few standard computer vision datasets.
• Abstract（参考訳）: ニューラルネットワークがトレーニングデータを記憶する程度を理解することは、実践的および理論的意味において興味深い問題である。 本稿では,ある場合において,訓練されたニューラルネットワーク分類器のパラメータから,実際にトレーニングデータのかなりの一部を再構成できることを示す。 本稿では,勾配に基づくニューラルネットワークの学習における暗黙的バイアスに関する最近の理論結果に基づく新しい再構成手法を提案する。 我々の知る限りでは、トレーニングされたニューラルネットワーク分類器から実際のトレーニングサンプルの大部分を再構築することは、一般的に可能であることを示す最初のものである。 これはプライバシーに悪影響を及ぼし、機密性の高いトレーニングデータを明らかにする攻撃として使用できる。 本手法は,いくつかの標準コンピュータビジョンデータセット上でバイナリmlp分類を行う方法を示す。

関連論文リスト

• Opening the Black Box: predicting the trainability of deep neural networks with reconstruction entropy [0.0]
  本稿では,ディープフィードフォワードニューラルネットワークのパラメータ空間におけるトレーニング可能な状態を予測する手法を提案する。 MNISTとCIFAR10の両方のデータセットに対して、トレーニングの1つのエポックが、ディープフィードフォワードネットワークのトレーニング可能性を予測するのに十分であることを示す。
  論文  参考訳（メタデータ） (2024-06-13T18:00:05Z)
• Epistemic Modeling Uncertainty of Rapid Neural Network Ensembles for Adaptive Learning [0.0]
  新しいタイプのニューラルネットワークは、高速ニューラルネットワークパラダイムを用いて提示される。 提案したエミュレータを組み込んだニューラルネットワークは,予測精度を損なうことなく,ほぼ瞬時に学習できることが判明した。
  論文  参考訳（メタデータ） (2023-09-12T22:34:34Z)
• Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
  ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。 緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
  論文  参考訳（メタデータ） (2023-03-07T18:59:38Z)
• Reconstructing Training Data from Model Gradient, Provably [68.21082086264555]
  ランダムに選択されたパラメータ値で1つの勾配クエリからトレーニングサンプルを再構成する。 センシティブなトレーニングデータを示す証明可能な攻撃として、われわれの発見はプライバシーに対する深刻な脅威を示唆している。
  論文  参考訳（メタデータ） (2022-12-07T15:32:22Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Targeted Gradient Descent: A Novel Method for Convolutional Neural Networks Fine-tuning and Online-learning [9.011106198253053]
  畳み込みニューラルネットワーク(ConvNet)は通常、同じ分布から引き出された画像を使用してトレーニングされ、テストされる。 ConvNetをさまざまなタスクに一般化するには、さまざまなタスクから描画されたイメージからなる完全なトレーニングデータセットが必要になることが多い。 本稿では,従来のタスクからデータを再検討することなく,事前学習したネットワークを新しいタスクに拡張可能な,新たな微調整手法であるTGDを提案する。
  論文  参考訳（メタデータ） (2021-09-29T21:22:09Z)
• FF-NSL: Feed-Forward Neural-Symbolic Learner [70.978007919101]
  本稿では,Feed-Forward Neural-Symbolic Learner (FF-NSL) と呼ばれるニューラルシンボリック学習フレームワークを紹介する。 FF-NSLは、ラベル付き非構造化データから解釈可能な仮説を学習するために、Answer Setセマンティクスに基づく最先端のICPシステムとニューラルネットワークを統合する。
  論文  参考訳（メタデータ） (2021-06-24T15:38:34Z)
• A Deep Conditioning Treatment of Neural Networks [37.192369308257504]
  本研究では,入力データの特定のカーネル行列の条件付けを改善することにより,ニューラルネットワークのトレーニング性を向上させることを示す。 ニューラルネットワークの上位層のみのトレーニングと、ニューラルネットワークのタンジェントカーネルを通じてすべてのレイヤをトレーニングするための学習を行うためのバージョンを提供しています。
  論文  参考訳（メタデータ） (2020-02-04T20:21:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。