論文の概要: Measuring Unintended Memorisation of Unique Private Features in Neural Networks

• arxiv url: http://arxiv.org/abs/2202.08099v1
• Date: Wed, 16 Feb 2022 14:39:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-17 19:47:10.807152
• Title: Measuring Unintended Memorisation of Unique Private Features in Neural Networks
• Title（参考訳）: ニューラルネットワークにおける特異なプライベート特徴の意図しない記憶の測定
• Authors: John Hartley, Sotirios A. Tsaftaris
• Abstract要約: トレーニングデータに1回だけ発生しても、ニューラルネットワークは意図せずユニークな特徴を記憶している。 ユニークな特徴の例として、トレーニング画像に誤って現れる人物の名前がある。
• 参考スコア（独自算出の注目度）: 15.174895411434026
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural networks pose a privacy risk to training data due to their propensity to memorise and leak information. Focusing on image classification, we show that neural networks also unintentionally memorise unique features even when they occur only once in training data. An example of a unique feature is a person's name that is accidentally present on a training image. Assuming access to the inputs and outputs of a trained model, the domain of the training data, and knowledge of unique features, we develop a score estimating the model's sensitivity to a unique feature by comparing the KL divergences of the model's output distributions given modified out-of-distribution images. Our results suggest that unique features are memorised by multi-layer perceptrons and convolutional neural networks trained on benchmark datasets, such as MNIST, Fashion-MNIST and CIFAR-10. We find that strategies to prevent overfitting (e.g.\ early stopping, regularisation, batch normalisation) do not prevent memorisation of unique features. These results imply that neural networks pose a privacy risk to rarely occurring private information. These risks can be more pronounced in healthcare applications if patient information is present in the training data.
• Abstract（参考訳）: ニューラルネットワークは、情報を記憶しリークする傾向のため、データのトレーニングにプライバシリスクを負う。 画像分類に焦点をあてて、トレーニングデータに1回だけ発生しても、ニューラルネットワークは意図せず独自の特徴を記憶する。 ユニークな特徴の例としては、トレーニングイメージに誤って現れる人物の名前がある。 訓練されたモデルの入力と出力へのアクセス、トレーニングデータのドメイン、ユニークな特徴の知識を仮定して、修正された分散画像が与えられたモデルの出力分布のkl偏差を比較することにより、モデルの感度をユニークな特徴に推定するスコアを開発する。 この結果から,MNIST,Fashion-MNIST,CIFAR-10などのベンチマークデータセットでトレーニングした多層パーセプトロンと畳み込みニューラルネットワークによって,ユニークな特徴が記憶されていることが示唆された。 オーバーフィッティング(例えば、早期停止、正規化、バッチ正規化)を防ぐ戦略は、ユニークな特徴の記憶を妨げない。 これらの結果は、ニューラルネットワークが、まれに発生するプライベートな情報に対してプライバシリスクをもたらすことを暗示している。 これらのリスクは、トレーニングデータに患者情報があれば、医療アプリケーションでより顕著になる。

関連論文リスト

• Accurate Forgetting for All-in-One Image Restoration Model [3.367455972998532]
  現在、Machine Unlearningと呼ばれる低価格のスキームは、モデルに記憶されているプライベートデータを忘れている。 このことから,画像復元とセキュリティのギャップを埋めるために,この概念を応用しようと試みている。
  論文  参考訳（メタデータ） (2024-09-01T10:14:16Z)
• DEPN: Detecting and Editing Privacy Neurons in Pretrained Language Models [46.04803661300974]
  大量のデータに基づいて事前訓練された大規模な言語モデルは、トレーニングデータ内の豊富な知識と情報をキャプチャする。 事前訓練された言語モデルにおけるデータ記憶と復活の能力は、以前の研究で明らかになったように、データ漏洩のリスクをもたらす。 本稿では,事前学習言語モデルにおけるプライバシニューロンの検出と編集のためのフレームワークDEPNを提案する。
  論文  参考訳（メタデータ） (2023-10-31T03:09:36Z)
• Reconstructing Training Data from Model Gradient, Provably [68.21082086264555]
  ランダムに選択されたパラメータ値で1つの勾配クエリからトレーニングサンプルを再構成する。 センシティブなトレーニングデータを示す証明可能な攻撃として、われわれの発見はプライバシーに対する深刻な脅威を示唆している。
  論文  参考訳（メタデータ） (2022-12-07T15:32:22Z)
• Unintended memorisation of unique features in neural networks [15.174895411434026]
  トレーニングデータに1回だけ発生するユニークな特徴は、識別可能な多層パーセプトロンと畳み込みニューラルネットワークによって記憶される。 我々は,モデル出力分布のKL分散度を比較することで,モデルの特異な特徴に対する感度を推定するスコアを開発する。 オーバーフィッティングを防ぐための典型的な戦略は、ユニークな特徴記憶を防ぐものではない。
  論文  参考訳（メタデータ） (2022-05-20T10:48:18Z)
• Secure & Private Federated Neuroimaging [17.946206585229675]
  Federated Learningは、データを共有することなく、複数のデータソース上でニューラルネットワークモデルの分散トレーニングを可能にする。 各サイトは、ニューラルネットワークをプライベートデータ上でしばらくトレーニングし、ニューラルネットワークパラメータをフェデレーションコントローラと共有する。 当社のフェデレートラーニングアーキテクチャであるMetisFLは、強力なセキュリティとプライバシを提供します。
  論文  参考訳（メタデータ） (2022-05-11T03:36:04Z)
• Mixed Differential Privacy in Computer Vision [133.68363478737058]
  AdaMixは、プライベートとパブリックの両方の画像データを使用して、ディープニューラルネットワーク分類器をトレーニングするための適応型微分プライベートアルゴリズムである。 プライベートデータを無視する数ショットあるいはゼロショットの学習ベースラインは、大規模なプライベートデータセットの微調整よりも優れています。
  論文  参考訳（メタデータ） (2022-03-22T06:15:43Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• NeuralDP Differentially private neural networks by design [61.675604648670095]
  ニューラルネットワーク内のいくつかの層の活性化を民営化する手法であるNeuralDPを提案する。 本研究では,DP-SGDと比較して,プライバシーとユーティリティのトレードオフを大幅に改善した2つのデータセットを実験的に検証した。
  論文  参考訳（メタデータ） (2021-07-30T12:40:19Z)
• Wide Network Learning with Differential Privacy [7.453881927237143]
  現在のニューラルネットの世代は、最も実質的に関連するプライバシトレーニング体制下で大きな損失を被っている。 プライベートな経験最小化(ERM)の勾配を生かしたこれらのモデルを訓練するための一般的なアプローチを開発する。 同じパラメータの数に従って、ニューラルネットワークをプライベートにトレーニングするための新しいアルゴリズムを提案します。
  論文  参考訳（メタデータ） (2021-03-01T20:31:50Z)
• Robustness Threats of Differential Privacy [70.818129585404]
  我々は、いくつかの設定で差分プライバシーをトレーニングしたネットワークが、非プライベートバージョンに比べてさらに脆弱であることを実験的に実証した。 本研究では,勾配クリッピングや雑音付加などのニューラルネットワークトレーニングの主成分が,モデルの堅牢性に与える影響について検討する。
  論文  参考訳（メタデータ） (2020-12-14T18:59:24Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。