論文の概要: Batch Normalization Amplifies Memorization and Privacy Risks

• arxiv url: http://arxiv.org/abs/2605.24420v1
• Date: Sat, 23 May 2026 06:18:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:18.046354
• Title: Batch Normalization Amplifies Memorization and Privacy Risks
• Title（参考訳）: Batch Normalizationは、記憶とプライバシのリスクを増幅する
• Authors: Ngoc Phu Doan, Chongyan Gu, Ihsen Alouani,
• Abstract要約: バッチ正規化(BN)は、ディープニューラルネットワークのより高速な収束とより安定したトレーニングを可能にするために広く採用されている。 BN層が非典型的, 異常なサンプルの記憶に及ぼす影響と, プライバシリークに与える影響について検討した。
• 参考スコア（独自算出の注目度）: 6.331115022791685
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Batch Normalization (BN) is widely adopted to enable faster convergence and more stable training of deep neural networks. However, its impact on privacy and memorization has remained largely unexplored. In this work, we investigate the effect of BN layers on the memorization of atypical or outlier samples and its implications for privacy leakage. We conduct an extensive empirical study using three complementary approaches: (i) unintended memorization of out-of-distribution training samples, (ii) per-sample influence measured via gradient norms, and (iii) susceptibility to membership inference attacks (MIA). Across multiple datasets and architectures, we consistently observe that BN substantially increases the memorization of outliers compared to models without BN. Critically, this amplified memorization translates directly into privacy vulnerabilities: models with BN exhibit significantly higher susceptibility to MIAs. We complement our empirical findings with a theoretical analysis showing that BN amplifies the per-step influence of outlier samples during training, providing mechanistic insight into this phenomenon. Our results highlight an underappreciated privacy risk associated with BN and provide both practical and theoretical insights into how normalization layers can amplify the influence of rare or sensitive training examples.
• Abstract（参考訳）: バッチ正規化(BN)は、ディープニューラルネットワークのより高速な収束とより安定したトレーニングを可能にするために広く採用されている。 しかし、プライバシーと記憶に影響を及ぼす影響はほとんど未解明のままである。 本研究では, BN層が非典型的, あるいは非典型的サンプルの記憶に与える影響と, プライバシリークに与える影響について検討する。 我々は3つの相補的なアプローチを用いて広範な実証的研究を行う。 一 配当外の研修サンプルの意図しない記憶 (二)勾配基準によるサンプルごとの影響、及び 三 会員推測攻撃(MIA)に対する感受性 複数のデータセットやアーキテクチャにわたって、BN が BN を含まないモデルと比較すると、 BN はアウトレーヤの記憶量を大幅に増加させる。 重要な点として、この増幅記憶は直接プライバシー上の脆弱性に変換される:BNを持つモデルはMIAに対して非常に高い感受性を示す。 実験の結果を理論解析により補足し, BNはトレーニング中の外れ値サンプルの段差の影響を増幅し, この現象を機械学的に把握した。 本研究の結果は,BNに関連するプライバシーリスクの低さを浮き彫りにし,正規化レイヤが稀な,あるいはセンシティブなトレーニング例の影響を増幅する方法に関する実践的および理論的知見を提供する。

関連論文リスト

• Differential Privacy in Two-Layer Networks: How DP-SGD Harms Fairness and Robustness [2.9327666088683664]
  本稿では,差分的にプライベートな勾配の特徴学習ダイナミクスを解析するための統合された特徴中心フレームワークを提案する。 プライバシに要求されるノイズが,最適機能学習ネットワークにつながることを実証する。
  論文  参考訳（メタデータ） (2026-03-05T07:19:31Z)
• Understanding the Impact of Differentially Private Training on Memorization of Long-Tailed Data [12.891587745894476]
  近年の研究では、個々のトレーニングサンプルを記憶することで、最新のディープラーニングモデルが高い精度を達成することが示されている。 このような記憶化は深刻なプライバシー問題を引き起こし、DP-SGDのような差分プライベートなトレーニングアルゴリズムが広く採用されるきっかけとなった。
  論文  参考訳（メタデータ） (2026-02-01T02:54:13Z)
• Robust Molecular Property Prediction via Densifying Scarce Labeled Data [53.24886143129006]
  薬物発見において、研究を進める上で最も重要な化合物は、しばしば訓練セットを越えている。 本稿では, ラベル付きデータを利用して, 分布内データ(ID)と分布外データ(OOD)を補間する2段階最適化手法を提案する。
  論文  参考訳（メタデータ） (2025-06-13T15:27:40Z)
• Data Attribution for Diffusion Models: Timestep-induced Bias in Influence Estimation [53.27596811146316]
  拡散モデルは、以前の文脈における瞬間的な入出力関係ではなく、一連のタイムステップで操作する。 本稿では、この時間的ダイナミクスを取り入れた拡散トラクInについて、サンプルの損失勾配ノルムが時間ステップに大きく依存していることを確認する。 そこで我々はDiffusion-ReTracを再正規化適応として導入し、興味のあるサンプルを対象にしたトレーニングサンプルの検索を可能にする。
  論文  参考訳（メタデータ） (2024-01-17T07:58:18Z)
• Mixture Data for Training Cannot Ensure Out-of-distribution Generalization [21.801115344132114]
  トレーニングデータのサイズが大きくなると、必ずしもテスト一般化誤差が減少するとは限らない。 本研究では,OODデータを混合学習データの凸内外にあるデータとして定量的に再定義する。 新たなリスクバウンドの証明は、よく訓練されたモデルの有効性が、目に見えないデータに対して保証されることに同意する。
  論文  参考訳（メタデータ） (2023-12-25T11:00:38Z)
• On the Privacy Effect of Data Enhancement via the Lens of Memorization [20.63044895680223]
  我々は,記憶化という新たな視点からプライバシを調査することを提案する。 記憶のレンズを通して、以前デプロイされたMIAは、より高いプライバシーリスクを持つサンプルを特定する可能性が低いため、誤解を招く結果をもたらすことがわかった。 一般化ギャップとプライバシリークは, これまでの結果に比べて相関が低いことを示す。
  論文  参考訳（メタデータ） (2022-08-17T13:02:17Z)
• Provably Efficient Causal Reinforcement Learning with Confounded Observational Data [135.64775986546505]
  オフラインで収集されたデータセット(観測データ)を組み込んで、オンライン環境でのサンプル効率を改善する方法について検討する。 提案手法は,観測データを効率よく組み込んだ,分解された楽観的値反復 (DOVI) アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-22T14:49:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。