論文の概要: Understanding the Impact of Differentially Private Training on Memorization of Long-Tailed Data

• arxiv url: http://arxiv.org/abs/2602.03872v1
• Date: Sun, 01 Feb 2026 02:54:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-05 19:45:11.182257
• Title: Understanding the Impact of Differentially Private Training on Memorization of Long-Tailed Data
• Title（参考訳）: 個人差分訓練が長期データ記憶に与える影響の理解
• Authors: Jiaming Zhang, Huanyi Xie, Meng Ding, Shaopeng Fu, Jinyan Liu, Di Wang,
• Abstract要約: 近年の研究では、個々のトレーニングサンプルを記憶することで、最新のディープラーニングモデルが高い精度を達成することが示されている。 このような記憶化は深刻なプライバシー問題を引き起こし、DP-SGDのような差分プライベートなトレーニングアルゴリズムが広く採用されるきっかけとなった。
• 参考スコア（独自算出の注目度）: 12.891587745894476
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent research shows that modern deep learning models achieve high predictive accuracy partly by memorizing individual training samples. Such memorization raises serious privacy concerns, motivating the widespread adoption of differentially private training algorithms such as DP-SGD. However, a growing body of empirical work shows that DP-SGD often leads to suboptimal generalization performance, particularly on long-tailed data that contain a large number of rare or atypical samples. Despite these observations, a theoretical understanding of this phenomenon remains largely unexplored, and existing differential privacy analysis are difficult to extend to the nonconvex and nonsmooth neural networks commonly used in practice. In this work, we develop the first theoretical framework for analyzing DP-SGD on long-tailed data from a feature learning perspective. We show that the test error of DP-SGD-trained models on the long-tailed subpopulation is significantly larger than the overall test error over the entire dataset. Our analysis further characterizes the training dynamics of DP-SGD, demonstrating how gradient clipping and noise injection jointly adversely affect the model's ability to memorize informative but underrepresented samples. Finally, we validate our theoretical findings through extensive experiments on both synthetic and real-world datasets.
• Abstract（参考訳）: 近年の研究では、個々のトレーニングサンプルを記憶することで、最新のディープラーニングモデルによって高い予測精度が得られることが示されている。 このような記憶化は深刻なプライバシー上の懸念を引き起こし、DP-SGDのような差分プライベートなトレーニングアルゴリズムが広く採用される動機となっている。 しかしながら, DP-SGDは多量の稀なサンプルや非典型的なサンプルを含む長い尾を持つデータに対して, しばしば準最適一般化性能をもたらすことが示された。 これらの観察にもかかわらず、この現象に関する理論的理解はほとんど未解明であり、既存の差分プライバシー分析は、実際に一般的に使用される非凸および非滑らかなニューラルネットワークにまで拡張することが困難である。 本研究では,機能学習の観点から,DP-SGDを長期データに基づいて解析する理論フレームワークを開発した。 本研究では,DP-SGD学習モデルの長鎖サブポピュレーションにおけるテスト誤差が,データセット全体のテスト誤差よりも有意に大きいことを示す。 本分析は,DP-SGDのトレーニング力学をさらに特徴付け,勾配クリッピングとノイズ注入が,情報的だが表現不足なサンプルを記憶するモデルの能力にどのように悪影響を及ぼすかを示す。 最後に, 合成データセットと実世界のデータセットの両方に関する広範な実験を通じて, 理論的知見を検証した。

関連論文リスト

• Robust Molecular Property Prediction via Densifying Scarce Labeled Data [53.24886143129006]
  薬物発見において、研究を進める上で最も重要な化合物は、しばしば訓練セットを越えている。 本稿では, ラベル付きデータを利用して, 分布内データ(ID)と分布外データ(OOD)を補間する2段階最適化手法を提案する。
  論文  参考訳（メタデータ） (2025-06-13T15:27:40Z)
• Neural Collapse Meets Differential Privacy: Curious Behaviors of NoisyGD with Near-perfect Representation Learning [36.954726737451224]
  本稿では,表現学習における階層型モデルの設定について考察し,深層学習と伝達学習における学習特徴に関連する興味深い現象について考察する。 DPの微調整はDPのない微調整に比べ、特に摂動の存在下では堅牢性が低いことを示す。
  論文  参考訳（メタデータ） (2024-05-14T19:18:19Z)
• Beyond DAGs: A Latent Partial Causal Model for Multimodal Learning [80.44084021062105]
  本稿では,非方向エッジで連結された2つの潜在結合変数を特徴とする,多モーダルデータに対する新しい潜在部分因果モデルを提案する。 特定の統計的仮定の下では、多モーダル・コントラッシブ・ラーニングによって学習された表現が、自明な変換までの潜在結合変数に対応することを示す。 事前トレーニングされたCLIPモデルの実験は、非絡み合った表現を具現化し、数ショットの学習を可能にし、さまざまな現実世界のデータセットにわたるドメインの一般化を改善する。
  論文  参考訳（メタデータ） (2024-02-09T07:18:06Z)
• Which Augmentation Should I Use? An Empirical Investigation of Augmentations for Self-Supervised Phonocardiogram Representation Learning [5.438725298163702]
  自己監視型学習(SSL) 対照的な学習は、データの不足を軽減できる可能性を示している。 本研究の目的は,PCG分類におけるSSLモデルの性能向上を目的とした,幅広いオーディオベースの拡張と組み合わせの探索と評価である。
  論文  参考訳（メタデータ） (2023-12-01T11:06:00Z)
• Multi-scale Feature Learning Dynamics: Insights for Double Descent [71.91871020059857]
  一般化誤差の「二重降下」現象について検討する。 二重降下は、異なるスケールで学習される異なる特徴に起因する可能性がある。
  論文  参考訳（メタデータ） (2021-12-06T18:17:08Z)
• Evaluating deep transfer learning for whole-brain cognitive decoding [11.898286908882561]
  転送学習(TL)は、少数のサンプルを持つデータセットにおける深層学習(DL)モデルの性能向上に適している。 本稿では,全脳機能型磁気共鳴画像(fMRI)データから認識状態の復号化にDLモデルを適用するためのTLを評価した。
  論文  参考訳（メタデータ） (2021-11-01T15:44:49Z)
• Transductive image segmentation: Self-training and effect of uncertainty estimation [16.609998086075127]
  半教師付き学習(SSL)は、トレーニング中にラベルのないデータを使用して、より良いモデルを学ぶ。 本研究は、一般化を改善するのではなく、訓練中の最適化に含める際に、未ラベルデータに基づく予測の質に焦点をあてる。 外傷性脳病変のマルチクラスセグメンテーションのための大規模なMRIデータベースを用いた実験は,インダクティブ予測とトランスダクティブ予測との比較において有望な結果を示した。
  論文  参考訳（メタデータ） (2021-07-19T15:26:07Z)
• On the Generalization of Stochastic Gradient Descent with Momentum [84.54924994010703]
  運動量に基づく勾配降下(SGD)の加速変種は、機械学習モデルを訓練する際に広く用いられる。 まず,標準重球運動量(SGDM)を持つSGDの複数のエポックに対する安定性ギャップが非有界となる凸損失関数が存在することを示す。 滑らかなリプシッツ損失関数に対しては、修正モーメントベースの更新規則、すなわち、幅広いステップサイズで初期運動量(SGDEM)を解析する。
  論文  参考訳（メタデータ） (2018-09-12T17:02:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。