論文の概要: Understanding Private Learning From Feature Perspective

• arxiv url: http://arxiv.org/abs/2511.18006v1
• Date: Sat, 22 Nov 2025 10:09:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-25 18:34:24.581145
• Title: Understanding Private Learning From Feature Perspective
• Title（参考訳）: 機能の観点からのプライベートラーニングの理解
• Authors: Meng Ding, Mingxi Lei, Shaopeng Fu, Shaowei Wang, Di Wang, Jinhui Xu,
• Abstract要約: 個人差分勾配Descent(DP-SGD)は、プライバシ保護機械学習に不可欠なものとなっている。 本稿では,機能学習の観点から,私的トレーニングを解析するための最初の理論的枠組みを提案する。
• 参考スコア（独自算出の注目度）: 21.60795003011593
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Differentially private Stochastic Gradient Descent (DP-SGD) has become integral to privacy-preserving machine learning, ensuring robust privacy guarantees in sensitive domains. Despite notable empirical advances leveraging features from non-private, pre-trained models to enhance DP-SGD training, a theoretical understanding of feature dynamics in private learning remains underexplored. This paper presents the first theoretical framework to analyze private training through a feature learning perspective. Building on the multi-patch data structure from prior work, our analysis distinguishes between label-dependent feature signals and label-independent noise, a critical aspect overlooked by existing analyses in the DP community. Employing a two-layer CNN with polynomial ReLU activation, we theoretically characterize both feature signal learning and data noise memorization in private training via noisy gradient descent. Our findings reveal that (1) Effective private signal learning requires a higher signal-to-noise ratio (SNR) compared to non-private training, and (2) When data noise memorization occurs in non-private learning, it will also occur in private learning, leading to poor generalization despite small training loss. Our findings highlight the challenges of private learning and prove the benefit of feature enhancement to improve SNR. Experiments on synthetic and real-world datasets also validate our theoretical findings.
• Abstract（参考訳）: 異なるプライベートなStochastic Gradient Descent(DP-SGD)は、プライバシ保護機械学習に不可欠なものとなり、機密ドメインにおける堅牢なプライバシ保証が保証されている。 DP-SGDトレーニングの強化のために、非私的、事前訓練されたモデルからの特徴を活用する顕著な経験的進歩にもかかわらず、私的学習における特徴力学の理論的理解はいまだに未熟である。 本稿では,機能学習の観点から,私的トレーニングを解析するための最初の理論的枠組みを提案する。 先行研究から得られたマルチパッチデータ構造に基づいてラベルに依存しない特徴信号とラベルに依存しない雑音を区別する。 多項式ReLUアクティベーションを持つ2層CNNを用いて、雑音勾配勾配によるプライベートトレーニングにおける特徴信号学習とデータノイズ記憶の両方を理論的に特徴付ける。 その結果,(1)実効的な私的信号学習は,非私的学習と比較して高い信号対雑音比(SNR)を必要とすること,(2)非私的学習においてデータノイズの記憶が生じた場合,私的学習においても発生することが判明した。 本研究は,私的学習の課題を浮き彫りにして,SNRを改善する機能強化のメリットを証明した。 合成および実世界のデータセットの実験も、我々の理論的な結果を検証する。

関連論文リスト

• Differentially Private Relational Learning with Entity-level Privacy Guarantees [17.567309430451616]
  本研究は,形式的エンティティレベルDP保証を用いた関係学習の原則的枠組みを提案する。 本稿では,実体発生頻度に基づいてクリッピング閾値を変調する適応的勾配クリッピング方式を提案する。 これらの貢献により、プライバシー保証が保証されたリレーショナルデータに対して、DP-SGDの修正版が提供される。
  論文  参考訳（メタデータ） (2025-06-10T02:03:43Z)
• How Private is Your Attention? Bridging Privacy with In-Context Learning [4.093582834469802]
  In-context Learning (ICL) - 推論時に提供された例から新しいタスクを実行するトランスフォーマーベースモデルの能力。 線形アテンションヘッドのための差分プライベート事前学習アルゴリズムを提案し、線形回帰におけるICLのプライバシ・正確性トレードオフに関する最初の理論的解析を提示する。
  論文  参考訳（メタデータ） (2025-04-22T16:05:26Z)
• Initialization Matters: Privacy-Utility Analysis of Overparameterized Neural Networks [72.51255282371805]
  我々は、最悪の近傍データセット上でのモデル分布間のKLばらつきのプライバシー境界を証明した。 このKLプライバシー境界は、トレーニング中にモデルパラメータに対して期待される2乗勾配ノルムによって決定される。
  論文  参考訳（メタデータ） (2023-10-31T16:13:22Z)
• Independent Distribution Regularization for Private Graph Embedding [55.24441467292359]
  グラフ埋め込みは属性推論攻撃の影響を受けやすいため、攻撃者は学習したグラフ埋め込みからプライベートノード属性を推測することができる。 これらの懸念に対処するため、プライバシ保護グラフ埋め込み手法が登場した。 独立分散ペナルティを正規化項として支援し, PVGAE(Private Variational Graph AutoEncoders)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-08-16T13:32:43Z)
• Unsupervised 3D registration through optimization-guided cyclical self-training [71.75057371518093]
  最先端のディープラーニングベースの登録方法は、3つの異なる学習戦略を採用している。 本稿では,教師なし登録のための自己指導型学習パラダイムを提案する。 腹部, 肺の登録方法の評価を行い, 測定基準に基づく監督を一貫して上回り, 最先端の競争相手よりも優れていた。
  論文  参考訳（メタデータ） (2023-06-29T14:54:10Z)
• How Spurious Features Are Memorized: Precise Analysis for Random and NTK Features [19.261178173399784]
  学習課題とは無関係な突発的な特徴について考察する。 それらがどのように2つの異なる用語で記憶されるのかを正確に評価する。 一般化能力の増大に伴い,突発的特徴の記憶が弱まることを示す。
  論文  参考訳（メタデータ） (2023-05-20T05:27:41Z)
• An Experimental Study on Private Aggregation of Teacher Ensemble Learning for End-to-End Speech Recognition [51.232523987916636]
  差分プライバシー(DP)は、プライバシーデータにノイズのある歪みを課すことで、深層モデルのトレーニングに使用されるユーザー情報を保護するための1つのデータ保護手段である。 本研究では、PATE学習を動的パターン、すなわち音声を扱うように拡張し、音響データの漏洩を避けるために、ASRに関する最初の実験を行う。
  論文  参考訳（メタデータ） (2022-10-11T16:55:54Z)
• Graph-Homomorphic Perturbations for Private Decentralized Learning [64.26238893241322]
  ローカルな見積もりの交換は、プライベートデータに基づくデータの推測を可能にする。 すべてのエージェントで独立して選択された摂動により、パフォーマンスが著しく低下する。 本稿では,特定のヌル空間条件に従って摂動を構成する代替スキームを提案する。
  論文  参考訳（メタデータ） (2020-10-23T10:35:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。