論文の概要: Initialization Matters: Privacy-Utility Analysis of Overparameterized Neural Networks

• arxiv url: http://arxiv.org/abs/2310.20579v1
• Date: Tue, 31 Oct 2023 16:13:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-01 14:16:25.103419
• Title: Initialization Matters: Privacy-Utility Analysis of Overparameterized Neural Networks
• Title（参考訳）: 初期化問題: 過パラメータニューラルネットワークのプライバシ利用分析
• Authors: Jiayuan Ye, Zhenyu Zhu, Fanghui Liu, Reza Shokri, Volkan Cevher
• Abstract要約: 我々は、最悪の近傍データセット上でのモデル分布間のKLばらつきのプライバシー境界を証明した。 このKLプライバシー境界は、トレーニング中にモデルパラメータに対して期待される2乗勾配ノルムによって決定される。
• 参考スコア（独自算出の注目度）: 72.51255282371805
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We analytically investigate how over-parameterization of models in randomized machine learning algorithms impacts the information leakage about their training data. Specifically, we prove a privacy bound for the KL divergence between model distributions on worst-case neighboring datasets, and explore its dependence on the initialization, width, and depth of fully connected neural networks. We find that this KL privacy bound is largely determined by the expected squared gradient norm relative to model parameters during training. Notably, for the special setting of linearized network, our analysis indicates that the squared gradient norm (and therefore the escalation of privacy loss) is tied directly to the per-layer variance of the initialization distribution. By using this analysis, we demonstrate that privacy bound improves with increasing depth under certain initializations (LeCun and Xavier), while degrades with increasing depth under other initializations (He and NTK). Our work reveals a complex interplay between privacy and depth that depends on the chosen initialization distribution. We further prove excess empirical risk bounds under a fixed KL privacy budget, and show that the interplay between privacy utility trade-off and depth is similarly affected by the initialization.
• Abstract（参考訳）: ランダム化機械学習アルゴリズムにおけるモデルの過度パラメータ化がトレーニングデータの情報漏洩に与える影響を解析的に検討する。 具体的には、最悪の場合のデータセット上のモデル分布間のklのばらつきに対するプライバシバウンドを証明し、完全接続されたニューラルネットワークの初期化、幅、深さへの依存を探求する。 このKLプライバシー境界は、トレーニング中にモデルパラメータに対して期待される2乗勾配ノルムによって決定される。 特に,線形化ネットワークの特殊設定については,二乗勾配ノルム(従ってプライバシ損失のエスカレーション)が初期化分布の層ごとの分散と直接関係していることを示す。 この分析により、プライバシ境界は特定の初期化(LeCunとXavier)で深度を増すとともに改善され、他の初期化(HeとNTK)では深度を増す。 私たちの研究は、選択した初期化分布に依存するプライバシーと深さの間の複雑な相互作用を明らかにします。 我々はさらに,固定klプライバシ予算の下での過度な経験的リスク限界を証明し,プライバシユーティリティのトレードオフと深さとの相互作用が初期化によって同様に影響を受けることを示す。

関連論文リスト

• Data Analytics with Differential Privacy [0.0]
  我々は分散データとストリーミングデータを解析するための差分プライベートアルゴリズムを開発した。 分散モデルでは、学習の特定の問題 -- 分散形式で -- がデータのグローバルモデルであると考えている。 私たちは、ストリーミングモデル、ユーザーレベルのパンプライバシに対して、最も強力なプライバシー保証の1つを提供しています。
  論文  参考訳（メタデータ） (2023-07-20T17:43:29Z)
• Differentially Private Stochastic Gradient Descent with Low-Noise [49.981789906200035]
  現代の機械学習アルゴリズムは、データからきめ細かい情報を抽出して正確な予測を提供することを目的としており、プライバシー保護の目標と矛盾することが多い。 本稿では、プライバシを保ちながら優れたパフォーマンスを確保するために、プライバシを保存する機械学習アルゴリズムを開発することの実践的および理論的重要性について論じる。
  論文  参考訳（メタデータ） (2022-09-09T08:54:13Z)
• A Differentially Private Framework for Deep Learning with Convexified Loss Functions [4.059849656394191]
  差分プライバシー(DP)は、基礎となるトレーニングセットのプライバシーを保護するためにディープラーニングに応用されている。 既存のDP実践は、客観的摂動、勾配摂動、出力摂動の3つのカテゴリに分類される。 本稿では,DPノイズをランダムにサンプリングしたニューロンに注入し,新しい出力摂動機構を提案する。
  論文  参考訳（メタデータ） (2022-04-03T11:10:05Z)
• Sensitivity analysis in differentially private machine learning using hybrid automatic differentiation [54.88777449903538]
  感性分析のための新しいテクスチブリド自動識別システム(AD)を導入する。 これにより、ニューラルネットワークをプライベートデータ上でトレーニングするなど、任意の微分可能な関数合成の感度をモデル化できる。 当社のアプローチは,データ処理の設定において,プライバシ損失に関する原則的推論を可能にする。
  論文  参考訳（メタデータ） (2021-07-09T07:19:23Z)
• Understanding Clipping for Federated Learning: Convergence and Client-Level Differential Privacy [67.4471689755097]
  本稿では, 切断したFedAvgが, 実質的なデータ均一性でも驚くほど良好に動作できることを実証的に示す。 本稿では,差分プライベート(DP)FedAvgアルゴリズムの収束解析を行い,クリッピングバイアスとクライアント更新の分布との関係を明らかにする。
  論文  参考訳（メタデータ） (2021-06-25T14:47:19Z)
• Differential Privacy Dynamics of Langevin Diffusion and Noisy Gradient Descent [10.409652277630132]
  我々はLangevin拡散におけるプライバシー損失のダイナミクスをモデル化し、ノイズ勾配降下アルゴリズムに拡張する。 プライバシーの損失は指数関数的に速く収束する。
  論文  参考訳（メタデータ） (2021-02-11T05:49:37Z)
• Robustness Threats of Differential Privacy [70.818129585404]
  我々は、いくつかの設定で差分プライバシーをトレーニングしたネットワークが、非プライベートバージョンに比べてさらに脆弱であることを実験的に実証した。 本研究では,勾配クリッピングや雑音付加などのニューラルネットワークトレーニングの主成分が,モデルの堅牢性に与える影響について検討する。
  論文  参考訳（メタデータ） (2020-12-14T18:59:24Z)
• Privacy-preserving Traffic Flow Prediction: A Federated Learning Approach [61.64006416975458]
  本稿では,フェデレート学習に基づくGated Recurrent Unit Neural Network Algorithm (FedGRU) というプライバシ保護機械学習手法を提案する。 FedGRUは、現在の集中学習方法と異なり、安全なパラメータアグリゲーション機構を通じて、普遍的な学習モデルを更新する。 FedGRUの予測精度は、先進的なディープラーニングモデルよりも90.96%高い。
  論文  参考訳（メタデータ） (2020-03-19T13:07:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。