論文の概要: From Privacy to Generalization: Linear Max-Information Bounds for DP-SGD

• arxiv url: http://arxiv.org/abs/2605.26222v1
• Date: Mon, 25 May 2026 18:00:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-27 17:51:41.297427
• Title: From Privacy to Generalization: Linear Max-Information Bounds for DP-SGD
• Title（参考訳）: プライバシーから一般化へ:DP-SGDの線形最大情報境界
• Authors: Christoph H. Lampert, Hossein Zakerinia,
• Abstract要約: 我々は、微分プライベート勾配勾配(DP-SGD)の近似最大情報に有限サンプル境界を証明した。 DP-SGD で事前分布を学習できる汎用的な PAC-Bayes 一般化法と DP-SGD 学習モデル自体の一般化法を得る。
• 参考スコア（独自算出の注目度）: 21.925083923451595
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding the relationship between generalization and privacy remains a central challenge in modern machine learning theory, particularly for deep networks trained by variants of differentially private stochastic gradient descent (DP-SGD). In this work we make progress on this persistent open problem by proving a finite-sample bound on the approximate max-information of DP-SGD that exhibits scaling properties comparable with (Dwork et al, 2015)'s classic result for $ε$-differentially private algorithms, namely at most linear in the dataset size. From our result we obtain a general-purpose PAC-Bayes generalization bound in which the necessary prior distribution can be learned by DP-SGD, as well as a generalization bound for DP-SGD-trained models themselves, with a complexity term that is fully explicit and controlled by the optimization hyperparameters.
• Abstract（参考訳）: 一般化とプライバシの関係を理解することは、現代の機械学習理論において、特に微分プライベート確率勾配勾配(DP-SGD)の変種によって訓練されたディープネットワークにおいて、依然として中心的な課題である。 本研究では、(Dwork et al, 2015) に匹敵するスケーリング特性を示す DP-SGD の最大情報に基づいて有限サンプル境界を証明し、この永続的開問題について前進する。 この結果から、DP-SGDにより必要な事前分布を学習できる汎用的なPAC-Bayes一般化法と、DP-SGD訓練モデル自体の一般化法を、最適化ハイパーパラメータによって完全に明示的かつ制御された複雑性項を用いて得られる。

関連論文リスト

• On the Convergence of DP-SGD with Adaptive Clipping [56.24689348875711]
  勾配クリッピングによるグラディエントDescentは、微分プライベート最適化を実現するための強力な技術である。 本稿では,量子クリッピング(QC-SGD)を用いたSGDの総合収束解析について述べる。 本稿では,QC-SGDが一定閾値クリッピングSGDに類似したバイアス問題にどのように悩まされているかを示す。
  論文  参考訳（メタデータ） (2024-12-27T20:29:47Z)
• How Private are DP-SGD Implementations? [61.19794019914523]
  2種類のバッチサンプリングを使用する場合、プライバシ分析の間に大きなギャップがあることが示される。 その結果,2種類のバッチサンプリングでは,プライバシ分析の間に大きなギャップがあることが判明した。
  論文  参考訳（メタデータ） (2024-03-26T13:02:43Z)
• Provable Privacy with Non-Private Pre-Processing [56.770023668379615]
  非プライベートなデータ依存前処理アルゴリズムによって生じる追加のプライバシーコストを評価するための一般的なフレームワークを提案する。 当社のフレームワークは,2つの新しい技術的概念を活用することにより,全体的なプライバシー保証の上限を確立する。
  論文  参考訳（メタデータ） (2024-03-19T17:54:49Z)
• Private Fine-tuning of Large Language Models with Zeroth-order Optimization [51.19403058739522]
  差分的プライベート勾配降下(DP-SGD)により、モデルはプライバシ保護の方法でトレーニングできる。 DP-ZO(DP-ZO)は,ゼロオーダー最適化手法を民営化することで,大規模言語モデルのためのプライベートな微調整フレームワークである。
  論文  参考訳（メタデータ） (2024-01-09T03:53:59Z)
• Initialization Matters: Privacy-Utility Analysis of Overparameterized Neural Networks [72.51255282371805]
  我々は、最悪の近傍データセット上でのモデル分布間のKLばらつきのプライバシー境界を証明した。 このKLプライバシー境界は、トレーニング中にモデルパラメータに対して期待される2乗勾配ノルムによって決定される。
  論文  参考訳（メタデータ） (2023-10-31T16:13:22Z)
• DPGOMI: Differentially Private Data Publishing with Gaussian Optimized Model Inversion [8.204115285718437]
  本稿では,ガウス最適化モデルインバージョン(DPGOMI)を用いた微分プライベートデータパブリッシングを提案し,この問題に対処する。 提案手法では, パブリックジェネレータを用いてプライベートデータを潜時空間にマッピングし, コンバージェンス特性が向上した低次元DP-GANを用いる。 以上の結果から,DPGOMIは,インセプションスコア,Freche't Inception Distance,分類性能において,標準DP-GAN法よりも優れていた。
  論文  参考訳（メタデータ） (2023-10-06T18:46:22Z)
• High-Dimensional Private Empirical Risk Minimization by Greedy Coordinate Descent [11.49109939095326]
  個人的リスク最小化(DP-ERM)について検討する。 DP-GCDは,幅広い問題に対して,次元の対数依存を実現できることを示す。
  論文  参考訳（メタデータ） (2022-07-04T16:27:00Z)
• Dimension Independent Generalization of DP-SGD for Overparameterized Smooth Convex Optimization [24.644583626705742]
  本稿では,差分プライベート凸学習の一般化性能について考察する。 本稿では,Langevinアルゴリズムの収束解析を用いて,DP-SGDの差分プライバシー保証を伴う新たな一般化境界を求めることを実証する。
  論文  参考訳（メタデータ） (2022-06-03T22:03:05Z)
• What You See is What You Get: Distributional Generalization for Algorithm Design in Deep Learning [12.215964287323876]
  微分プライバシー(DP)と分布一般化(DG)の概念の関連性について検討・活用する。 我々は、標準勾配降下(SGD)の「病理」をバイパスするディープラーニング手法を設計するための新しい概念ツールを導入する。
  論文  参考訳（メタデータ） (2022-04-07T05:41:40Z)
• Differentially Private Coordinate Descent for Composite Empirical Risk Minimization [13.742100810492014]
  機械学習モデルは、トレーニングに使用されるデータに関する情報をリークすることができる。 Differentially Private (DP) のGradient Descent (DP-SGD) のような最適化アルゴリズムは、これを緩和するために設計されている。 差分的私的リスク最小化法(DP-ERM: Differentially Private Coordinate Descent:DP-CD)を提案する。
  論文  参考訳（メタデータ） (2021-10-22T10:22:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。