論文の概要: Tighter Generalization Bounds for Iterative Differentially Private Learning Algorithms

• arxiv url: http://arxiv.org/abs/2007.09371v2
• Date: Fri, 7 Aug 2020 04:41:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-09 05:24:18.326707
• Title: Tighter Generalization Bounds for Iterative Differentially Private Learning Algorithms
• Title（参考訳）: 反復差分学習アルゴリズムの高次一般化境界
• Authors: Fengxiang He, Bohan Wang, Dacheng Tao
• Abstract要約: 本稿では,反復学習アルゴリズムにおける一般化とプライバシ保護の関係を2つのステップで検討する。 我々は、$(varepsilon, delta)$-differential privacyは、マルチデータベース学習アルゴリズムに縛られる平均的な一般化を意味することを証明している。 次に,ほとんどの学習アルゴリズムが共有する反復的な性質が,プライバシーの保護とさらなる一般化にどのように影響するかを検討する。
• 参考スコア（独自算出の注目度）: 95.73230376153872
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper studies the relationship between generalization and privacy preservation in iterative learning algorithms by two sequential steps. We first establish an alignment between generalization and privacy preservation for any learning algorithm. We prove that $(\varepsilon, \delta)$-differential privacy implies an on-average generalization bound for multi-database learning algorithms which further leads to a high-probability bound for any learning algorithm. This high-probability bound also implies a PAC-learnable guarantee for differentially private learning algorithms. We then investigate how the iterative nature shared by most learning algorithms influence privacy preservation and further generalization. Three composition theorems are proposed to approximate the differential privacy of any iterative algorithm through the differential privacy of its every iteration. By integrating the above two steps, we eventually deliver generalization bounds for iterative learning algorithms, which suggest one can simultaneously enhance privacy preservation and generalization. Our results are strictly tighter than the existing works. Particularly, our generalization bounds do not rely on the model size which is prohibitively large in deep learning. This sheds light to understanding the generalizability of deep learning. These results apply to a wide spectrum of learning algorithms. In this paper, we apply them to stochastic gradient Langevin dynamics and agnostic federated learning as examples.
• Abstract（参考訳）: 本稿では,反復学習アルゴリズムにおける一般化とプライバシ保護の関係を2つのステップで検討する。 まず,学習アルゴリズムの一般化とプライバシ保護の整合性を確立する。 我々は、$(\varepsilon, \delta)$-differential privacyは、任意の学習アルゴリズムに対して高い確率を持つマルチデータベース学習アルゴリズムに対して、平均的な一般化を意味することを証明している。 この高い確率境界はまた、微分プライベート学習アルゴリズムのPAC学習保証を意味する。 次に,ほとんどの学習アルゴリズムが共有する反復的な性質が,プライバシーの保護とさらなる一般化にどのように影響するかを検討する。 3つの合成定理は、任意の反復アルゴリズムの微分プライバシーを各反復の微分プライバシーによって近似するために提案される。 上記の2つのステップを統合することで、最終的には反復学習アルゴリズムの一般化境界が提供され、プライバシの保存と一般化が同時に向上することを示唆します。 私たちの結果は既存の作品より厳格です。 特に、我々の一般化境界は、ディープラーニングにおいて禁止的に大きいモデルサイズに依存しない。 これは深層学習の一般化可能性を理解するための光である。 これらの結果は幅広い学習アルゴリズムに適用できる。 本稿では,確率勾配ランゲヴィン力学と非認識フェデレーション学習を例として応用する。

関連論文リスト

• An Information-Theoretic Approach to Generalization Theory [27.87324770020133]
  学習アルゴリズムと学習データ間の依存度を定量化する情報理論境界を解析する。 一定のプライバシーパラメータを持つ場合であっても,最大リークが制限されたアルゴリズムにより一般化が保証されることを示す。
  論文  参考訳（メタデータ） (2024-08-20T10:08:21Z)
• Individualized Privacy Accounting via Subsampling with Applications in Combinatorial Optimization [55.81991984375959]
  本研究では、以下の簡単な観察を通して、個別化されたプライバシ会計を解析する新しい手法を提案する。 我々は、分解可能な部分モジュラーおよびセットアルゴリズム被覆を含む、プライベート最適化問題に対するいくつかの改良されたアルゴリズムを得る。
  論文  参考訳（メタデータ） (2024-05-28T19:02:30Z)
• Theoretically Principled Federated Learning for Balancing Privacy and Utility [61.03993520243198]
  モデルパラメータを歪ませることでプライバシを保護する保護機構の一般学習フレームワークを提案する。 フェデレートされた学習における各コミュニケーションラウンドにおいて、各クライアント上の各モデルパラメータに対して、パーソナライズされたユーティリティプライバシトレードオフを実現することができる。
  論文  参考訳（メタデータ） (2023-05-24T13:44:02Z)
• Differentially-Private Hierarchical Clustering with Provable Approximation Guarantees [79.59010418610625]
  階層クラスタリングのための微分プライベート近似アルゴリズムについて検討する。 例えば、$epsilon$-DPアルゴリズムは入力データセットに対して$O(|V|2/epsilon)$-additiveエラーを示さなければならない。 本稿では,ブロックを正確に復元する1+o(1)$近似アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-01-31T19:14:30Z)
• Stochastic Differentially Private and Fair Learning [7.971065005161566]
  我々は、収束することが保証されるフェアラーニングのための最初の微分プライベートアルゴリズムを提供する。 われわれのフレームワークは、人口格差や均等化オッズなど、さまざまな公平さを許容できるほど柔軟である。 本アルゴリズムは,複数の(非バイナリ)機密属性を持つ非バイナリ分類タスクに適用可能である。
  論文  参考訳（メタデータ） (2022-10-17T06:54:57Z)
• Differentially Private Stochastic Gradient Descent with Low-Noise [49.981789906200035]
  現代の機械学習アルゴリズムは、データからきめ細かい情報を抽出して正確な予測を提供することを目的としており、プライバシー保護の目標と矛盾することが多い。 本稿では、プライバシを保ちながら優れたパフォーマンスを確保するために、プライバシを保存する機械学習アルゴリズムを開発することの実践的および理論的重要性について論じる。
  論文  参考訳（メタデータ） (2022-09-09T08:54:13Z)
• A Pragmatic Look at Deep Imitation Learning [0.3626013617212666]
  我々は6つの異なる対向的模倣学習アルゴリズムを再実装する。 広く使われている専門的軌跡データセットで評価する。 GAILは、様々なサンプルサイズにわたって、一貫してよく機能する。
  論文  参考訳（メタデータ） (2021-08-04T06:33:10Z)
• Privacy Analysis of Online Learning Algorithms via Contraction Coefficients [5.333582981327498]
  差分プライバシー保証は、$f$-divergencesの強いデータ処理の不等式から導かれる収縮係数の直接適用によって決定できることを示す。 また、このフレームワークは、トレーニングデータセットをワンパスで実装できるバッチ学習アルゴリズムに調整可能であることも示しています。
  論文  参考訳（メタデータ） (2020-12-20T22:02:15Z)
• Differentially Private Clustering: Tight Approximation Ratios [57.89473217052714]
  基本的なクラスタリング問題に対して,効率的な微分プライベートアルゴリズムを提案する。 この結果から,SampleとAggregateのプライバシーフレームワークのアルゴリズムの改善が示唆された。 1-Clusterアルゴリズムで使用されるツールの1つは、ClosestPairのより高速な量子アルゴリズムを適度な次元で得るために利用できる。
  論文  参考訳（メタデータ） (2020-08-18T16:22:06Z)
• Efficient, Noise-Tolerant, and Private Learning via Boosting [15.62988331732388]
  本研究では,大規模ハーフスペースのための耐雑音性とプライベートなPAC学習者を構築する方法について述べる。 この最初の境界は、プライバシからPAC学習者を取得するための一般的な方法論を示している。 2つ目の境界は、大きな有理半空間の微分プライベート学習において最もよく知られたサンプルの複雑さに適合する標準手法を使用する。
  論文  参考訳（メタデータ） (2020-02-04T03:16:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。