論文の概要: What You See is What You Get: Distributional Generalization for Algorithm Design in Deep Learning

• arxiv url: http://arxiv.org/abs/2204.03230v1
• Date: Thu, 7 Apr 2022 05:41:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-08 13:05:56.786365
• Title: What You See is What You Get: Distributional Generalization for Algorithm Design in Deep Learning
• Title（参考訳）: ディープラーニングにおけるアルゴリズム設計のための分布一般化
• Authors: Bogdan Kulynych, Yao-Yuan Yang, Yaodong Yu, Jaros{\l}aw B{\l}asiok, Preetum Nakkiran
• Abstract要約: 微分プライバシー(DP)と分布一般化(DG)の概念の関連性について検討・活用する。 我々は、標準勾配降下(SGD)の「病理」をバイパスするディープラーニング手法を設計するための新しい概念ツールを導入する。
• 参考スコア（独自算出の注目度）: 12.215964287323876
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate and leverage a connection between Differential Privacy (DP) and the recently proposed notion of Distributional Generalization (DG). Applying this connection, we introduce new conceptual tools for designing deep-learning methods that bypass "pathologies" of standard stochastic gradient descent (SGD). First, we prove that differentially private methods satisfy a "What You See Is What You Get (WYSIWYG)" generalization guarantee: whatever a model does on its train data is almost exactly what it will do at test time. This guarantee is formally captured by distributional generalization. WYSIWYG enables principled algorithm design in deep learning by reducing $\textit{generalization}$ concerns to $\textit{optimization}$ ones: in order to mitigate unwanted behavior at test time, it is provably sufficient to mitigate this behavior on the train data. This is notably false for standard (non-DP) methods, hence this observation has applications even when privacy is not required. For example, importance sampling is known to fail for standard SGD, but we show that it has exactly the intended effect for DP-trained models. Thus, with DP-SGD, unlike with SGD, we can influence test-time behavior by making principled train-time interventions. We use these insights to construct simple algorithms which match or outperform SOTA in several distributional robustness applications, and to significantly improve the privacy vs. disparate impact trade-off of DP-SGD. Finally, we also improve on known theoretical bounds relating differential privacy, stability, and distributional generalization.
• Abstract（参考訳）: 本稿では,差分プライバシ(dp)と最近提案された分布汎化(dg)との関係を調査し,活用する。 この接続を応用して、標準的な確率勾配勾配(SGD)の「病理」をバイパスする深層学習手法を設計するための新しい概念的ツールを導入する。 まず、微分プライベートなメソッドが"What You See Is What You Get"(WYSIWYG)の一般化を保証することを証明します。 この保証は分布的一般化によって正式に捉えられる。 WYSIWYGは、テスト時に不要な振る舞いを緩和するために、列車データ上のこの振る舞いを緩和するのに十分である、という、$\textit{generalization}$ concerns to $\textit{optimization}$ one: を減らして、ディープラーニングのアルゴリズム設計を可能にする。 これは、標準(非dp)メソッドに特に当てはまるため、プライバシが不要な場合でも、この観察は適用できる。 例えば, 標準SGDでは重要サンプリングが失敗することが知られているが, DP学習モデルに対して意図した効果があることを示す。 したがって、DP-SGDでは、SGDとは異なり、原則化された列車時間介入を行うことでテスト時の動作に影響を与えることができる。 これらの知見を用いて,複数の分散ロバスト性アプリケーションにおけるSOTAの整合性や性能を向上する単純なアルゴリズムを構築し,DP-SGDのプライバシー対異な影響トレードオフを大幅に改善する。 最後に、差分プライバシー、安定性、分布一般化に関する既知の理論的境界を改善した。

関連論文リスト

• Uncertainty quantification by block bootstrap for differentially private stochastic gradient descent [1.0742675209112622]
  Gradient Descent (SGD) は機械学習において広く使われているツールである。 ブートストラップによるSGDの不確実性定量化(UQ)は、いくつかの著者によって解決されている。 本稿では,ローカルな差分プライバシーの下でSGDのブロックブートストラップを提案する。
  論文  参考訳（メタデータ） (2024-05-21T07:47:21Z)
• How Private are DP-SGD Implementations? [61.19794019914523]
  2種類のバッチサンプリングを使用する場合、プライバシ分析の間に大きなギャップがあることが示される。 その結果,2種類のバッチサンプリングでは,プライバシ分析の間に大きなギャップがあることが判明した。
  論文  参考訳（メタデータ） (2024-03-26T13:02:43Z)
• Differentially-Private Bayes Consistency [70.92545332158217]
  差分プライバシー(DP)を満たすベイズ一貫した学習ルールを構築する。 ほぼ最適なサンプル複雑性を持つ半教師付き環境で,任意のVCクラスをプライベートに学習できることを実証する。
  論文  参考訳（メタデータ） (2022-12-08T11:57:30Z)
• Differentially Private Learning with Per-Sample Adaptive Clipping [8.401653565794353]
  非単調適応重み関数に基づくDP-PSACアルゴリズムを提案する。 DP-PSACは,複数のメインストリームビジョンや言語タスクにおいて,最先端の手法よりも優れ,あるいは適合していることを示す。
  論文  参考訳（メタデータ） (2022-12-01T07:26:49Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)
• Fast and Memory Efficient Differentially Private-SGD via JL Projections [29.37156662314245]
  DP-SGDは大規模ニューラルネットワークのプライベートトレーニングで知られている唯一のアルゴリズムである。 本稿では,DP-SGD-JL とDP-Adam-JL と呼ばれる差分プライベートを設計するための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2021-02-05T06:02:10Z)
• Direction Matters: On the Implicit Bias of Stochastic Gradient Descent with Moderate Learning Rate [105.62979485062756]
  本稿では,中等度学習におけるSGDの特定の正規化効果を特徴付けることを試みる。 SGDはデータ行列の大きな固有値方向に沿って収束し、GDは小さな固有値方向に沿って収束することを示す。
  論文  参考訳（メタデータ） (2020-11-04T21:07:52Z)
• Private Stochastic Non-Convex Optimization: Adaptive Algorithms and Tighter Generalization Bounds [72.63031036770425]
  有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。 標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
  論文  参考訳（メタデータ） (2020-06-24T06:01:24Z)
• Detached Error Feedback for Distributed SGD with Random Sparsification [98.98236187442258]
  コミュニケーションのボトルネックは、大規模なディープラーニングにおいて重要な問題である。 非効率な分散問題に対する誤りフィードバックよりも優れた収束性を示す分散誤差フィードバック(DEF)アルゴリズムを提案する。 また、DEFよりも優れた境界を示すDEFの一般化を加速するDEFAを提案する。
  論文  参考訳（メタデータ） (2020-04-11T03:50:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。