論文の概要: Exploring the Limits of Differentially Private Deep Learning with Group-wise Clipping

• arxiv url: http://arxiv.org/abs/2212.01539v1
• Date: Sat, 3 Dec 2022 05:20:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-06 15:46:53.708914
• Title: Exploring the Limits of Differentially Private Deep Learning with Group-wise Clipping
• Title（参考訳）: グループクリッピングによる微分プライベート深層学習の限界を探る
• Authors: Jiyan He, Xuechen Li, Da Yu, Huishuai Zhang, Janardhan Kulkarni, Yin Tat Lee, Arturs Backurs, Nenghai Yu, Jiang Bian
• Abstract要約: 本研究では, クリッピングとバックプロパゲーションを併用して, 異なる最適化手法でクリッピングを行えることを示す。 その結果、プライベートな学習は、記憶効率が良く、トレーニング更新あたりの速度は、多くの関心を持つ非プライベートな学習と同程度になる。
• 参考スコア（独自算出の注目度）: 91.60608388479645
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Differentially private deep learning has recently witnessed advances in computational efficiency and privacy-utility trade-off. We explore whether further improvements along the two axes are possible and provide affirmative answers leveraging two instantiations of \emph{group-wise clipping}. To reduce the compute time overhead of private learning, we show that \emph{per-layer clipping}, where the gradient of each neural network layer is clipped separately, allows clipping to be performed in conjunction with backpropagation in differentially private optimization. This results in private learning that is as memory-efficient and almost as fast per training update as non-private learning for many workflows of interest. While per-layer clipping with constant thresholds tends to underperform standard flat clipping, per-layer clipping with adaptive thresholds matches or outperforms flat clipping under given training epoch constraints, hence attaining similar or better task performance within less wall time. To explore the limits of scaling (pretrained) models in differentially private deep learning, we privately fine-tune the 175 billion-parameter GPT-3. We bypass scaling challenges associated with clipping gradients that are distributed across multiple devices with \emph{per-device clipping} that clips the gradient of each model piece separately on its host device. Privately fine-tuning GPT-3 with per-device clipping achieves a task performance at $\epsilon=1$ better than what is attainable by non-privately fine-tuning the largest GPT-2 on a summarization task.
• Abstract（参考訳）: 異なるプライベートなディープラーニングは、最近、計算効率とプライバシユーティリティのトレードオフの進歩を目撃している。 2つの軸に沿ってさらなる改善が可能かどうかを考察し,2つのemph{group-wise clipping}のインスタンス化を利用した肯定的回答を提供する。 プライベートラーニングの計算時間オーバーヘッドを低減するため,各ニューラルネットワーク層の勾配を別々にクリッピングした \emph{per-layer clipping} は,差分プライベート最適化におけるバックプロパゲーションと連動してクリッピングを行うことができることを示した。 その結果、プライベートな学習は、メモリ効率が良く、トレーニング更新あたりの速度は、多くのワークフローに対するプライベートな学習と同程度になる。 一定の閾値を持つ層ごとのクリッピングは標準的な平坦なクリッピングを過小評価する傾向にあるが、アダプティブしきい値を持つ層ごとのクリッピングは、与えられた訓練エポック制約の下でフラットなクリッピングと一致したり、より優れたタスク性能を壁時間以下で達成する。 差分的にプライベートなディープラーニングにおけるスケーリング(事前学習)モデルの限界を探るため,我々は175億パラメータのGPT-3をプライベートに微調整した。 ホストデバイス上で各モデルピースの勾配を別々にクリップする \emph{per-device clipping} を用いて,複数のデバイスに分散するクリッピング勾配に関するスケーリングの課題を回避する。 デバイス毎のクリッピングでプライベートに微調整されたGPT-3は、要約タスクで最大のGPT-2を非プライベートに微調整することで達成できるものよりも$\epsilon=1$のタスク性能を達成する。

関連論文リスト

• On the accuracy and efficiency of group-wise clipping in differentially private optimization [38.80873569002277]
  異なるクリッピングスタイルは、同じ時間の複雑さを持つが、精度とメモリのトレードオフをインスタンス化する。 大規模モデルでは,グループワイドクリッピングと全層クリッピングの精度差が小さくなることを示す。
  論文  参考訳（メタデータ） (2023-10-30T01:01:15Z)
• Evaluating Privacy Leakage in Split Learning [8.841387955312669]
  オンデバイス機械学習は、推論中にサードパーティサーバと生データを共有しないようにする。 Split Learning(SL)は、制限を克服できる有望なアプローチである。 SLでは、大きな機械学習モデルが2つの部分に分割され、大きな部分はサーバ側にあり、小さな部分はデバイス上で実行される。
  論文  参考訳（メタデータ） (2023-05-22T13:00:07Z)
• Scalable and Efficient Training of Large Convolutional Neural Networks with Differential Privacy [10.098114696565865]
  大規模畳み込みニューラルネットワーク(CNN)は、差分プライベート(DP)方式でトレーニングすることが困難である。 混合ゴーストクリッピングと呼ばれる畳み込み層におけるこのクリッピングの効率的かつスケーラブルな実装を提案する。 CIFAR10では96.7%、CIFAR100では83.0%の精度が$epsilon=1$でBEiTで達成され、前回の結果は94.8%と67.4%であった。
  論文  参考訳（メタデータ） (2022-05-21T22:01:12Z)
• Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
  Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。 この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
  論文  参考訳（メタデータ） (2022-05-06T01:22:20Z)
• Large Language Models Can Be Strong Differentially Private Learners [70.0317718115406]
  Differentially Private(DP)学習は、テキストの大規模なディープラーニングモデルを構築する上で、限られた成功を収めている。 この性能低下は,大規模な事前学習モデルを用いることで緩和可能であることを示す。 本稿では,DP-SGDにおけるクリッピングを,サンプルごとの勾配をインスタンス化せずに実行可能にするメモリ節約手法を提案する。
  論文  参考訳（メタデータ） (2021-10-12T01:45:27Z)
• Beyond Short Clips: End-to-End Video-Level Learning with Collaborative Memories [56.91664227337115]
  本稿では,ビデオの複数のサンプルクリップにまたがる情報を,トレーニングイテレーション毎にエンコードするコラボレーティブメモリ機構を提案する。 これにより、単一のクリップ以上の長距離依存関係の学習が可能になる。 提案するフレームワークはエンドツーエンドでトレーニング可能で,計算オーバーヘッドが無視できないビデオ分類精度が大幅に向上する。
  論文  参考訳（メタデータ） (2021-04-02T18:59:09Z)
• Parameter-Efficient Transfer Learning with Diff Pruning [108.03864629388404]
  diff pruningは、プリトレイン・ファインチューンフレームワーク内でパラメータ効率の高い転送学習を可能にするシンプルなアプローチです。 diff pruningで微調整されたモデルは、GLUEベンチマークで完全に微調整されたベースラインのパフォーマンスと一致します。
  論文  参考訳（メタデータ） (2020-12-14T12:34:01Z)
• Scaling up Differentially Private Deep Learning with Fast Per-Example Gradient Clipping [15.410557873153833]
  差分プライバシーに関する最近の研究は、ディープラーニングタスクに差分プライバシーを適用する可能性を示している。 彼らの約束にもかかわらず、異なるプライベートなディープネットワークは、正確さで非プライベートなネットワークよりもはるかに遅れていることが多い。 この拡張された研究の障壁の1つは、トレーニング時間 -- 多くの場合、非プライベートネットワークのトレーニングよりも桁違いに大きい — である。
  論文  参考訳（メタデータ） (2020-09-07T13:51:26Z)
• AutoClip: Adaptive Gradient Clipping for Source Separation Networks [45.58157519349822]
  AutoClipは、勾配クリッピングしきい値を自動的に適応的に選択する方法である。 実験の結果,AutoClipの適用により,音源分離ネットワークの性能が向上することがわかった。
  論文  参考訳（メタデータ） (2020-07-25T20:59:39Z)
• Understanding Gradient Clipping in Private SGD: A Geometric Perspective [68.61254575987013]
  ディープラーニングモデルは、トレーニングデータが機密情報を含む可能性がある多くの機械学習アプリケーションで、ますます人気が高まっている。 多くの学習システムは、(異なる)プライベートSGDでモデルをトレーニングすることで、差分プライバシーを取り入れている。 各プライベートSGDアップデートにおける重要なステップは勾配クリッピングであり、L2ノルムがしきい値を超えると、個々の例の勾配を小さくする。
  論文  参考訳（メタデータ） (2020-06-27T19:08:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。