論文の概要: On the accuracy and efficiency of group-wise clipping in differentially private optimization

• arxiv url: http://arxiv.org/abs/2310.19215v1
• Date: Mon, 30 Oct 2023 01:01:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-31 13:31:08.191025
• Title: On the accuracy and efficiency of group-wise clipping in differentially private optimization
• Title（参考訳）: 微分プライベート最適化におけるグループクリッピングの精度と効率について
• Authors: Zhiqi Bu, Ruixuan Liu, Yu-Xiang Wang, Sheng Zha, George Karypis
• Abstract要約: 異なるクリッピングスタイルは、同じ時間の複雑さを持つが、精度とメモリのトレードオフをインスタンス化する。 大規模モデルでは,グループワイドクリッピングと全層クリッピングの精度差が小さくなることを示す。
• 参考スコア（独自算出の注目度）: 38.80873569002277
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances have substantially improved the accuracy, memory cost, and training speed of differentially private (DP) deep learning, especially on large vision and language models with millions to billions of parameters. In this work, we thoroughly study the per-sample gradient clipping style, a key component in DP optimization. We show that different clipping styles have the same time complexity but instantiate an accuracy-memory trade-off: while the all-layer clipping (of coarse granularity) is the most prevalent and usually gives the best accuracy, it incurs heavier memory cost compared to other group-wise clipping, such as the layer-wise clipping (of finer granularity). We formalize this trade-off through our convergence theory and complexity analysis. Importantly, we demonstrate that the accuracy gap between group-wise clipping and all-layer clipping becomes smaller for larger models, while the memory advantage of the group-wise clipping remains. Consequently, the group-wise clipping allows DP optimization of large models to achieve high accuracy and low peak memory simultaneously.
• Abstract（参考訳）: 最近の進歩は、ディファレンシャル・プライベート・ディープラーニング(DP)の精度、メモリコスト、トレーニング速度を大幅に向上させており、特に数百万から数十億のパラメータを持つ大規模ビジョンと言語モデルにおいてである。 本研究では,dp最適化の重要な要素であるサンプル毎勾配クリッピング方式を徹底的に検討する。 その結果,全層クリッピング(粗粒度)が最も一般的であり,最も精度が高いが,層ワイドクリッピング(微粒度)など,他のグループワイドクリッピングに比べてメモリコストが大きくなることがわかった。 我々は収束理論と複雑性解析を通じてこのトレードオフを定式化する。 重要なことは、グループワイドクリッピングと全層クリッピングの精度ギャップがより大きいモデルでは小さくなる一方で、グループワイドクリッピングのメモリ利点が残ることである。 このため、グループワイドクリッピングにより、大きなモデルのDP最適化により、高い精度と低いピークメモリを同時に達成できる。

関連論文リスト

• MPruner: Optimizing Neural Network Size with CKA-Based Mutual Information Pruning [7.262751938473306]
  プルーニング(Pruning)は、ニューラルネットワークのサイズを減らし、数学的に精度の保存を保証している、よく確立されたテクニックである。 我々は,ベクトル類似性により相互情報を活用する新しいプルーニングアルゴリズムMPrunerを開発した。 MPrunerはCNNとトランスフォーマーベースのモデルで最大50%のパラメータとメモリ使用量の削減を実現した。
  論文  参考訳（メタデータ） (2024-08-24T05:54:47Z)
• AdaLomo: Low-memory Optimization with Adaptive Learning Rate [59.64965955386855]
  大規模言語モデルに対する適応学習率(AdaLomo)を用いた低メモリ最適化を提案する。 AdaLomoはAdamWと同等の結果を得ると同時に、メモリ要件を大幅に削減し、大きな言語モデルをトレーニングするためのハードウェア障壁を低くする。
  論文  参考訳（メタデータ） (2023-10-16T09:04:28Z)
• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)
• Exploring the Limits of Differentially Private Deep Learning with Group-wise Clipping [91.60608388479645]
  本研究では, クリッピングとバックプロパゲーションを併用して, 異なる最適化手法でクリッピングを行えることを示す。 その結果、プライベートな学習は、記憶効率が良く、トレーニング更新あたりの速度は、多くの関心を持つ非プライベートな学習と同程度になる。
  論文  参考訳（メタデータ） (2022-12-03T05:20:15Z)
• Per-Clip Video Object Segmentation [110.08925274049409]
  近年、メモリベースの手法は、半教師付きビデオオブジェクトセグメンテーションにおいて有望な結果を示している。 映像オブジェクトのセグメンテーションをクリップワイドマスクワイド伝搬として扱う。 本稿では,Clip毎の推論に適した新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-08-03T09:02:29Z)
• Automatic Clipping: Differentially Private Deep Learning Made Easier and Stronger [39.93710312222771]
  サンプルごとのクリッピングは、ディープラーニングモデルのための実用的な差分プライベート(DP)トレーニングを可能にするアルゴリズムの重要なステップである。 本稿では,任意のDPに対してRをチューニングする必要がなくなる自動クリッピング(automatic clipping)という,使い勝手の良い代替手法を提案する。
  論文  参考訳（メタデータ） (2022-06-14T19:49:44Z)
• On the Convergence and Calibration of Deep Learning with Differential Privacy [12.297499996547925]
  差分プライベート(DP)トレーニングは、データプライバシを通常、収束を遅くするコストで保持する。 ノイズ付加はプライバシーリスクにのみ影響するが、収束や校正には影響しない。 対照的に、大きなクリッピング規範で訓練されたDPモデルは、同じプライバシー保証と類似の精度を享受するが、はるかにテキスト化されている。
  論文  参考訳（メタデータ） (2021-06-15T01:32:29Z)
• Beyond Short Clips: End-to-End Video-Level Learning with Collaborative Memories [56.91664227337115]
  本稿では,ビデオの複数のサンプルクリップにまたがる情報を,トレーニングイテレーション毎にエンコードするコラボレーティブメモリ機構を提案する。 これにより、単一のクリップ以上の長距離依存関係の学習が可能になる。 提案するフレームワークはエンドツーエンドでトレーニング可能で,計算オーバーヘッドが無視できないビデオ分類精度が大幅に向上する。
  論文  参考訳（メタデータ） (2021-04-02T18:59:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。