論文の概要: Differentially Private Sharpness-Aware Training

• arxiv url: http://arxiv.org/abs/2306.05651v1
• Date: Fri, 9 Jun 2023 03:37:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-12 14:58:46.041394
• Title: Differentially Private Sharpness-Aware Training
• Title（参考訳）: 個人別シャープネス・アウェアトレーニング
• Authors: Jinseong Park, Hoki Kim, Yujin Choi, Jaewook Lee
• Abstract要約: 差分プライバシー(DP)を用いたディープラーニングモデルのトレーニングでは、パフォーマンスが低下する。 また, 平らなミニマは, 傾斜別クリッピングによる負の効果を低減できることを示した。 本稿では,プライバシ最適化のトレードオフを緩和する,シャープネスを考慮した新たなトレーニング手法を提案する。
• 参考スコア（独自算出の注目度）: 5.488902352630076
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Training deep learning models with differential privacy (DP) results in a degradation of performance. The training dynamics of models with DP show a significant difference from standard training, whereas understanding the geometric properties of private learning remains largely unexplored. In this paper, we investigate sharpness, a key factor in achieving better generalization, in private learning. We show that flat minima can help reduce the negative effects of per-example gradient clipping and the addition of Gaussian noise. We then verify the effectiveness of Sharpness-Aware Minimization (SAM) for seeking flat minima in private learning. However, we also discover that SAM is detrimental to the privacy budget and computational time due to its two-step optimization. Thus, we propose a new sharpness-aware training method that mitigates the privacy-optimization trade-off. Our experimental results demonstrate that the proposed method improves the performance of deep learning models with DP from both scratch and fine-tuning. Code is available at https://github.com/jinseongP/DPSAT.
• Abstract（参考訳）: 差分プライバシー(DP)を用いたディープラーニングモデルのトレーニングでは、パフォーマンスが低下する。 DPを用いたモデルのトレーニングダイナミクスは、標準トレーニングと大きく異なるが、プライベートラーニングの幾何学的性質の理解は、ほとんど探索されていない。 本稿では,私的学習において,より優れた一般化を実現するための重要な要因であるシャープネスについて検討する。 平らなミニマは,サンプル毎の勾配クリッピングの負の効果とガウス雑音の付加を低減できることを示した。 次に,私的学習における平らな最小値を求めるために,SAM(Sharpness-Aware Minimization)の有効性を検証する。 しかし,2段階最適化により,プライバシー予算や計算時間に悪影響を与えることも判明した。 そこで本研究では,プライバシ最適化トレードオフを緩和するシャープネス対応トレーニング手法を提案する。 提案手法は,DPを用いたディープラーニングモデルの性能を,スクラッチと微調整の両方から向上することを示す。 コードはhttps://github.com/jinseongP/DPSAT.comで入手できる。

関連論文リスト

• DiSK: Differentially Private Optimizer with Simplified Kalman Filter for Noise Reduction [57.83978915843095]
  本稿では,微分プライベート勾配の性能を著しく向上する新しいフレームワークであるDiSKを紹介する。 大規模トレーニングの実用性を確保するため,Kalmanフィルタプロセスを簡素化し,メモリと計算要求を最小化する。
  論文  参考訳（メタデータ） (2024-10-04T19:30:39Z)
• DP$^2$-FedSAM: Enhancing Differentially Private Federated Learning Through Personalized Sharpness-Aware Minimization [8.022417295372492]
  Federated Learning(FL)は、複数のクライアントが生データを共有せずに、協調的にモデルをトレーニングできる分散機械学習アプローチである。 FLで共有されるモデル更新によって、センシティブな情報が推測されるのを防ぐために、差分プライベート・フェデレーション・ラーニング(DPFL)が提案されている。 DPFLは、共有モデル更新にランダムノイズを加えて、FLの形式的かつ厳格なプライバシ保護を保証する。 DP$2$-FedSAM: シャープネスを意識した個人化フェデレート学習を提案する。
  論文  参考訳（メタデータ） (2024-09-20T16:49:01Z)
• Mitigating Noise Detriment in Differentially Private Federated Learning with Model Pre-training [27.1846697092374]
  事前トレーニングは、公開データセットを利用して高度な機械学習モデルを事前トレーニングする。 我々は、モデル事前学習が、微分プライベートなフェデレーション学習におけるノイズの軽減をいかに可能か、最初に検討する。
  論文  参考訳（メタデータ） (2024-08-18T13:48:10Z)
• Towards the Flatter Landscape and Better Generalization in Federated Learning under Client-level Differential Privacy [67.33715954653098]
  本稿では,DPの負の影響を軽減するために勾配摂動を利用するDP-FedSAMという新しいDPFLアルゴリズムを提案する。 具体的には、DP-FedSAM は Sharpness Aware of Minimization (SAM) を統合し、安定性と重みのある局所平坦度モデルを生成する。 より優れた性能を保ちながら、さらにマグニチュードランダムノイズを低減するために、ローカル更新スペーシフィケーション手法を用いてDP-FedSAM-$top_k$を提案する。
  論文  参考訳（メタデータ） (2023-05-01T15:19:09Z)
• Enforcing Privacy in Distributed Learning with Performance Guarantees [57.14673504239551]
  分散学習と最適化戦略の民営化について検討する。 グラフ構造に対して十分に調整されていないため, 一般的な加法的乱乱摂動方式は性能を低下させることを示す。
  論文  参考訳（メタデータ） (2023-01-16T13:03:27Z)
• Sharpness-Aware Training for Free [163.1248341911413]
  シャープネスを意識した最小化(SAM)は、損失ランドスケープの幾何学を反映したシャープネス尺度の最小化が一般化誤差を著しく減少させることを示した。 シャープネス・アウェア・トレーニング・フリー(SAF)は、シャープランドスケープをベース上でほぼゼロの計算コストで軽減する。 SAFは、改善された能力で最小限の平らな収束を保証する。
  論文  参考訳（メタデータ） (2022-05-27T16:32:43Z)
• Large Language Models Can Be Strong Differentially Private Learners [70.0317718115406]
  Differentially Private(DP)学習は、テキストの大規模なディープラーニングモデルを構築する上で、限られた成功を収めている。 この性能低下は,大規模な事前学習モデルを用いることで緩和可能であることを示す。 本稿では,DP-SGDにおけるクリッピングを,サンプルごとの勾配をインスタンス化せずに実行可能にするメモリ節約手法を提案する。
  論文  参考訳（メタデータ） (2021-10-12T01:45:27Z)
• DPlis: Boosting Utility of Differentially Private Deep Learning via Randomized Smoothing [0.0]
  DPlis--Differentially Private Learning wIth Smoothingを提案します。 DPlisは,プライバシ予算の下でモデル品質とトレーニングの安定性を効果的に向上させることができることを示す。
  論文  参考訳（メタデータ） (2021-03-02T06:33:14Z)
• Sharpness-Aware Minimization for Efficiently Improving Generalization [36.87818971067698]
  本稿では,損失値と損失シャープネスを同時に最小化する新しい効果的な手法を提案する。 シャープネス・アウェアの最小化(SAM)は、一様損失の少ない地区にあるパラメータを求める。 SAMは様々なベンチマークデータセットのモデル一般化を改善することを示す実験結果を示す。
  論文  参考訳（メタデータ） (2020-10-03T19:02:10Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。