Fugu-MT 論文翻訳(概要): GReDP: A More Robust Approach for Differential Private Training with Gradient-Preserving Noise Reduction

論文の概要: GReDP: A More Robust Approach for Differential Private Training with Gradient-Preserving Noise Reduction

arxiv url: http://arxiv.org/abs/2409.11663v2
Date: Sat, 21 Sep 2024 04:06:00 GMT
ステータス: 処理完了
システム内更新日: 2024-09-24 11:55:37.557229
Title: GReDP: A More Robust Approach for Differential Private Training with Gradient-Preserving Noise Reduction
Title（参考訳）: GReDP: グラディエント保存雑音低減型微分プライベートトレーニングのためのロバストなアプローチ
Authors: Haodi Wang, Tangyu Jiang, Yu Guo, Chengjun Cai, Cong Wang, Xiaohua Jia,
Abstract要約: 我々は、GReDPと呼ばれる微分プライバシートレーニングに対して、より堅牢なアプローチを提案する。周波数領域におけるモデル勾配を計算し、ノイズレベルを低減するための新しいアプローチを採用する。これまでの研究とは異なり、我々のGReDPはDPSGDに比べてノイズスケールの半分しか必要としない。
参考スコア（独自算出の注目度）: 19.683286866372832
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Deep learning models have been extensively adopted in various regions due to their ability to represent hierarchical features, which highly rely on the training set and procedures. Thus, protecting the training process and deep learning algorithms is paramount in privacy preservation. Although Differential Privacy (DP) as a powerful cryptographic primitive has achieved satisfying results in deep learning training, the existing schemes still fall short in preserving model utility, i.e., they either invoke a high noise scale or inevitably harm the original gradients. To address the above issues, in this paper, we present a more robust approach for DP training called GReDP. Specifically, we compute the model gradients in the frequency domain and adopt a new approach to reduce the noise level. Unlike the previous work, our GReDP only requires half of the noise scale compared to DPSGD [1] while keeping all the gradient information intact. We present a detailed analysis of our method both theoretically and empirically. The experimental results show that our GReDP works consistently better than the baselines on all models and training settings.
Abstract（参考訳）: ディープラーニングモデルは、訓練セットや手順に大きく依存する階層的な特徴を表現する能力のため、各地域で広く採用されている。したがって、トレーニングプロセスとディープラーニングアルゴリズムを保護することは、プライバシ保護において最重要である。強力な暗号プリミティブとしての差分プライバシー(DP)は、ディープラーニングトレーニングで満足な結果を得たが、既存のスキームはモデルユーティリティの保存に不足している。以上の課題に対処するため,本論文では,GReDPと呼ばれるDPトレーニングに対して,より堅牢なアプローチを提案する。具体的には、周波数領域におけるモデル勾配を計算し、ノイズレベルを低減するための新しいアプローチを採用する。従来の研究と異なり、GReDPはDPSGD [1]に比べてノイズ尺度の半分しか必要とせず、全ての勾配情報をそのままに保っている。理論的にも経験的にも,本手法の詳細な解析を行う。実験の結果,GReDPはすべてのモデルやトレーニング設定のベースラインよりも一貫して動作することがわかった。

関連論文リスト

Rethinking Improved Privacy-Utility Trade-off with Pre-existing Knowledge for DP Training [31.559864332056648]
異種雑音(DP-Hero)を有する一般微分プライバシーフレームワークを提案する。 DP-Hero上では、勾配更新に注入されたノイズが不均一であり、予め確立されたモデルパラメータによって誘導されるDP-SGDの異種バージョンをインスタンス化する。提案するDP-Heroの有効性を検証・説明するための総合的な実験を行い,最新技術と比較するとトレーニング精度が向上した。
論文参考訳（メタデータ） (2024-09-05T08:40:54Z)
DOPPLER: Differentially Private Optimizers with Low-pass Filter for Privacy Noise Reduction [47.65999101635902]
差分プライベート(DP)トレーニングは、トレーニングされた機械学習モデルから収集したトレーニングデータの機密情報の漏洩を防止する。 DOPPLERと呼ばれる新しいコンポーネントを開発し、この周波数領域内のDPノイズを効果的に増幅する。実験の結果,低域通過フィルタを用いたDPは,試験精度で3%-10%向上した。
論文参考訳（メタデータ） (2024-08-24T04:27:07Z)
CDSA: Conservative Denoising Score-based Algorithm for Offline Reinforcement Learning [25.071018803326254]
オフラインの強化学習において、分散シフトは大きな障害である。以前の保守的なオフラインRLアルゴリズムは、目に見えないアクションに一般化するのに苦労した。本稿では、事前学習したオフラインRLアルゴリズムから生成されたデータセット密度の勾配場を用いて、元の動作を調整することを提案する。
論文参考訳（メタデータ） (2024-06-11T17:59:29Z)
Learning with Noisy Foundation Models [95.50968225050012]
本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
論文参考訳（メタデータ） (2024-03-11T16:22:41Z)
Sparsity-Preserving Differentially Private Training of Large Embedding Models [67.29926605156788]
DP-SGDは、差分プライバシーと勾配降下を組み合わせたトレーニングアルゴリズムである。 DP-SGDをネーティブに埋め込みモデルに適用すると、勾配の間隔が破壊され、トレーニング効率が低下する。我々は,大規模埋め込みモデルのプライベートトレーニングにおいて,勾配間隔を保ったDP-FESTとDP-AdaFESTの2つの新しいアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-11-14T17:59:51Z)
DP-SGD with weight clipping [1.0878040851638]
従来の勾配クリッピングから生じるバイアスを緩和する新しい手法を提案する。探索領域内における現在のモデルのリプシッツ値の公開上界と現在の位置を有効利用することにより、改良されたノイズレベル調整を実現することができる。
論文参考訳（メタデータ） (2023-10-27T09:17:15Z)
Adap DP-FL: Differentially Private Federated Learning with Adaptive Noise [30.005017338416327]
フェデレートラーニングは、クライアントにローカルトレーニングモデルのみを公開することによって、孤立したデータアイランドの問題に対処しようとしている。近年、データプライバシを保護するためのフェデレーション学習に差分プライバシーが適用されているが、付加されるノイズは学習性能を著しく低下させる可能性がある。適応雑音付きフェデレーション学習のための差分プライベートスキーム(Adap DP-FL)を提案する。
論文参考訳（メタデータ） (2022-11-29T03:20:40Z)
Scaling Structured Inference with Randomization [64.18063627155128]
本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。我々の手法は古典的DPベースの推論に広く適用できる。また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
論文参考訳（メタデータ） (2021-12-07T11:26:41Z)
Large Language Models Can Be Strong Differentially Private Learners [70.0317718115406]
Differentially Private(DP)学習は、テキストの大規模なディープラーニングモデルを構築する上で、限られた成功を収めている。この性能低下は,大規模な事前学習モデルを用いることで緩和可能であることを示す。本稿では,DP-SGDにおけるクリッピングを,サンプルごとの勾配をインスタンス化せずに実行可能にするメモリ節約手法を提案する。
論文参考訳（メタデータ） (2021-10-12T01:45:27Z)
Improving Deep Learning with Differential Privacy using Gradient Encoding and Denoising [36.935465903971014]
本稿では,差分プライバシー保証を伴う深層学習モデルの学習を目的とした。我々の鍵となる手法は勾配をエンコードしてより小さなベクトル空間にマッピングすることである。我々のメカニズムは最先端のDPSGDよりも優れていることを示す。
論文参考訳（メタデータ） (2020-07-22T16:33:14Z)
Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。