Fugu-MT 論文翻訳(概要): DPDR: Gradient Decomposition and Reconstruction for Differentially Private Deep Learning

論文の概要: DPDR: Gradient Decomposition and Reconstruction for Differentially Private Deep Learning

arxiv url: http://arxiv.org/abs/2406.02744v1
Date: Tue, 4 Jun 2024 19:57:47 GMT
ステータス: 処理完了
システム内更新日: 2024-06-06 22:58:01.782369
Title: DPDR: Gradient Decomposition and Reconstruction for Differentially Private Deep Learning
Title（参考訳）: DPDR : 個人差分深層学習のためのグラディエント分解と再構成
Authors: Yixuan Liu, Li Xiong, Yuhan Liu, Yujie Gu, Ruixuan Liu, Hong Chen,
Abstract要約: 本稿では,早期の勾配分解と再構成を伴う,差分プライベートなトレーニングフレームワークを提案する。従来の雑音勾配に基づいてそれらを分解することで、現在の勾配における共通の知識と漸進的な情報を解き放つ。収束率と精度の両方で最先端のベースラインを上回ります。
参考スコア（独自算出の注目度）: 32.26092900508128
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Differentially Private Stochastic Gradients Descent (DP-SGD) is a prominent paradigm for preserving privacy in deep learning. It ensures privacy by perturbing gradients with random noise calibrated to their entire norm at each training step. However, this perturbation suffers from a sub-optimal performance: it repeatedly wastes privacy budget on the general converging direction shared among gradients from different batches, which we refer as common knowledge, yet yields little information gain. Motivated by this, we propose a differentially private training framework with early gradient decomposition and reconstruction (DPDR), which enables more efficient use of the privacy budget. In essence, it boosts model utility by focusing on incremental information protection and recycling the privatized common knowledge learned from previous gradients at early training steps. Concretely, DPDR incorporates three steps. First, it disentangles common knowledge and incremental information in current gradients by decomposing them based on previous noisy gradients. Second, most privacy budget is spent on protecting incremental information for higher information gain. Third, the model is updated with the gradient reconstructed from recycled common knowledge and noisy incremental information. Theoretical analysis and extensive experiments show that DPDR outperforms state-of-the-art baselines on both convergence rate and accuracy.
Abstract（参考訳）: Differentially Private Stochastic Gradients Descent (DP-SGD)は、ディープラーニングにおけるプライバシを保護するための重要なパラダイムである。トレーニングステップ毎に標準に調整されたランダムノイズで勾配を乱すことで、プライバシを確保する。しかし、この摂動は準最適パフォーマンスに悩まされ、異なるバッチからの勾配間で共有される一般的な収束方向のプライバシー予算を何度も無駄にします。そこで本研究では,プライバシー予算をより効率的に活用するための,早期勾配分解・再構成(DPDR)を備えた差分プライベートトレーニングフレームワークを提案する。本質的には、インクリメンタルな情報保護と、初期の訓練段階における以前の勾配から学んだ民営化された共通知識のリサイクルに焦点をあてることで、モデルの有用性を高める。具体的には、DPDRには3つのステップが組み込まれている。まず、従来の雑音勾配に基づいてそれらを分解することで、現在の勾配における共通知識と漸進情報を解き放つ。第2に、ほとんどのプライバシー予算は、より高い情報を得るためにインクリメンタルな情報を保護するために費やされている。第3に、リサイクルされた共通知識から再構成された勾配とノイズのあるインクリメンタル情報によってモデルが更新される。理論解析と広範な実験により、DPDRは収束率と精度の両方で最先端のベースラインを上回ります。

関連論文リスト

Enhancing DP-SGD through Non-monotonous Adaptive Scaling Gradient Weight [15.139854970044075]
我々はDP-PSASC(disferially Private Per-Sample Adaptive Scaling Clipping)を導入する。このアプローチは、従来のクリッピングを非単調適応勾配スケーリングに置き換える。 DP-PSASCは勾配のプライバシーを保ち、多様なデータセットに優れた性能を提供する。
論文参考訳（メタデータ） (2024-11-05T12:47:30Z)
GReDP: A More Robust Approach for Differential Private Training with Gradient-Preserving Noise Reduction [19.683286866372832]
我々は、GReDPと呼ばれる微分プライバシートレーニングに対して、より堅牢なアプローチを提案する。周波数領域におけるモデル勾配を計算し、ノイズレベルを低減するための新しいアプローチを採用する。これまでの研究とは異なり、我々のGReDPはDPSGDに比べてノイズスケールの半分しか必要としない。
論文参考訳（メタデータ） (2024-09-18T03:01:27Z)
Rethinking Improved Privacy-Utility Trade-off with Pre-existing Knowledge for DP Training [31.559864332056648]
異種雑音(DP-Hero)を有する一般微分プライバシーフレームワークを提案する。 DP-Hero上では、勾配更新に注入されたノイズが不均一であり、予め確立されたモデルパラメータによって誘導されるDP-SGDの異種バージョンをインスタンス化する。提案するDP-Heroの有効性を検証・説明するための総合的な実験を行い,最新技術と比較するとトレーニング精度が向上した。
論文参考訳（メタデータ） (2024-09-05T08:40:54Z)
Sparsity-Preserving Differentially Private Training of Large Embedding Models [67.29926605156788]
DP-SGDは、差分プライバシーと勾配降下を組み合わせたトレーニングアルゴリズムである。 DP-SGDをネーティブに埋め込みモデルに適用すると、勾配の間隔が破壊され、トレーニング効率が低下する。我々は,大規模埋め込みモデルのプライベートトレーニングにおいて,勾配間隔を保ったDP-FESTとDP-AdaFESTの2つの新しいアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-11-14T17:59:51Z)
Initialization Matters: Privacy-Utility Analysis of Overparameterized Neural Networks [72.51255282371805]
我々は、最悪の近傍データセット上でのモデル分布間のKLばらつきのプライバシー境界を証明した。このKLプライバシー境界は、トレーニング中にモデルパラメータに対して期待される2乗勾配ノルムによって決定される。
論文参考訳（メタデータ） (2023-10-31T16:13:22Z)
Differentially Private Stochastic Gradient Descent with Low-Noise [49.981789906200035]
現代の機械学習アルゴリズムは、データからきめ細かい情報を抽出して正確な予測を提供することを目的としており、プライバシー保護の目標と矛盾することが多い。本稿では、プライバシを保ちながら優れたパフォーマンスを確保するために、プライバシを保存する機械学習アルゴリズムを開発することの実践的および理論的重要性について論じる。
論文参考訳（メタデータ） (2022-09-09T08:54:13Z)
Auditing Privacy Defenses in Federated Learning via Generative Gradient Leakage [9.83989883339971]
Federated Learning (FL)フレームワークは、分散学習システムにプライバシーの利点をもたらす。近年の研究では、共有情報を通じて個人情報を漏洩させることが報告されている。我々は,GGL(Generative Gradient Leakage)と呼ばれる新しいタイプのリーク手法を提案する。
論文参考訳（メタデータ） (2022-03-29T15:59:59Z)
Dynamic Differential-Privacy Preserving SGD [19.273542515320372]
Differentially-Private Gradient Descent (DP-SGD)は、SGDトレーニング中にクリップされた勾配にノイズを加えることで、トレーニングデータのプライバシ侵害を防止する。同じクリップ操作とトレーニングステップ間の付加ノイズにより、不安定な更新や、上昇期間も生じる。更新時にDP-SGDよりも低いプライバシコストの動的DP-SGDを提案する。
論文参考訳（メタデータ） (2021-10-30T04:45:11Z)
Do Not Let Privacy Overbill Utility: Gradient Embedding Perturbation for Private Learning [74.73901662374921]
差分プライベートモデルは、モデルが多数のトレーニング可能なパラメータを含む場合、ユーティリティを劇的に劣化させる。偏微分プライベート深層モデルの精度向上のためのアルゴリズムemphGradient Embedding Perturbation (GEP)を提案する。
論文参考訳（メタデータ） (2021-02-25T04:29:58Z)
Private Reinforcement Learning with PAC and Regret Guarantees [69.4202374491817]
エピソード強化学習(RL)のためのプライバシー保護探索ポリシーを設計する。まず、共同微分プライバシー(JDP)の概念を用いた有意義なプライバシー定式化を提供する。そこで我々は,強いPACと後悔境界を同時に達成し,JDP保証を享受する,プライベートな楽観主義に基づく学習アルゴリズムを開発した。
論文参考訳（メタデータ） (2020-09-18T20:18:35Z)
Understanding Gradient Clipping in Private SGD: A Geometric Perspective [68.61254575987013]
ディープラーニングモデルは、トレーニングデータが機密情報を含む可能性がある多くの機械学習アプリケーションで、ますます人気が高まっている。多くの学習システムは、(異なる)プライベートSGDでモデルをトレーニングすることで、差分プライバシーを取り入れている。各プライベートSGDアップデートにおける重要なステップは勾配クリッピングであり、L2ノルムがしきい値を超えると、個々の例の勾配を小さくする。
論文参考訳（メタデータ） (2020-06-27T19:08:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。