Fugu-MT 論文翻訳(概要): Approximating Two-Layer ReLU Networks for Hidden State Analysis in Differential Privacy

論文の概要: Approximating Two-Layer ReLU Networks for Hidden State Analysis in Differential Privacy

arxiv url: http://arxiv.org/abs/2407.04884v2
Date: Fri, 11 Oct 2024 11:26:44 GMT
ステータス: 処理完了
システム内更新日: 2024-11-08 23:35:45.234215
Title: Approximating Two-Layer ReLU Networks for Hidden State Analysis in Differential Privacy
Title（参考訳）: 差分プライバシーにおける隠れ状態解析のための2層ReLUネットワークの近似
Authors: Antti Koskela,
Abstract要約: DP-SGDで訓練した1つの隠蔽層ReLUネットワークに匹敵する,プライバシユーティリティトレードオフによる凸問題をプライベートにトレーニングすることが可能である。ベンチマーク分類タスクの実験により、NoisyCGDは1層ReLUネットワークに適用されたDP-SGDに匹敵するプライバシー利用トレードオフを達成できることが示された。
参考スコア（独自算出の注目度）: 3.8254443661593633
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The hidden state threat model of differential privacy (DP) assumes that the adversary has access only to the final trained machine learning (ML) model, without seeing intermediate states during training. Current privacy analyses under this model, however, are limited to convex optimization problems, reducing their applicability to multi-layer neural networks, which are essential in modern deep learning applications. Additionally, the most successful applications of the hidden state privacy analyses in classification tasks have been for logistic regression models. We demonstrate that it is possible to privately train convex problems with privacy-utility trade-offs comparable to those of one hidden-layer ReLU networks trained with DP stochastic gradient descent (DP-SGD). We achieve this through a stochastic approximation of a dual formulation of the ReLU minimization problem which results in a strongly convex problem. This enables the use of existing hidden state privacy analyses, providing accurate privacy bounds also for the noisy cyclic mini-batch gradient descent (NoisyCGD) method with fixed disjoint mini-batches. Our experiments on benchmark classification tasks show that NoisyCGD can achieve privacy-utility trade-offs comparable to DP-SGD applied to one-hidden-layer ReLU networks. Additionally, we provide theoretical utility bounds that highlight the speed-ups gained through the convex approximation.
Abstract（参考訳）: 差分プライバシー(DP)の隠れ状態脅威モデルは、トレーニング中に中間状態を見ることなく、最終訓練された機械学習(ML)モデルにしかアクセスできないと仮定する。しかし、このモデルの下での現在のプライバシー分析は凸最適化の問題に限られており、現代のディープラーニングアプリケーションに不可欠な多層ニューラルネットワークへの適用性が低下している。さらに、分類タスクにおける隠蔽状態のプライバシー分析の最も成功した応用は、ロジスティック回帰モデルである。本研究では,DP確率勾配勾配(DP-SGD)を学習した1つの隠蔽層ReLUネットワークに匹敵する,プライバシユーティリティトレードオフによる凸問題をプライベートにトレーニングできることを実証する。我々は、ReLU最小化問題の双対な定式化を確率論的に近似することでこれを達成し、強い凸問題をもたらす。これにより、既存の隠れ状態のプライバシー分析が利用でき、ノイズの多いサイクリックなミニバッチ勾配降下法(NoisyCGD)にも正確なプライバシー境界を提供する。ベンチマーク分類タスクの実験により、NoisyCGDは1層ReLUネットワークに適用されたDP-SGDに匹敵するプライバシー利用トレードオフを達成できることが示された。さらに、凸近似によって得られるスピードアップを強調する理論的ユーティリティ境界を提供する。

関連論文リスト

Sparsity-Preserving Differentially Private Training of Large Embedding Models [67.29926605156788]
DP-SGDは、差分プライバシーと勾配降下を組み合わせたトレーニングアルゴリズムである。 DP-SGDをネーティブに埋め込みモデルに適用すると、勾配の間隔が破壊され、トレーニング効率が低下する。我々は,大規模埋め込みモデルのプライベートトレーニングにおいて,勾配間隔を保ったDP-FESTとDP-AdaFESTの2つの新しいアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-11-14T17:59:51Z)
Initialization Matters: Privacy-Utility Analysis of Overparameterized Neural Networks [72.51255282371805]
我々は、最悪の近傍データセット上でのモデル分布間のKLばらつきのプライバシー境界を証明した。このKLプライバシー境界は、トレーニング中にモデルパラメータに対して期待される2乗勾配ノルムによって決定される。
論文参考訳（メタデータ） (2023-10-31T16:13:22Z)
DP-SGD with weight clipping [1.0878040851638]
従来の勾配クリッピングから生じるバイアスを緩和する新しい手法を提案する。探索領域内における現在のモデルのリプシッツ値の公開上界と現在の位置を有効利用することにより、改良されたノイズレベル調整を実現することができる。
論文参考訳（メタデータ） (2023-10-27T09:17:15Z)
Privacy Loss of Noisy Stochastic Gradient Descent Might Converge Even for Non-Convex Losses [4.68299658663016]
Noisy-SGDアルゴリズムは機械学習モデルのプライベートトレーニングに広く利用されている。最近の研究によると、もし内部の状態が隠されたままなら、プライバシーの喪失は行き詰まる可能性がある。 DP-SGDは,学習過程における個々のサンプルの影響を抑えるために,勾配クリッピングを取り入れたNuisy-SGDの一般的な変種である。
論文参考訳（メタデータ） (2023-05-17T02:25:56Z)
FedLAP-DP: Federated Learning by Sharing Differentially Private Loss Approximations [53.268801169075836]
我々は,フェデレーション学習のための新しいプライバシ保護手法であるFedLAP-DPを提案する。公式なプライバシー分析は、FedLAP-DPが典型的な勾配共有方式と同じプライバシーコストを発生させることを示している。提案手法は, 通常の勾配共有法に比べて高速な収束速度を示す。
論文参考訳（メタデータ） (2023-02-02T12:56:46Z)
A Differentially Private Framework for Deep Learning with Convexified Loss Functions [4.059849656394191]
差分プライバシー(DP)は、基礎となるトレーニングセットのプライバシーを保護するためにディープラーニングに応用されている。既存のDP実践は、客観的摂動、勾配摂動、出力摂動の3つのカテゴリに分類される。本稿では,DPノイズをランダムにサンプリングしたニューロンに注入し,新しい出力摂動機構を提案する。
論文参考訳（メタデータ） (2022-04-03T11:10:05Z)
Differentially Private Learning Needs Hidden State (Or Much Faster Convergence) [9.429448411561541]
差分的にプライベートな学習は、厳密な拘束力を持って、隠れた状態のプライバシ分析や、高速な収束を必要とすることを示す。私たちの収束するプライバシー分析は、差異のあるプライベートな学習が、厳密な拘束力を持って、隠れた状態のプライバシ分析や、高速な収束を必要とすることを示している。
論文参考訳（メタデータ） (2022-03-10T13:31:08Z)
DP-UTIL: Comprehensive Utility Analysis of Differential Privacy in Machine Learning [3.822543555265593]
差別化プライバシ(DP)は、プライバシー漏洩を理由とする厳格な形式主義として浮上している。機械学習(ML)では、DPはトレーニング例の限定/開示に使用されている。ディープニューラルネットワークの場合、勾配の摂動はプライバシリークを低くする。
論文参考訳（メタデータ） (2021-12-24T08:40:28Z)
Don't Generate Me: Training Differentially Private Generative Models with Sinkhorn Divergence [73.14373832423156]
そこで我々はDP-Sinkhornを提案する。DP-Sinkhornは個人データからデータ分布を差分プライバシで学習するための新しいトランスポートベース生成手法である。差分的にプライベートな生成モデルを訓練するための既存のアプローチとは異なり、我々は敵の目的に頼らない。
論文参考訳（メタデータ） (2021-11-01T18:10:21Z)
Do Not Let Privacy Overbill Utility: Gradient Embedding Perturbation for Private Learning [74.73901662374921]
差分プライベートモデルは、モデルが多数のトレーニング可能なパラメータを含む場合、ユーティリティを劇的に劣化させる。偏微分プライベート深層モデルの精度向上のためのアルゴリズムemphGradient Embedding Perturbation (GEP)を提案する。
論文参考訳（メタデータ） (2021-02-25T04:29:58Z)
Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
論文参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。