Fugu-MT 論文翻訳(概要): Improving the Privacy and Practicality of Objective Perturbation for Differentially Private Linear Learners

論文の概要: Improving the Privacy and Practicality of Objective Perturbation for Differentially Private Linear Learners

arxiv url: http://arxiv.org/abs/2401.00583v1
Date: Sun, 31 Dec 2023 20:32:30 GMT
ステータス: 処理完了
システム内更新日: 2024-01-03 16:43:57.283260
Title: Improving the Privacy and Practicality of Objective Perturbation for Differentially Private Linear Learners
Title（参考訳）: 微分プライベートリニア学習者に対する客観的摂動のプライバシと実用性の向上
Authors: Rachel Redberg, Antti Koskela and Yu-Xiang Wang
Abstract要約: 本稿では、より厳密なプライバシー分析と新しい計算ツールにより、目的摂動機構を改良する。 DP-SGDは、非自明なプライバシーのオーバーヘッドと、線形回帰やロジスティック回帰のような単純なモデルに余計な計算複雑性を必要とする。
参考スコア（独自算出の注目度）: 21.162924003105484
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In the arena of privacy-preserving machine learning, differentially private stochastic gradient descent (DP-SGD) has outstripped the objective perturbation mechanism in popularity and interest. Though unrivaled in versatility, DP-SGD requires a non-trivial privacy overhead (for privately tuning the model's hyperparameters) and a computational complexity which might be extravagant for simple models such as linear and logistic regression. This paper revamps the objective perturbation mechanism with tighter privacy analyses and new computational tools that boost it to perform competitively with DP-SGD on unconstrained convex generalized linear problems.
Abstract（参考訳）: プライバシー保護機械学習の分野では、個人確率勾配降下(DP-SGD)が人気と関心の客観的摂動メカニズムを上回りつつある。汎用性はないが、DP-SGDは非自明なプライバシオーバーヘッド(モデルのハイパーパラメータをプライベートにチューニングする)と、線形回帰やロジスティック回帰のような単純なモデルに余計な計算複雑性を必要とする。本稿では,対象の摂動機構を,より厳密なプライバシー解析と,非拘束凸線形問題に対するdp-sgdとの競合性を高めるための新しい計算ツールによって改良する。

関連論文リスト

Privacy without Noisy Gradients: Slicing Mechanism for Generative Model Training [10.229653770070202]
差分プライバシ(DP)を持つ生成モデルを訓練するには、通常、勾配更新にノイズを注入するか、判別器の訓練手順を適用する必要がある。プライベートデータのランダムな低次元投影にノイズを注入するスライシングプライバシ機構について考察する。本稿では,この分散性を考慮したカーネルベース推定器を提案し,対角訓練の必要性を回避した。
論文参考訳（メタデータ） (2024-10-25T19:32:58Z)
Differential Privacy Regularization: Protecting Training Data Through Loss Function Regularization [49.1574468325115]
ニューラルネットワークに基づく機械学習モデルのトレーニングには、機密情報を含む大きなデータセットが必要である。差分的にプライベートなSGD [DP-SGD] は、新しいモデルをトレーニングするために標準勾配降下アルゴリズム(SGD)を変更する必要がある。より効率的な方法で同じ目標を達成するための新しい正規化戦略が提案されている。
論文参考訳（メタデータ） (2024-09-25T17:59:32Z)
Scalable Differential Privacy Mechanisms for Real-Time Machine Learning Applications [0.0]
大規模言語モデル(LLM)は、ユーザのプライバシ保護が最重要であるリアルタイム機械学習アプリケーションに、ますます統合されている。従来の差分プライバシーメカニズムは、プライバシーと精度のバランスをとるのに苦労することが多い。当社では,堅牢なプライバシ保証とモデルパフォーマンスの向上を重視した,リアルタイム機械学習に適したフレームワークであるScalable Differential Privacy(SDP)を紹介した。
論文参考訳（メタデータ） (2024-09-16T20:52:04Z)
Sparsity-Preserving Differentially Private Training of Large Embedding Models [67.29926605156788]
DP-SGDは、差分プライバシーと勾配降下を組み合わせたトレーニングアルゴリズムである。 DP-SGDをネーティブに埋め込みモデルに適用すると、勾配の間隔が破壊され、トレーニング効率が低下する。我々は,大規模埋め込みモデルのプライベートトレーニングにおいて,勾配間隔を保ったDP-FESTとDP-AdaFESTの2つの新しいアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-11-14T17:59:51Z)
Differentially Private Learning with Per-Sample Adaptive Clipping [8.401653565794353]
非単調適応重み関数に基づくDP-PSACアルゴリズムを提案する。 DP-PSACは,複数のメインストリームビジョンや言語タスクにおいて,最先端の手法よりも優れ,あるいは適合していることを示す。
論文参考訳（メタデータ） (2022-12-01T07:26:49Z)
DPIS: An Enhanced Mechanism for Differentially Private SGD with Importance Sampling [23.8561225168394]
ディファレンシャルプライバシ(DP)は、プライバシ保護の十分に受け入れられた標準となり、ディープニューラルネットワーク(DNN)は、機械学習において非常に成功した。この目的のための古典的なメカニズムはDP-SGDであり、これは訓練に一般的に使用される勾配降下(SGD)の微分プライベートバージョンである。 DPISは,DP-SGDのコアのドロップイン代替として使用できる,微分プライベートなSGDトレーニングのための新しいメカニズムである。
論文参考訳（メタデータ） (2022-10-18T07:03:14Z)
Don't Generate Me: Training Differentially Private Generative Models with Sinkhorn Divergence [73.14373832423156]
そこで我々はDP-Sinkhornを提案する。DP-Sinkhornは個人データからデータ分布を差分プライバシで学習するための新しいトランスポートベース生成手法である。差分的にプライベートな生成モデルを訓練するための既存のアプローチとは異なり、我々は敵の目的に頼らない。
論文参考訳（メタデータ） (2021-11-01T18:10:21Z)
Dynamic Differential-Privacy Preserving SGD [19.273542515320372]
Differentially-Private Gradient Descent (DP-SGD)は、SGDトレーニング中にクリップされた勾配にノイズを加えることで、トレーニングデータのプライバシ侵害を防止する。同じクリップ操作とトレーニングステップ間の付加ノイズにより、不安定な更新や、上昇期間も生じる。更新時にDP-SGDよりも低いプライバシコストの動的DP-SGDを提案する。
論文参考訳（メタデータ） (2021-10-30T04:45:11Z)
Large Language Models Can Be Strong Differentially Private Learners [70.0317718115406]
Differentially Private(DP)学習は、テキストの大規模なディープラーニングモデルを構築する上で、限られた成功を収めている。この性能低下は,大規模な事前学習モデルを用いることで緩和可能であることを示す。本稿では,DP-SGDにおけるクリッピングを,サンプルごとの勾配をインスタンス化せずに実行可能にするメモリ節約手法を提案する。
論文参考訳（メタデータ） (2021-10-12T01:45:27Z)
Sensitivity analysis in differentially private machine learning using hybrid automatic differentiation [54.88777449903538]
感性分析のための新しいテクスチブリド自動識別システム(AD)を導入する。これにより、ニューラルネットワークをプライベートデータ上でトレーニングするなど、任意の微分可能な関数合成の感度をモデル化できる。当社のアプローチは,データ処理の設定において,プライバシ損失に関する原則的推論を可能にする。
論文参考訳（メタデータ） (2021-07-09T07:19:23Z)
Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
論文参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。