論文の概要: Differentially Private Variational Autoencoders with Term-wise Gradient Aggregation

• arxiv url: http://arxiv.org/abs/2006.11204v1
• Date: Fri, 19 Jun 2020 16:12:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-19 04:23:16.620595
• Title: Differentially Private Variational Autoencoders with Term-wise Gradient Aggregation
• Title（参考訳）: 項次勾配アグリゲーションを有する微分プライベート変分オートエンコーダ
• Authors: Tsubasa Takahashi, Shun Takagi, Hajime Ono, Tatsuya Komatsu
• Abstract要約: 差分プライバシー制約の下で,様々な相違点を持つ変分オートエンコーダの学習方法について検討する。 損失項の構成に合わせてランダム化勾配を2つの異なる方法で作成する項ワイズDP-SGDを提案する。
• 参考スコア（独自算出の注目度）: 12.880889651679094
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper studies how to learn variational autoencoders with a variety of divergences under differential privacy constraints. We often build a VAE with an appropriate prior distribution to describe the desired properties of the learned representations and introduce a divergence as a regularization term to close the representations to the prior. Using differentially private SGD (DP-SGD), which randomizes a stochastic gradient by injecting a dedicated noise designed according to the gradient's sensitivity, we can easily build a differentially private model. However, we reveal that attaching several divergences increase the sensitivity from O(1) to O(B) in terms of batch size B. That results in injecting a vast amount of noise that makes it hard to learn. To solve the above issue, we propose term-wise DP-SGD that crafts randomized gradients in two different ways tailored to the compositions of the loss terms. The term-wise DP-SGD keeps the sensitivity at O(1) even when attaching the divergence. We can therefore reduce the amount of noise. In our experiments, we demonstrate that our method works well with two pairs of the prior distribution and the divergence.
• Abstract（参考訳）: 本稿では,差分プライバシー制約の下で,様々な相違点を持つ変分オートエンコーダの学習方法について検討する。 我々はしばしば、学習した表現の望ましい特性を記述するために適切な事前分布を持つVAEを構築し、その表現を事前に閉じるための正規化項として発散を導入する。 微分プライベートSGD(DP-SGD)を用いて、勾配の感度に応じて設計された専用ノイズを注入することで確率勾配をランダム化するので、微分プライベートモデルを簡単に構築できる。 しかし, バッチサイズBで O(1) から O(B) への感度を増大させることで, 学習が困難となる大量のノイズを注入する。 上記の問題を解決するために, 損失項の構成に合わせた2つの異なる方法でランダム化された勾配を製作する用語単位dp-sgdを提案する。 項式DP-SGDは、分岐を付加してもO(1)に感度を保持する。 したがって、ノイズの量を減らすことができる。 実験では,本手法が先行分布と発散の2つのペアでうまく機能することが実証された。

関連論文リスト

• Differentially Private Gradient Flow based on the Sliced Wasserstein Distance [59.1056830438845]
  本稿では,確率測度空間の勾配流に基づく新しい微分プライベートな生成モデリング手法を提案する。 実験により,提案モデルが低プライバシー予算で高忠実度データを生成可能であることが示された。
  論文  参考訳（メタデータ） (2023-12-13T15:47:30Z)
• Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
  Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。 DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。 提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
  論文  参考訳（メタデータ） (2023-11-24T17:56:44Z)
• DP-SGD for non-decomposable objective functions [0.0]
  類似度に基づく損失関数の新しい変種を開発し、目的関数の勾配を新しい方法で操作し、バッチサイズ$n$に対して$O(1)$の合計勾配の感度を求める。 提案手法は,非プライベートモデルに近い性能を示し,コントラスト損失に対して直接適用したDP-SGDを上回っている。
  論文  参考訳（メタデータ） (2023-10-04T18:48:16Z)
• DPVIm: Differentially Private Variational Inference Improved [13.761202518891329]
  多次元統計学の微分プライベート(DP)リリースは、一般的に集合感度を考える。 そのベクトルの次元は様々であり、従ってDP摂動は次元をまたいだ信号に不均等に影響を及ぼす。 変分推論(VI)に用いた場合、DP-SGDアルゴリズムの勾配解法でこの問題を観測する(VI)。
  論文  参考訳（メタデータ） (2022-10-28T07:41:32Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)
• Improving Differentially Private SGD via Randomly Sparsified Gradients [31.295035726077366]
  ディファレンシャル・プライベート・グラデーション・オブザーバ(DP-SGD)は、厳密に定義されたプライバシー境界圧縮を提供するため、ディープラーニングにおいて広く採用されている。 本稿では,通信コストを向上し,プライバシ境界圧縮を強化するためのRSを提案する。
  論文  参考訳（メタデータ） (2021-12-01T21:43:34Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• On the Practicality of Differential Privacy in Federated Learning by Tuning Iteration Times [51.61278695776151]
  フェデレートラーニング(FL)は、分散クライアント間で機械学習モデルを協調的にトレーニングする際のプライバシ保護でよく知られている。 最近の研究では、naive flは勾配リーク攻撃の影響を受けやすいことが指摘されている。 ディファレンシャルプライバシ(dp)は、勾配漏洩攻撃を防御するための有望な対策として現れる。
  論文  参考訳（メタデータ） (2021-01-11T19:43:12Z)
• Understanding Gradient Clipping in Private SGD: A Geometric Perspective [68.61254575987013]
  ディープラーニングモデルは、トレーニングデータが機密情報を含む可能性がある多くの機械学習アプリケーションで、ますます人気が高まっている。 多くの学習システムは、(異なる)プライベートSGDでモデルをトレーニングすることで、差分プライバシーを取り入れている。 各プライベートSGDアップデートにおける重要なステップは勾配クリッピングであり、L2ノルムがしきい値を超えると、個々の例の勾配を小さくする。
  論文  参考訳（メタデータ） (2020-06-27T19:08:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。