論文の概要: Don't Generate Me: Training Differentially Private Generative Models with Sinkhorn Divergence

• arxiv url: http://arxiv.org/abs/2111.01177v1
• Date: Mon, 1 Nov 2021 18:10:21 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-03 14:38:45.077977
• Title: Don't Generate Me: Training Differentially Private Generative Models with Sinkhorn Divergence
• Title（参考訳）: 生成するな - ソーン発散を伴う微分プライベート生成モデルのトレーニング
• Authors: Tianshi Cao, Alex Bie, Arash Vahdat, Sanja Fidler, Karsten Kreis
• Abstract要約: そこで我々はDP-Sinkhornを提案する。DP-Sinkhornは個人データからデータ分布を差分プライバシで学習するための新しいトランスポートベース生成手法である。 差分的にプライベートな生成モデルを訓練するための既存のアプローチとは異なり、我々は敵の目的に頼らない。
• 参考スコア（独自算出の注目度）: 73.14373832423156
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although machine learning models trained on massive data have led to break-throughs in several areas, their deployment in privacy-sensitive domains remains limited due to restricted access to data. Generative models trained with privacy constraints on private data can sidestep this challenge, providing indirect access to private data instead. We propose DP-Sinkhorn, a novel optimal transport-based generative method for learning data distributions from private data with differential privacy. DP-Sinkhorn minimizes the Sinkhorn divergence, a computationally efficient approximation to the exact optimal transport distance, between the model and data in a differentially private manner and uses a novel technique for control-ling the bias-variance trade-off of gradient estimates. Unlike existing approaches for training differentially private generative models, which are mostly based on generative adversarial networks, we do not rely on adversarial objectives, which are notoriously difficult to optimize, especially in the presence of noise imposed by privacy constraints. Hence, DP-Sinkhorn is easy to train and deploy. Experimentally, we improve upon the state-of-the-art on multiple image modeling benchmarks and show differentially private synthesis of informative RGB images. Project page:https://nv-tlabs.github.io/DP-Sinkhorn.
• Abstract（参考訳）: 大量のデータに基づいてトレーニングされた機械学習モデルは、いくつかの分野でブレークスルーにつながっているが、データへのアクセスが制限されているため、プライバシに敏感なドメインへのデプロイメントは制限されている。 プライベートデータに対するプライバシの制約でトレーニングされた生成モデルはこの課題を回避し、代わりにプライベートデータへの間接アクセスを提供する。 本稿では,プライベートデータから差分プライバシーを持つデータ分布を学習するための,新しい最適トランスポートベース生成法であるdp-sinkhornを提案する。 dp-sinkhornは、モデルとデータの間の正確な最適移動距離に対する計算効率のよい近似であるspinhorn divergenceを微分プライベートな方法で最小化し、勾配推定のバイアス分散トレードオフを制御する新しい手法を使用する。 主に生成的敵ネットワークに基づく差分的私的生成モデルを訓練するための既存のアプローチとは異なり、我々は、特にプライバシー制約によるノイズの存在下では、最適化が困難な敵の目的に頼らない。 したがって、DP-Sinkhornは訓練や展開が容易である。 実験では,複数の画像モデリングベンチマークにおける最先端の改良を行い,有意なrgb画像の差分プライベート合成を示す。 プロジェクトページ:https://nv-tlabs.github.io/DP-Sinkhorn

関連論文リスト

• Masked Differential Privacy [64.32494202656801]
  本稿では,差分プライバシーを適用した機密領域を制御できる「マスク型差分プライバシー(DP)」という効果的なアプローチを提案する。 提案手法はデータに基づいて選択的に動作し,DPアプリケーションや差分プライバシーをデータサンプル内の他のプライバシー技術と組み合わせることなく,非感性時間領域を定義できる。
  論文  参考訳（メタデータ） (2024-10-22T15:22:53Z)
• Beyond the Mean: Differentially Private Prototypes for Private Transfer Learning [16.028575596905554]
  本稿では,個人間移動学習の新たなパラダイムとして,DPPL(differially Private Prototype Learning)を提案する。 DPPLは、埋め込み空間内の各プライベートクラスを表すプロトタイプを生成し、推論のために公開することができる。 エンコーダの事前トレーニング以上の公開データを活用すれば,プライバシユーティリティのトレードオフをさらに改善できることを示す。
  論文  参考訳（メタデータ） (2024-06-12T09:41:12Z)
• Differentially Private Synthetic Data Generation via Lipschitz-Regularised Variational Autoencoders [3.7463972693041274]
  生成モデルが個々のトレーニング記録の多くの詳細を記憶する傾向があることは、しばしば見落とされがちである。 本稿では,生成モデルにおける本質を直接活用するデータ生成手法について検討する。
  論文  参考訳（メタデータ） (2023-04-22T07:24:56Z)
• Pre-trained Perceptual Features Improve Differentially Private Image Generation [8.659595986100738]
  差分降下勾配(DP-SGD)を用いた中等度生成モデルの訓練も困難である。 私たちは、情報のある公開データセット上に適切な、関連する表現を構築し、その表現でプライベートデータをモデル化することを学びます。 私たちの研究は、プライベートと非プライベートの深層生成モデルの間のギャップを減らすための、シンプルで強力な基盤を導入しています。
  論文  参考訳（メタデータ） (2022-05-25T16:46:01Z)
• Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
  Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。 この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
  論文  参考訳（メタデータ） (2022-05-06T01:22:20Z)
• Mixed Differential Privacy in Computer Vision [133.68363478737058]
  AdaMixは、プライベートとパブリックの両方の画像データを使用して、ディープニューラルネットワーク分類器をトレーニングするための適応型微分プライベートアルゴリズムである。 プライベートデータを無視する数ショットあるいはゼロショットの学習ベースラインは、大規模なプライベートデータセットの微調整よりも優れています。
  論文  参考訳（メタデータ） (2022-03-22T06:15:43Z)
• Large Language Models Can Be Strong Differentially Private Learners [70.0317718115406]
  Differentially Private(DP)学習は、テキストの大規模なディープラーニングモデルを構築する上で、限られた成功を収めている。 この性能低下は,大規模な事前学習モデルを用いることで緩和可能であることを示す。 本稿では,DP-SGDにおけるクリッピングを,サンプルごとの勾配をインスタンス化せずに実行可能にするメモリ節約手法を提案する。
  論文  参考訳（メタデータ） (2021-10-12T01:45:27Z)
• DPlis: Boosting Utility of Differentially Private Deep Learning via Randomized Smoothing [0.0]
  DPlis--Differentially Private Learning wIth Smoothingを提案します。 DPlisは,プライバシ予算の下でモデル品質とトレーニングの安定性を効果的に向上させることができることを示す。
  論文  参考訳（メタデータ） (2021-03-02T06:33:14Z)
• Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
  フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。 敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。 差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
  論文  参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。