論文の概要: RDP-GAN: A R\'enyi-Differential Privacy based Generative Adversarial Network

• arxiv url: http://arxiv.org/abs/2007.02056v1
• Date: Sat, 4 Jul 2020 09:51:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-13 13:20:08.337228
• Title: RDP-GAN: A R\'enyi-Differential Privacy based Generative Adversarial Network
• Title（参考訳）: RDP-GAN: R'enyi-differential Privacy based Generative Adversarial Network
• Authors: Chuan Ma, Jun Li, Ming Ding, Bo Liu, Kang Wei, Jian Weng and H. Vincent Poor
• Abstract要約: GAN(Generative Adversarial Network)は,プライバシ保護の高い現実的なサンプルを生成する能力によって,近年注目を集めている。 しかし、医療記録や財務記録などの機密・私的な訓練例にGANを適用すると、個人の機密・私的な情報を漏らしかねない。 本稿では、学習中の損失関数の値にランダムノイズを慎重に付加することにより、GAN内の差分プライバシー(DP)を実現するR'enyi-differentially private-GAN(RDP-GAN)を提案する。
• 参考スコア（独自算出の注目度）: 75.81653258081435
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative adversarial network (GAN) has attracted increasing attention recently owing to its impressive ability to generate realistic samples with high privacy protection. Without directly interactive with training examples, the generative model can be fully used to estimate the underlying distribution of an original dataset while the discriminative model can examine the quality of the generated samples by comparing the label values with the training examples. However, when GANs are applied on sensitive or private training examples, such as medical or financial records, it is still probable to divulge individuals' sensitive and private information. To mitigate this information leakage and construct a private GAN, in this work we propose a R\'enyi-differentially private-GAN (RDP-GAN), which achieves differential privacy (DP) in a GAN by carefully adding random noises on the value of the loss function during training. Moreover, we derive the analytical results of the total privacy loss under the subsampling method and cumulated iterations, which show its effectiveness on the privacy budget allocation. In addition, in order to mitigate the negative impact brought by the injecting noise, we enhance the proposed algorithm by adding an adaptive noise tuning step, which will change the volume of added noise according to the testing accuracy. Through extensive experimental results, we verify that the proposed algorithm can achieve a better privacy level while producing high-quality samples compared with a benchmark DP-GAN scheme based on noise perturbation on training gradients.
• Abstract（参考訳）: generative adversarial network (gan) は,プライバシ保護の高い現実的なサンプル生成能力によって,近年注目を集めている。 トレーニング例と直接対話することなく、生成モデルは元のデータセットの基盤となる分布を推定するために完全に使用することができ、識別モデルはラベル値とトレーニング例を比較して生成されたサンプルの品質を調べることができる。 しかし、医療記録や財務記録などの機密や私的な訓練例にganが適用される場合、個人の機密情報や私的な情報を漏らす可能性は高い。 この情報漏洩を軽減し、プライベートGANを構築するために、トレーニング中の損失関数の値にランダムノイズを慎重に付加することにより、GAN内の差分プライバシー(DP)を実現するR'enyi-differentially private-GAN(RDP-GAN)を提案する。 さらに,サブサンプリング法と累積反復法に基づく全プライバシ損失の分析結果を導出し,プライバシ予算割り当ての有効性を示す。 また, 入射騒音による負の影響を軽減するため, 適応雑音調整ステップを付加することで, 試験精度に応じて付加雑音の体積を変化させるアルゴリズムを提案する。 提案手法は, トレーニング勾配における雑音摂動に基づくベンチマークdp-gan法と比較して, 高い品質のサンプルを生成できる一方で, プライバシレベルを向上できることを確認した。

関連論文リスト

• Rethinking Improved Privacy-Utility Trade-off with Pre-existing Knowledge for DP Training [31.559864332056648]
  異種雑音(DP-Hero)を有する一般微分プライバシーフレームワークを提案する。 DP-Hero上では、勾配更新に注入されたノイズが不均一であり、予め確立されたモデルパラメータによって誘導されるDP-SGDの異種バージョンをインスタンス化する。 提案するDP-Heroの有効性を検証・説明するための総合的な実験を行い,最新技術と比較するとトレーニング精度が向上した。
  論文  参考訳（メタデータ） (2024-09-05T08:40:54Z)
• ROPO: Robust Preference Optimization for Large Language Models [59.10763211091664]
  外部モデルの助けを借りずにノイズ耐性とノイズサンプルのフィルタリングを統合する反復アライメント手法を提案する。 Mistral-7BとLlama-2-7Bで広く使われている3つのデータセットの実験では、ROPOが既存の嗜好アライメント法を大幅に上回っていることが示されている。
  論文  参考訳（メタデータ） (2024-04-05T13:58:51Z)
• Learning with Noisy Foundation Models [95.50968225050012]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• Evaluating the Impact of Local Differential Privacy on Utility Loss via Influence Functions [11.504012974208466]
  我々は、特定のプライバシパラメータ値がモデルのテスト損失にどのように影響するかについて、インフルエンス関数が洞察を与える能力を示す。 提案手法により,データキュレーターは,プライバシ・ユーティリティのトレードオフに最も適したプライバシパラメータを選択できる。
  論文  参考訳（メタデータ） (2023-09-15T18:08:24Z)
• MAPS: A Noise-Robust Progressive Learning Approach for Source-Free Domain Adaptive Keypoint Detection [76.97324120775475]
  クロスドメインキーポイント検出方法は、常に適応中にソースデータにアクセスする必要がある。 本稿では、ターゲット領域に十分に訓練されたソースモデルのみを提供する、ソースフリーなドメイン適応キーポイント検出について考察する。
  論文  参考訳（メタデータ） (2023-02-09T12:06:08Z)
• Optimizing the Noise in Self-Supervised Learning: from Importance Sampling to Noise-Contrastive Estimation [80.07065346699005]
  GAN(Generative Adversarial Networks)のように、最適な雑音分布はデータ分布に等しくなると広く想定されている。 我々は、この自己教師型タスクをエネルギーベースモデルの推定問題として基礎づけるノイズ・コントラスト推定に目を向ける。 本研究は, 最適雑音のサンプリングは困難であり, 効率性の向上は, データに匹敵する雑音分布を選択することに比べ, 緩やかに行うことができると結論付けた。
  論文  参考訳（メタデータ） (2023-01-23T19:57:58Z)
• Generative Models with Information-Theoretic Protection Against Membership Inference Attacks [6.840474688871695]
  GAN(Generative Adversarial Networks)のような深層生成モデルは、多様な高忠実度データサンプルを合成する。 GANは、訓練されたデータから個人情報を開示し、敵の攻撃を受けやすい可能性がある。 本稿では,生成モデルがトレーニングデータに過度に適合しないようにし,一般化性を奨励する情報理論的動機付け正規化項を提案する。
  論文  参考訳（メタデータ） (2022-05-31T19:29:55Z)
• A Differentially Private Framework for Deep Learning with Convexified Loss Functions [4.059849656394191]
  差分プライバシー(DP)は、基礎となるトレーニングセットのプライバシーを保護するためにディープラーニングに応用されている。 既存のDP実践は、客観的摂動、勾配摂動、出力摂動の3つのカテゴリに分類される。 本稿では,DPノイズをランダムにサンプリングしたニューロンに注入し,新しい出力摂動機構を提案する。
  論文  参考訳（メタデータ） (2022-04-03T11:10:05Z)
• Differentially Private Generative Adversarial Networks with Model Inversion [6.651002556438805]
  GAN(Generative Adversarial Network)のトレーニングにおいて機密データを保護するためには,差分プライベート(DP)勾配降下法を用いる。 本稿では,パブリックジェネレータを介して,まずプライベートデータを潜在空間にマッピングするDPMI法を提案する。 Inception Score, Fr'echet Inception Distance, and accuracy under the same privacy guarantee。
  論文  参考訳（メタデータ） (2022-01-10T02:26:26Z)
• Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
  フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。 敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。 差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
  論文  参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。