論文の概要: Deep Learning with Data Privacy via Residual Perturbation

• arxiv url: http://arxiv.org/abs/2408.05723v1
• Date: Sun, 11 Aug 2024 08:26:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-13 15:47:38.659198
• Title: Deep Learning with Data Privacy via Residual Perturbation
• Title（参考訳）: 残留摂動によるデータプライバシによるディープラーニング
• Authors: Wenqi Tao, Huaming Ling, Zuoqiang Shi, Bao Wang,
• Abstract要約: いくつかの著名なプライバシー概念が確立され、プライバシー保護ディープラーニング(DL)に利用されている。 本稿では,プライバシー保護のための微分方程式に基づく残差摂動法を提案する。 残差摂動は効率的であり、最先端の個人的降下よりも優れることを示す。
• 参考スコア（独自算出の注目度）: 13.437435287800668
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Protecting data privacy in deep learning (DL) is of crucial importance. Several celebrated privacy notions have been established and used for privacy-preserving DL. However, many existing mechanisms achieve privacy at the cost of significant utility degradation and computational overhead. In this paper, we propose a stochastic differential equation-based residual perturbation for privacy-preserving DL, which injects Gaussian noise into each residual mapping of ResNets. Theoretically, we prove that residual perturbation guarantees differential privacy (DP) and reduces the generalization gap of DL. Empirically, we show that residual perturbation is computationally efficient and outperforms the state-of-the-art differentially private stochastic gradient descent (DPSGD) in utility maintenance without sacrificing membership privacy.
• Abstract（参考訳）: ディープラーニング(DL)におけるデータのプライバシ保護は重要である。 いくつかの有名なプライバシー概念が確立され、プライバシー保護のDLに使用されている。 しかし、多くの既存のメカニズムは、大きなユーティリティ劣化と計算オーバーヘッドを犠牲にして、プライバシを実現する。 本稿では,ResNetの残差マップにガウス雑音を注入するプライバシー保護型DLのための確率微分方程式に基づく残差摂動法を提案する。 理論的には、残差摂動は差分プライバシー(DP)を保証し、DLの一般化ギャップを小さくする。 実験により, 残差摂動は計算効率が高く, 会員プライバシを犠牲にすることなく, 実用性維持における最先端の個人確率勾配勾配(DPSGD)よりも優れていた。

関連論文リスト

• Enhancing Feature-Specific Data Protection via Bayesian Coordinate Differential Privacy [55.357715095623554]
  ローカル微分プライバシー(LDP)は、ユーザーが外部の関係者を信頼することなく、強力なプライバシー保証を提供する。 本稿では,ベイジアン・フレームワークであるベイジアン・コーディネート・ディファレンシャル・プライバシ(BCDP)を提案する。
  論文  参考訳（メタデータ） (2024-10-24T03:39:55Z)
• Differentially Private Sliced Inverse Regression: Minimax Optimality and Algorithm [16.14032140601778]
  十分な次元削減の文脈において、プライバシー問題に対処するために設計された最適微分プライベートアルゴリズムを提案する。 我々は、対数係数まで最小限の下位境界を達成できる微分プライベートアルゴリズムを開発した。 自然な拡張として、微分プライベートスパース主成分分析に類似した下界と上界を容易に提供できる。
  論文  参考訳（メタデータ） (2024-01-16T06:47:43Z)
• Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
  Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。 DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。 提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
  論文  参考訳（メタデータ） (2023-11-24T17:56:44Z)
• Breaking the Communication-Privacy-Accuracy Tradeoff with $f$-Differential Privacy [51.11280118806893]
  サーバが複数のユーザの協調的なデータ分析を,プライバシの懸念と限られた通信能力で調整する,フェデレートされたデータ分析問題を考える。 有限出力空間を有する離散値機構の局所的差分プライバシー保証を$f$-differential privacy (DP) レンズを用いて検討する。 より具体的には、様々な離散的評価機構の厳密な$f$-DP保証を導出することにより、既存の文献を前進させる。
  論文  参考訳（メタデータ） (2023-02-19T16:58:53Z)
• On the Privacy-Robustness-Utility Trilemma in Distributed Learning [7.778461949427662]
  本稿では,少数の対向マシンに対してロバスト性を保証するアルゴリズムによって得られた誤差を,まず厳密に解析する。 私たちの分析は、プライバシ、堅牢性、ユーティリティの基本的なトレードオフを示しています。
  論文  参考訳（メタデータ） (2023-02-09T17:24:18Z)
• Differentially Private Stochastic Gradient Descent with Low-Noise [49.981789906200035]
  現代の機械学習アルゴリズムは、データからきめ細かい情報を抽出して正確な予測を提供することを目的としており、プライバシー保護の目標と矛盾することが多い。 本稿では、プライバシを保ちながら優れたパフォーマンスを確保するために、プライバシを保存する機械学習アルゴリズムを開発することの実践的および理論的重要性について論じる。
  論文  参考訳（メタデータ） (2022-09-09T08:54:13Z)
• Differentially Private Reinforcement Learning with Linear Function Approximation [3.42658286826597]
  差分プライバシー(DP)制約下における有限水平マルコフ決定過程(MDP)における後悔の最小化について検討する。 本研究の結果は, 線形混合MDPにおける正則化条件の変更による学習の一般的な手順によって得られた。
  論文  参考訳（メタデータ） (2022-01-18T15:25:24Z)
• Dynamic Differential-Privacy Preserving SGD [19.273542515320372]
  Differentially-Private Gradient Descent (DP-SGD)は、SGDトレーニング中にクリップされた勾配にノイズを加えることで、トレーニングデータのプライバシ侵害を防止する。 同じクリップ操作とトレーニングステップ間の付加ノイズにより、不安定な更新や、上昇期間も生じる。 更新時にDP-SGDよりも低いプライバシコストの動的DP-SGDを提案する。
  論文  参考訳（メタデータ） (2021-10-30T04:45:11Z)
• PEARL: Data Synthesis via Private Embeddings and Adversarial Reconstruction Learning [1.8692254863855962]
  本稿では, 深層生成モデルを用いたデータ・フレームワークを, 差分的にプライベートな方法で提案する。 当社のフレームワークでは、センシティブなデータは、厳格なプライバシ保証をワンショットで行うことで衛生化されています。 提案手法は理論的に性能が保証され,複数のデータセットに対する経験的評価により,提案手法が適切なプライバシーレベルで他の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2021-06-08T18:00:01Z)
• Graph-Homomorphic Perturbations for Private Decentralized Learning [64.26238893241322]
  ローカルな見積もりの交換は、プライベートデータに基づくデータの推測を可能にする。 すべてのエージェントで独立して選択された摂動により、パフォーマンスが著しく低下する。 本稿では,特定のヌル空間条件に従って摂動を構成する代替スキームを提案する。
  論文  参考訳（メタデータ） (2020-10-23T10:35:35Z)
• Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
  フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。 敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。 差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
  論文  参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。