論文の概要: Forward Learning with Differential Privacy

• arxiv url: http://arxiv.org/abs/2504.00411v1
• Date: Tue, 01 Apr 2025 04:14:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 13:20:28.171366
• Title: Forward Learning with Differential Privacy
• Title（参考訳）: 差分プライバシーを用いたフォワード学習
• Authors: Mingqian Feng, Zeliang Zhang, Jinyang Jiang, Yijie Peng, Chenliang Xu,
• Abstract要約: そこで我々は,DP-ULR(Disdifferial Private Unified Likelihood Ratio)という,ブループライエタリな前方学習アルゴリズムを提案する。 提案実験により,DP-ULRは,バックプロパゲーションに基づく従来の差分プライバシートレーニングアルゴリズムと比較して,競争性能が向上することが示唆された。
• 参考スコア（独自算出の注目度）: 27.164507868291913
• License:
• Abstract: Differential privacy (DP) in deep learning is a critical concern as it ensures the confidentiality of training data while maintaining model utility. Existing DP training algorithms provide privacy guarantees by clipping and then injecting external noise into sample gradients computed by the backpropagation algorithm. Different from backpropagation, forward-learning algorithms based on perturbation inherently add noise during the forward pass and utilize randomness to estimate the gradients. Although these algorithms are non-privatized, the introduction of noise during the forward pass indirectly provides internal randomness protection to the model parameters and their gradients, suggesting the potential for naturally providing differential privacy. In this paper, we propose a \blue{privatized} forward-learning algorithm, Differential Private Unified Likelihood Ratio (DP-ULR), and demonstrate its differential privacy guarantees. DP-ULR features a novel batch sampling operation with rejection, of which we provide theoretical analysis in conjunction with classic differential privacy mechanisms. DP-ULR is also underpinned by a theoretically guided privacy controller that dynamically adjusts noise levels to manage privacy costs in each training step. Our experiments indicate that DP-ULR achieves competitive performance compared to traditional differential privacy training algorithms based on backpropagation, maintaining nearly the same privacy loss limits.
• Abstract（参考訳）: ディープラーニングにおける差分プライバシー(DP)は、モデルユーティリティを維持しながらトレーニングデータの機密性を確保するため、重要な問題である。 既存のDPトレーニングアルゴリズムは、バックプロパゲーションアルゴリズムによって計算されたサンプル勾配に外部ノイズを挿入することで、プライバシー保証を提供する。 バックプロパゲーションと異なり、摂動に基づく前方学習アルゴリズムは本質的に前方通過中にノイズを付加し、ランダムネスを利用して勾配を推定する。 これらのアルゴリズムは民営化されていないが、前方通過時のノイズの導入はモデルパラメータとその勾配を間接的にランダムに保護し、自然に差分プライバシーを提供する可能性を示唆している。 本稿では,DP-ULR(Disferial Private Unified Likelihood Ratio)の事前学習アルゴリズムを提案し,その差分プライバシー保証を実証する。 DP-ULRは、リジェクションを伴う新しいバッチサンプリング操作を特徴とし、古典的な差分プライバシー機構とともに理論的解析を行う。 DP-ULRはまた、各トレーニングステップにおけるプライバシーコストを管理するためにノイズレベルを動的に調整する理論的に導かれたプライバシコントローラによっても支えられている。 実験の結果,DP-ULRはバックプロパゲーションに基づく従来の差分プライバシートレーニングアルゴリズムと比較して,ほぼ同一のプライバシー損失限界を維持した。

関連論文リスト

• Linear-Time User-Level DP-SCO via Robust Statistics [55.350093142673316]
  ユーザレベルの差分プライベート凸最適化(DP-SCO)は、マシンラーニングアプリケーションにおけるユーザのプライバシ保護の重要性から、大きな注目を集めている。 微分プライベート勾配勾配(DP-SGD)に基づくような現在の手法は、しばしば高雑音蓄積と準最適利用に苦しむ。 これらの課題を克服するために、ロバストな統計、特に中央値とトリミング平均を利用する新しい線形時間アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2025-02-13T02:05:45Z)
• Differentially Private Policy Gradient [48.748194765816955]
  本研究では,プライバシノイズと信頼領域サイズとの間の適切なトレードオフを見出すことができ,性能的にプライベートなポリシー勾配アルゴリズムが得られることを示す。 この結果と課題の複雑さは,オンラインRLにおける既存のDPアルゴリズムよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2025-01-31T12:11:13Z)
• Rethinking Improved Privacy-Utility Trade-off with Pre-existing Knowledge for DP Training [31.559864332056648]
  異種雑音(DP-Hero)を有する一般微分プライバシーフレームワークを提案する。 DP-Hero上では、勾配更新に注入されたノイズが不均一であり、予め確立されたモデルパラメータによって誘導されるDP-SGDの異種バージョンをインスタンス化する。 提案するDP-Heroの有効性を検証・説明するための総合的な実験を行い,最新技術と比較するとトレーニング精度が向上した。
  論文  参考訳（メタデータ） (2024-09-05T08:40:54Z)
• Differentially Private Block-wise Gradient Shuffle for Deep Learning [0.0]
  本稿では,ディープラーニングのためのDP-BloGSアルゴリズムを提案する。 DP-BloGSは、既存の私的なディープラーニングの文献から成り立っているが、勾配雑音導入に対する確率的アプローチを採用することで、決定的な変化を生んでいる。 DP-SGDよりもデータ抽出に対する耐性が高いことが判明した。
  論文  参考訳（メタデータ） (2024-07-31T05:32:37Z)
• Differentially Private Stochastic Gradient Descent with Low-Noise [49.981789906200035]
  現代の機械学習アルゴリズムは、データからきめ細かい情報を抽出して正確な予測を提供することを目的としており、プライバシー保護の目標と矛盾することが多い。 本稿では、プライバシを保ちながら優れたパフォーマンスを確保するために、プライバシを保存する機械学習アルゴリズムを開発することの実践的および理論的重要性について論じる。
  論文  参考訳（メタデータ） (2022-09-09T08:54:13Z)
• Gradient Leakage Attack Resilient Deep Learning [7.893378392969824]
  勾配の漏洩攻撃は ディープラーニングで最も悪質な プライバシーの脅威の1つだ 差分プライバシーを持つディープラーニングは、差分プライバシーを保証するディープラーニングモデルを公開するためのデファクトスタンダードである。 本稿では,差分プライバシーを用いた勾配リーク耐性深層学習の代替手法について検討する。
  論文  参考訳（メタデータ） (2021-12-25T03:33:02Z)
• Adaptive Differentially Private Empirical Risk Minimization [95.04948014513226]
  本稿では,適応的(確率的)勾配摂動法を提案する。 ADP法は,バニラランダムノイズを付加した標準微分プライベート法と比較して,実用性保証を大幅に改善することを示す。
  論文  参考訳（メタデータ） (2021-10-14T15:02:20Z)
• Differential Privacy Dynamics of Langevin Diffusion and Noisy Gradient Descent [10.409652277630132]
  我々はLangevin拡散におけるプライバシー損失のダイナミクスをモデル化し、ノイズ勾配降下アルゴリズムに拡張する。 プライバシーの損失は指数関数的に速く収束する。
  論文  参考訳（メタデータ） (2021-02-11T05:49:37Z)
• Private Reinforcement Learning with PAC and Regret Guarantees [69.4202374491817]
  エピソード強化学習(RL)のためのプライバシー保護探索ポリシーを設計する。 まず、共同微分プライバシー(JDP)の概念を用いた有意義なプライバシー定式化を提供する。 そこで我々は,強いPACと後悔境界を同時に達成し,JDP保証を享受する,プライベートな楽観主義に基づく学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-09-18T20:18:35Z)
• RDP-GAN: A R\'enyi-Differential Privacy based Generative Adversarial Network [75.81653258081435]
  GAN(Generative Adversarial Network)は,プライバシ保護の高い現実的なサンプルを生成する能力によって,近年注目を集めている。 しかし、医療記録や財務記録などの機密・私的な訓練例にGANを適用すると、個人の機密・私的な情報を漏らしかねない。 本稿では、学習中の損失関数の値にランダムノイズを慎重に付加することにより、GAN内の差分プライバシー(DP)を実現するR'enyi-differentially private-GAN(RDP-GAN)を提案する。
  論文  参考訳（メタデータ） (2020-07-04T09:51:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。