論文の概要: Whisper D-SGD: Correlated Noise Across Agents for Differentially Private Decentralized Learning

• arxiv url: http://arxiv.org/abs/2501.14644v1
• Date: Fri, 24 Jan 2025 17:05:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-27 20:40:39.823598
• Title: Whisper D-SGD: Correlated Noise Across Agents for Differentially Private Decentralized Learning
• Title（参考訳）: ウィスパーD-SGD:分散学習のためのエージェント間の相関ノイズ
• Authors: Angelo Rodio, Zheng Chen, Erik G. Larsson,
• Abstract要約: ローカルディファレンシャルプライバシ(LDP)はエージェントごとに独立したノイズを注入するが、中央ディファレンシャルプライバシ(CDP)よりも大きなユーティリティギャップを被る。 エージェント間で相関するプライバシーノイズを発生させる新しい共分散に基づくアプローチであるWhisper D-SGDを紹介する。 本稿では、Whisper D-SGDが既存のペアワイズ相関方式よりもノイズを低減し、CDP-LDPギャップを大幅に狭め、モデル性能を向上させることを示す。
• 参考スコア（独自算出の注目度）: 32.914407967052114
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Decentralized learning enables distributed agents to train a shared machine learning model through local computation and peer-to-peer communication. Although each agent retains its dataset locally, the communication of local models can still expose private information to adversaries. To mitigate these threats, local differential privacy (LDP) injects independent noise per agent, but it suffers a larger utility gap than central differential privacy (CDP). We introduce Whisper D-SGD, a novel covariance-based approach that generates correlated privacy noise across agents, unifying several state-of-the-art methods as special cases. By leveraging network topology and mixing weights, Whisper D-SGD optimizes the noise covariance to achieve network-wide noise cancellation. Experimental results show that Whisper D-SGD cancels more noise than existing pairwise-correlation schemes, substantially narrowing the CDP-LDP gap and improving model performance under the same privacy guarantees.
• Abstract（参考訳）: 分散学習は、ローカル計算とピアツーピア通信を通じて、分散エージェントが共有機械学習モデルをトレーニングすることを可能にする。 各エージェントはデータセットをローカルに保持するが、ローカルモデルの通信は敵にプライベート情報を公開することができる。 これらの脅威を軽減するため、ローカルディファレンシャルプライバシ(LDP)はエージェントごとに独立したノイズを注入するが、中央ディファレンシャルプライバシ(CDP)よりも大きなユーティリティギャップを被る。 エージェント間で相関するプライバシーノイズを発生させる新しい共分散に基づくアプローチであるWhisper D-SGDを導入する。 ネットワークトポロジと混合重みを利用することにより、Whisper D-SGDはノイズ共分散を最適化し、ネットワーク全体のノイズキャンセリングを実現する。 実験結果から、Whisper D-SGDは既存のペアワイズ相関方式よりもノイズを排除し、CDP-LDPギャップを大幅に狭め、同一のプライバシー保証下でのモデル性能を向上させることが示された。

関連論文リスト

• Federated Learning with Differential Privacy: An Utility-Enhanced Approach [12.614480013684759]
  フェデレーション学習は、クライアントのデータを共有する必要性をなくすことによって、データのプライバシを保護するための魅力的なアプローチとして現れている。 最近の研究では、フェデレートされた学習だけではプライバシーが保証されないことが示されている。 本稿では,これらのバニラ微分プライベートアルゴリズムを,ハールウェーブレット変換ステップとノイズの分散を著しく低減する新しいノイズ注入方式に基づいて修正する。
  論文  参考訳（メタデータ） (2025-03-27T04:48:29Z)
• The Privacy Power of Correlated Noise in Decentralized Learning [39.48990597191246]
  我々は、分散化されたSGDの変種であるDecorを提案する。 我々はSecLDPの下で、ローカルDPを緩和し、外部の盗聴者や好奇心をそそるユーザーからすべてのユーザー通信を保護する。
  論文  参考訳（メタデータ） (2024-05-02T06:14:56Z)
• An Experimental Study on Private Aggregation of Teacher Ensemble Learning for End-to-End Speech Recognition [51.232523987916636]
  差分プライバシー(DP)は、プライバシーデータにノイズのある歪みを課すことで、深層モデルのトレーニングに使用されるユーザー情報を保護するための1つのデータ保護手段である。 本研究では、PATE学習を動的パターン、すなわち音声を扱うように拡張し、音響データの漏洩を避けるために、ASRに関する最初の実験を行う。
  論文  参考訳（メタデータ） (2022-10-11T16:55:54Z)
• On Convergence of Federated Averaging Langevin Dynamics [22.013125418713763]
  本稿では,分散クライアントを用いた不確実性定量化と平均予測のための平均ランゲヴィンアルゴリズム(FA-LD)を提案する。 非可解データを用いた強対数分布に対するFA-LDの理論的保証を開発する。 部分的なデバイス更新のみが可能な,さまざまな平均化スキームに基づく収束結果を示す。
  論文  参考訳（メタデータ） (2021-12-09T18:54:29Z)
• Don't Generate Me: Training Differentially Private Generative Models with Sinkhorn Divergence [73.14373832423156]
  そこで我々はDP-Sinkhornを提案する。DP-Sinkhornは個人データからデータ分布を差分プライバシで学習するための新しいトランスポートベース生成手法である。 差分的にプライベートな生成モデルを訓練するための既存のアプローチとは異なり、我々は敵の目的に頼らない。
  論文  参考訳（メタデータ） (2021-11-01T18:10:21Z)
• NeuralDP Differentially private neural networks by design [61.675604648670095]
  ニューラルネットワーク内のいくつかの層の活性化を民営化する手法であるNeuralDPを提案する。 本研究では,DP-SGDと比較して,プライバシーとユーティリティのトレードオフを大幅に改善した2つのデータセットを実験的に検証した。
  論文  参考訳（メタデータ） (2021-07-30T12:40:19Z)
• Graph-Homomorphic Perturbations for Private Decentralized Learning [64.26238893241322]
  ローカルな見積もりの交換は、プライベートデータに基づくデータの推測を可能にする。 すべてのエージェントで独立して選択された摂動により、パフォーマンスが著しく低下する。 本稿では,特定のヌル空間条件に従って摂動を構成する代替スキームを提案する。
  論文  参考訳（メタデータ） (2020-10-23T10:35:35Z)
• Federated Model Distillation with Noise-Free Differential Privacy [35.72801867380072]
  我々はFEDMD-NFDPと呼ばれる新しいフレームワークを提案し、このフレームワークはFEDMD-NFDP機構をフェデレートされたモデル蒸留フレームワークに適用する。 FEDMD-NFDPが同等のユーティリティと通信効率を提供できることを示す。
  論文  参考訳（メタデータ） (2020-09-11T17:19:56Z)
• A(DP)$^2$SGD: Asynchronous Decentralized Parallel Stochastic Gradient Descent with Differential Privacy [15.038697541988746]
  一般的な分散学習戦略はフェデレーション学習であり、グローバルモデルを格納する中央サーバと、対応するデータでモデルパラメータを更新するローカルコンピューティングノードのセットがある。 本稿では,ADPSGDの通信効率を保ち,悪意のある参加者による推論を防止する,非同期分散並列SGDフレームワークの差分プライベート版A(DP)$2$SGDを提案する。
  論文  参考訳（メタデータ） (2020-08-21T00:56:22Z)
• RDP-GAN: A R\'enyi-Differential Privacy based Generative Adversarial Network [75.81653258081435]
  GAN(Generative Adversarial Network)は,プライバシ保護の高い現実的なサンプルを生成する能力によって,近年注目を集めている。 しかし、医療記録や財務記録などの機密・私的な訓練例にGANを適用すると、個人の機密・私的な情報を漏らしかねない。 本稿では、学習中の損失関数の値にランダムノイズを慎重に付加することにより、GAN内の差分プライバシー(DP)を実現するR'enyi-differentially private-GAN(RDP-GAN)を提案する。
  論文  参考訳（メタデータ） (2020-07-04T09:51:02Z)
• Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
  フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。 敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。 差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
  論文  参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。