論文の概要: Whisper D-SGD: Correlated Noise Across Agents for Differentially Private Decentralized Learning

• arxiv url: http://arxiv.org/abs/2501.14644v1
• Date: Fri, 24 Jan 2025 17:05:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-27 20:40:39.823598
• Title: Whisper D-SGD: Correlated Noise Across Agents for Differentially Private Decentralized Learning
• Title（参考訳）: ウィスパーD-SGD:分散学習のためのエージェント間の相関ノイズ
• Authors: Angelo Rodio, Zheng Chen, Erik G. Larsson,
• Abstract要約: ローカルディファレンシャルプライバシ(LDP)はエージェントごとに独立したノイズを注入するが、中央ディファレンシャルプライバシ(CDP)よりも大きなユーティリティギャップを被る。 エージェント間で相関するプライバシーノイズを発生させる新しい共分散に基づくアプローチであるWhisper D-SGDを紹介する。 本稿では、Whisper D-SGDが既存のペアワイズ相関方式よりもノイズを低減し、CDP-LDPギャップを大幅に狭め、モデル性能を向上させることを示す。
• 参考スコア（独自算出の注目度）: 32.914407967052114
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Decentralized learning enables distributed agents to train a shared machine learning model through local computation and peer-to-peer communication. Although each agent retains its dataset locally, the communication of local models can still expose private information to adversaries. To mitigate these threats, local differential privacy (LDP) injects independent noise per agent, but it suffers a larger utility gap than central differential privacy (CDP). We introduce Whisper D-SGD, a novel covariance-based approach that generates correlated privacy noise across agents, unifying several state-of-the-art methods as special cases. By leveraging network topology and mixing weights, Whisper D-SGD optimizes the noise covariance to achieve network-wide noise cancellation. Experimental results show that Whisper D-SGD cancels more noise than existing pairwise-correlation schemes, substantially narrowing the CDP-LDP gap and improving model performance under the same privacy guarantees.
• Abstract（参考訳）: 分散学習は、ローカル計算とピアツーピア通信を通じて、分散エージェントが共有機械学習モデルをトレーニングすることを可能にする。 各エージェントはデータセットをローカルに保持するが、ローカルモデルの通信は敵にプライベート情報を公開することができる。 これらの脅威を軽減するため、ローカルディファレンシャルプライバシ(LDP)はエージェントごとに独立したノイズを注入するが、中央ディファレンシャルプライバシ(CDP)よりも大きなユーティリティギャップを被る。 エージェント間で相関するプライバシーノイズを発生させる新しい共分散に基づくアプローチであるWhisper D-SGDを導入する。 ネットワークトポロジと混合重みを利用することにより、Whisper D-SGDはノイズ共分散を最適化し、ネットワーク全体のノイズキャンセリングを実現する。 実験結果から、Whisper D-SGDは既存のペアワイズ相関方式よりもノイズを排除し、CDP-LDPギャップを大幅に狭め、同一のプライバシー保証下でのモデル性能を向上させることが示された。

関連論文リスト

• Machine Unlearning for Robust DNNs: Attribution-Guided Partitioning and Neuron Pruning in Noisy Environments [5.8166742412657895]
  ディープニューラルネットワーク(DNN)は、さまざまなドメインで顕著な成功を収めているが、ノイズやトレーニングデータによってそのパフォーマンスが著しく低下する可能性がある。 本稿では,帰属誘導型データパーティショニング,識別的ニューロンプルーニング,およびノイズのあるサンプルの影響を軽減するための微調整を目的とした新しいフレームワークを提案する。 CIFAR-10の標準リトレーニングよりも約10%の絶対精度向上を実現し,ラベルノイズを注入した。
  論文  参考訳（メタデータ） (2025-06-13T09:37:11Z)
• Federated Learning with Differential Privacy: An Utility-Enhanced Approach [12.614480013684759]
  フェデレーション学習は、クライアントのデータを共有する必要性をなくすことによって、データのプライバシを保護するための魅力的なアプローチとして現れている。 最近の研究では、フェデレートされた学習だけではプライバシーが保証されないことが示されている。 本稿では,これらのバニラ微分プライベートアルゴリズムを,ハールウェーブレット変換ステップとノイズの分散を著しく低減する新しいノイズ注入方式に基づいて修正する。
  論文  参考訳（メタデータ） (2025-03-27T04:48:29Z)
• The Privacy Power of Correlated Noise in Decentralized Learning [39.48990597191246]
  我々は、分散化されたSGDの変種であるDecorを提案する。 我々はSecLDPの下で、ローカルDPを緩和し、外部の盗聴者や好奇心をそそるユーザーからすべてのユーザー通信を保護する。
  論文  参考訳（メタデータ） (2024-05-02T06:14:56Z)
• Learning Cautiously in Federated Learning with Noisy and Heterogeneous Clients [4.782145666637457]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ保証と協調トレーニングを行う分散フレームワークである。 実世界のシナリオでは、クライアントはアノテーションの品質(ラベルノイズ)が低い非IIDデータ(ローカルクラス不均衡)を持つかもしれない。 我々は、追加のクリーンプロキシデータセットを使わずにFedCNIを提案する。 これには、耐雑音性のある局所解法と、ロバストなグローバルアグリゲータが含まれる。
  論文  参考訳（メタデータ） (2023-04-06T06:47:14Z)
• Generative Model Based Noise Robust Training for Unsupervised Domain Adaptation [108.11783463263328]
  本稿では, 生成モデルに基づくノイズ・ロバスト訓練法(GeNRT)を提案する。 ラベルノイズを緩和しながらドメインシフトを除去する。 Office-Home、PACS、Digit-Fiveの実験は、GeNRTが最先端のメソッドに匹敵するパフォーマンスを実現していることを示している。
  論文  参考訳（メタデータ） (2023-03-10T06:43:55Z)
• Local Graph-homomorphic Processing for Privatized Distributed Systems [57.14673504239551]
  付加雑音は学習モデルの性能に影響を与えないことを示す。 これは、分散アルゴリズムの差分プライバシーに関する以前の研究に対して、大きな改善である。
  論文  参考訳（メタデータ） (2022-10-26T10:00:14Z)
• An Experimental Study on Private Aggregation of Teacher Ensemble Learning for End-to-End Speech Recognition [51.232523987916636]
  差分プライバシー(DP)は、プライバシーデータにノイズのある歪みを課すことで、深層モデルのトレーニングに使用されるユーザー情報を保護するための1つのデータ保護手段である。 本研究では、PATE学習を動的パターン、すなわち音声を扱うように拡張し、音響データの漏洩を避けるために、ASRに関する最初の実験を行う。
  論文  参考訳（メタデータ） (2022-10-11T16:55:54Z)
• DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
  連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。 上記の2つの課題を同時に解決するための一般的な枠組みを提案する。 我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
  論文  参考訳（メタデータ） (2022-04-16T08:08:29Z)
• The Optimal Noise in Noise-Contrastive Learning Is Not What You Think [80.07065346699005]
  この仮定から逸脱すると、実際により良い統計的推定結果が得られることが示される。 特に、最適な雑音分布は、データと異なり、また、別の家族からさえも異なる。
  論文  参考訳（メタデータ） (2022-03-02T13:59:20Z)
• On Convergence of Federated Averaging Langevin Dynamics [22.013125418713763]
  本稿では,分散クライアントを用いた不確実性定量化と平均予測のための平均ランゲヴィンアルゴリズム(FA-LD)を提案する。 非可解データを用いた強対数分布に対するFA-LDの理論的保証を開発する。 部分的なデバイス更新のみが可能な,さまざまな平均化スキームに基づく収束結果を示す。
  論文  参考訳（メタデータ） (2021-12-09T18:54:29Z)
• Don't Generate Me: Training Differentially Private Generative Models with Sinkhorn Divergence [73.14373832423156]
  そこで我々はDP-Sinkhornを提案する。DP-Sinkhornは個人データからデータ分布を差分プライバシで学習するための新しいトランスポートベース生成手法である。 差分的にプライベートな生成モデルを訓練するための既存のアプローチとは異なり、我々は敵の目的に頼らない。
  論文  参考訳（メタデータ） (2021-11-01T18:10:21Z)
• NeuralDP Differentially private neural networks by design [61.675604648670095]
  ニューラルネットワーク内のいくつかの層の活性化を民営化する手法であるNeuralDPを提案する。 本研究では,DP-SGDと比較して,プライバシーとユーティリティのトレードオフを大幅に改善した2つのデータセットを実験的に検証した。
  論文  参考訳（メタデータ） (2021-07-30T12:40:19Z)
• Graph-Homomorphic Perturbations for Private Decentralized Learning [64.26238893241322]
  ローカルな見積もりの交換は、プライベートデータに基づくデータの推測を可能にする。 すべてのエージェントで独立して選択された摂動により、パフォーマンスが著しく低下する。 本稿では,特定のヌル空間条件に従って摂動を構成する代替スキームを提案する。
  論文  参考訳（メタデータ） (2020-10-23T10:35:35Z)
• Federated Model Distillation with Noise-Free Differential Privacy [35.72801867380072]
  我々はFEDMD-NFDPと呼ばれる新しいフレームワークを提案し、このフレームワークはFEDMD-NFDP機構をフェデレートされたモデル蒸留フレームワークに適用する。 FEDMD-NFDPが同等のユーティリティと通信効率を提供できることを示す。
  論文  参考訳（メタデータ） (2020-09-11T17:19:56Z)
• A(DP)$^2$SGD: Asynchronous Decentralized Parallel Stochastic Gradient Descent with Differential Privacy [15.038697541988746]
  一般的な分散学習戦略はフェデレーション学習であり、グローバルモデルを格納する中央サーバと、対応するデータでモデルパラメータを更新するローカルコンピューティングノードのセットがある。 本稿では,ADPSGDの通信効率を保ち,悪意のある参加者による推論を防止する,非同期分散並列SGDフレームワークの差分プライベート版A(DP)$2$SGDを提案する。
  論文  参考訳（メタデータ） (2020-08-21T00:56:22Z)
• RDP-GAN: A R\'enyi-Differential Privacy based Generative Adversarial Network [75.81653258081435]
  GAN(Generative Adversarial Network)は,プライバシ保護の高い現実的なサンプルを生成する能力によって,近年注目を集めている。 しかし、医療記録や財務記録などの機密・私的な訓練例にGANを適用すると、個人の機密・私的な情報を漏らしかねない。 本稿では、学習中の損失関数の値にランダムノイズを慎重に付加することにより、GAN内の差分プライバシー(DP)を実現するR'enyi-differentially private-GAN(RDP-GAN)を提案する。
  論文  参考訳（メタデータ） (2020-07-04T09:51:02Z)
• Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
  フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。 敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。 差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
  論文  参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。