論文の概要: Optimizing Privacy-Utility Trade-off in Decentralized Learning with Generalized Correlated Noise

• arxiv url: http://arxiv.org/abs/2501.14644v2
• Date: Wed, 23 Jul 2025 08:55:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-24 14:06:48.988522
• Title: Optimizing Privacy-Utility Trade-off in Decentralized Learning with Generalized Correlated Noise
• Title（参考訳）: 一般化相関雑音を用いた分散学習におけるプライバシ-ユーティリティトレードオフの最適化
• Authors: Angelo Rodio, Zheng Chen, Erik G. Larsson,
• Abstract要約: CorN-DSGDはエージェント間で相関するプライバシーノイズを生成する新しいフレームワークである。 我々は,CorN-DSGDが既存の相互相関方式よりもノイズをキャンセルし,形式的なプライバシ保証下でのモデル性能を向上させることを示す。
• 参考スコア（独自算出の注目度）: 32.914407967052114
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Decentralized learning enables distributed agents to collaboratively train a shared machine learning model without a central server, through local computation and peer-to-peer communication. Although each agent retains its dataset locally, sharing local models can still expose private information about the local training datasets to adversaries. To mitigate privacy attacks, a common strategy is to inject random artificial noise at each agent before exchanging local models between neighbors. However, this often leads to utility degradation due to the negative effects of cumulated artificial noise on the learning algorithm. In this work, we introduce CorN-DSGD, a novel covariance-based framework for generating correlated privacy noise across agents, which unifies several state-of-the-art methods as special cases. By leveraging network topology and mixing weights, CorN-DSGD optimizes the noise covariance to achieve network-wide noise cancellation. Experimental results show that CorN-DSGD cancels more noise than existing pairwise correlation schemes, improving model performance under formal privacy guarantees.
• Abstract（参考訳）: 分散学習により、分散エージェントは、ローカル計算とピアツーピア通信を通じて、中央サーバーなしで共有機械学習モデルを協調的にトレーニングすることができる。 各エージェントはデータセットをローカルに保持するが、ローカルモデルを共有することで、ローカルトレーニングデータセットに関するプライベート情報を敵に公開することができる。 プライバシ攻撃を緩和するためには、隣同士でローカルモデルを交換する前に、各エージェントにランダムな人工ノイズを注入するのが一般的な戦略である。 しかし、これは学習アルゴリズムに対する累積人工雑音の負の効果により、しばしば実用上の劣化を引き起こす。 本研究では,エージェント間で相関するプライバシーノイズを発生させる新しい共分散に基づくフレームワークであるCorN-DSGDを紹介する。 CorN-DSGDは、ネットワークトポロジと混合重みを利用して、ノイズ共分散を最適化し、ネットワーク全体のノイズキャンセリングを実現する。 実験結果から,CorN-DSGDは従来の相互相関方式よりもノイズを低減し,形式的なプライバシ保証下でのモデル性能を改善した。

関連論文リスト

• Machine Unlearning for Robust DNNs: Attribution-Guided Partitioning and Neuron Pruning in Noisy Environments [5.8166742412657895]
  ディープニューラルネットワーク(DNN)は、さまざまなドメインで顕著な成功を収めているが、ノイズやトレーニングデータによってそのパフォーマンスが著しく低下する可能性がある。 本稿では,帰属誘導型データパーティショニング,識別的ニューロンプルーニング,およびノイズのあるサンプルの影響を軽減するための微調整を目的とした新しいフレームワークを提案する。 CIFAR-10の標準リトレーニングよりも約10%の絶対精度向上を実現し,ラベルノイズを注入した。
  論文  参考訳（メタデータ） (2025-06-13T09:37:11Z)
• Federated Learning with Differential Privacy: An Utility-Enhanced Approach [12.614480013684759]
  フェデレーション学習は、クライアントのデータを共有する必要性をなくすことによって、データのプライバシを保護するための魅力的なアプローチとして現れている。 最近の研究では、フェデレートされた学習だけではプライバシーが保証されないことが示されている。 本稿では,これらのバニラ微分プライベートアルゴリズムを,ハールウェーブレット変換ステップとノイズの分散を著しく低減する新しいノイズ注入方式に基づいて修正する。
  論文  参考訳（メタデータ） (2025-03-27T04:48:29Z)
• The Privacy Power of Correlated Noise in Decentralized Learning [39.48990597191246]
  我々は、分散化されたSGDの変種であるDecorを提案する。 我々はSecLDPの下で、ローカルDPを緩和し、外部の盗聴者や好奇心をそそるユーザーからすべてのユーザー通信を保護する。
  論文  参考訳（メタデータ） (2024-05-02T06:14:56Z)
• Learning Cautiously in Federated Learning with Noisy and Heterogeneous Clients [4.782145666637457]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ保証と協調トレーニングを行う分散フレームワークである。 実世界のシナリオでは、クライアントはアノテーションの品質(ラベルノイズ)が低い非IIDデータ(ローカルクラス不均衡)を持つかもしれない。 我々は、追加のクリーンプロキシデータセットを使わずにFedCNIを提案する。 これには、耐雑音性のある局所解法と、ロバストなグローバルアグリゲータが含まれる。
  論文  参考訳（メタデータ） (2023-04-06T06:47:14Z)
• Generative Model Based Noise Robust Training for Unsupervised Domain Adaptation [108.11783463263328]
  本稿では, 生成モデルに基づくノイズ・ロバスト訓練法(GeNRT)を提案する。 ラベルノイズを緩和しながらドメインシフトを除去する。 Office-Home、PACS、Digit-Fiveの実験は、GeNRTが最先端のメソッドに匹敵するパフォーマンスを実現していることを示している。
  論文  参考訳（メタデータ） (2023-03-10T06:43:55Z)
• Local Graph-homomorphic Processing for Privatized Distributed Systems [57.14673504239551]
  付加雑音は学習モデルの性能に影響を与えないことを示す。 これは、分散アルゴリズムの差分プライバシーに関する以前の研究に対して、大きな改善である。
  論文  参考訳（メタデータ） (2022-10-26T10:00:14Z)
• An Experimental Study on Private Aggregation of Teacher Ensemble Learning for End-to-End Speech Recognition [51.232523987916636]
  差分プライバシー(DP)は、プライバシーデータにノイズのある歪みを課すことで、深層モデルのトレーニングに使用されるユーザー情報を保護するための1つのデータ保護手段である。 本研究では、PATE学習を動的パターン、すなわち音声を扱うように拡張し、音響データの漏洩を避けるために、ASRに関する最初の実験を行う。
  論文  参考訳（メタデータ） (2022-10-11T16:55:54Z)
• DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
  連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。 上記の2つの課題を同時に解決するための一般的な枠組みを提案する。 我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
  論文  参考訳（メタデータ） (2022-04-16T08:08:29Z)
• The Optimal Noise in Noise-Contrastive Learning Is Not What You Think [80.07065346699005]
  この仮定から逸脱すると、実際により良い統計的推定結果が得られることが示される。 特に、最適な雑音分布は、データと異なり、また、別の家族からさえも異なる。
  論文  参考訳（メタデータ） (2022-03-02T13:59:20Z)
• On Convergence of Federated Averaging Langevin Dynamics [22.013125418713763]
  本稿では,分散クライアントを用いた不確実性定量化と平均予測のための平均ランゲヴィンアルゴリズム(FA-LD)を提案する。 非可解データを用いた強対数分布に対するFA-LDの理論的保証を開発する。 部分的なデバイス更新のみが可能な,さまざまな平均化スキームに基づく収束結果を示す。
  論文  参考訳（メタデータ） (2021-12-09T18:54:29Z)
• Don't Generate Me: Training Differentially Private Generative Models with Sinkhorn Divergence [73.14373832423156]
  そこで我々はDP-Sinkhornを提案する。DP-Sinkhornは個人データからデータ分布を差分プライバシで学習するための新しいトランスポートベース生成手法である。 差分的にプライベートな生成モデルを訓練するための既存のアプローチとは異なり、我々は敵の目的に頼らない。
  論文  参考訳（メタデータ） (2021-11-01T18:10:21Z)
• NeuralDP Differentially private neural networks by design [61.675604648670095]
  ニューラルネットワーク内のいくつかの層の活性化を民営化する手法であるNeuralDPを提案する。 本研究では,DP-SGDと比較して,プライバシーとユーティリティのトレードオフを大幅に改善した2つのデータセットを実験的に検証した。
  論文  参考訳（メタデータ） (2021-07-30T12:40:19Z)
• Graph-Homomorphic Perturbations for Private Decentralized Learning [64.26238893241322]
  ローカルな見積もりの交換は、プライベートデータに基づくデータの推測を可能にする。 すべてのエージェントで独立して選択された摂動により、パフォーマンスが著しく低下する。 本稿では,特定のヌル空間条件に従って摂動を構成する代替スキームを提案する。
  論文  参考訳（メタデータ） (2020-10-23T10:35:35Z)
• Federated Model Distillation with Noise-Free Differential Privacy [35.72801867380072]
  我々はFEDMD-NFDPと呼ばれる新しいフレームワークを提案し、このフレームワークはFEDMD-NFDP機構をフェデレートされたモデル蒸留フレームワークに適用する。 FEDMD-NFDPが同等のユーティリティと通信効率を提供できることを示す。
  論文  参考訳（メタデータ） (2020-09-11T17:19:56Z)
• A(DP)$^2$SGD: Asynchronous Decentralized Parallel Stochastic Gradient Descent with Differential Privacy [15.038697541988746]
  一般的な分散学習戦略はフェデレーション学習であり、グローバルモデルを格納する中央サーバと、対応するデータでモデルパラメータを更新するローカルコンピューティングノードのセットがある。 本稿では,ADPSGDの通信効率を保ち,悪意のある参加者による推論を防止する,非同期分散並列SGDフレームワークの差分プライベート版A(DP)$2$SGDを提案する。
  論文  参考訳（メタデータ） (2020-08-21T00:56:22Z)
• RDP-GAN: A R\'enyi-Differential Privacy based Generative Adversarial Network [75.81653258081435]
  GAN(Generative Adversarial Network)は,プライバシ保護の高い現実的なサンプルを生成する能力によって,近年注目を集めている。 しかし、医療記録や財務記録などの機密・私的な訓練例にGANを適用すると、個人の機密・私的な情報を漏らしかねない。 本稿では、学習中の損失関数の値にランダムノイズを慎重に付加することにより、GAN内の差分プライバシー(DP)を実現するR'enyi-differentially private-GAN(RDP-GAN)を提案する。
  論文  参考訳（メタデータ） (2020-07-04T09:51:02Z)
• Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
  フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。 敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。 差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
  論文  参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。