論文の概要: DPDL: Towards Differential Privacy Preservation in Decentralized Stochastic Learning on Non-IID Data

• arxiv url: http://arxiv.org/abs/2606.04399v1
• Date: Wed, 03 Jun 2026 03:27:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-04 20:44:18.510946
• Title: DPDL: Towards Differential Privacy Preservation in Decentralized Stochastic Learning on Non-IID Data
• Title（参考訳）: DPDL:非IIDデータに基づく分散確率学習における差分プライバシー保護を目指して
• Authors: Yunsheng Yuan, Xue Xiao, Lina Wang, Feng Li,
• Abstract要約: 分散学習のパラダイムでは、エージェントのグループが協力して、中央サーバーなしで分散データセットを使用してグローバルモデルをトレーニングします。 非IIDデータを用いたプライバシー保護型分散学習アルゴリズムDPDLを提案する。 我々の厳密な理論的分析は、特定のプライバシー保護レベルを達成するのに必要な最小ノイズレベルを明らかにするだけでなく、我々のアルゴリズムが非IIDデータによるトレーニングにおいて線形スピードアップを達成していることを示している。
• 参考スコア（独自算出の注目度）: 5.903492793014408
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the paradigm of decentralized learning, a group of agents collaborate to train a global model using distributed datasets without a central server. Although the power of collaboration has been verified by many state-of-the-art studies, it entails extensive gradient information exchanging among the agents and thus induces high risk of privacy leakage for the individual agents. Moreover, in real-world applications, the training data are usually non-identically and independently distributed across the agents, inducing more challenges to enable privacy-preserved decentralized learning. To address these issues, we propose a privacy-preserved decentralized learning algorithm with non-IID data, DPDL, which leverages the notion of Differential Privacy (DP) in cross-gradient aggregation through a similarity-based calibration technique. Specifically, in each round, each agent perturbs the cross-gradients (i.e., the derivatives of its neighbors' local model in its private local data) by Gaussian noise mechanism before sharing them with its neighbors; it then adopt cosine similarity to calibrate the received perturbed cross-gradients such that the aggregation of the calibrated cross-gradients can be utilized to effectively update local model in a momentum-like manner. Our rigorous theoretical analysis not only reveals the minimum noise level required to achieve a specific level of privacy preservation, but also illustrates that our algorithm still achieves a linear speedup in training with non-IID data. We finally conduct extensive experiments on real-world dataset to validate the effectiveness of our algorithm in defending privacy attacks and in training accurate models.
• Abstract（参考訳）: 分散学習のパラダイムでは、エージェントのグループが協力して、中央サーバーなしで分散データセットを使用してグローバルモデルをトレーニングします。 コラボレーションの力は、多くの最先端の研究によって検証されているが、エージェント間で交換される広範な勾配情報を必要とするため、個々のエージェントに対するプライバシー漏洩のリスクが高い。 さらに、現実世界のアプリケーションでは、トレーニングデータは通常、エージェント間で識別されず、独立して分散されるため、プライバシ保護された分散学習を可能にするためのさらなる課題が引き起こされる。 これらの問題に対処するために、類似度に基づく校正手法を用いて、段階横断集約における微分プライバシー(DP)の概念を活用する、非IIDデータを用いたプライバシー保護型分散学習アルゴリズムDPDLを提案する。 具体的には、各ラウンドにおいて、各エージェントは、隣人の局所モデル(例えば、そのプライベートローカルデータにおける隣人の局所モデルの微分)を、隣人と共有する前にガウスノイズ機構によって摂動させ、次に、受信した摂動勾配を校正するためにコサイン類似性を採用して、校正された交叉勾配の集合をモーメント的な方法で効果的に更新する。 我々の厳密な理論的分析は、特定のプライバシー保護レベルを達成するのに必要な最小ノイズレベルを明らかにするだけでなく、我々のアルゴリズムが非IIDデータによるトレーニングにおいて線形スピードアップを達成していることを示している。 最終的に我々は、プライバシ攻撃の防御や正確なモデルのトレーニングにおけるアルゴリズムの有効性を検証するために、実世界のデータセットに関する広範な実験を行った。

関連論文リスト

• PDSL: Privacy-Preserved Decentralized Stochastic Learning with Heterogeneous Data Distribution [8.055697728504326]
  分散学習では、エージェントのグループが協力して、中央サーバーなしで分散データセットを使用してグローバルモデルを学ぶ。 本稿では、不均一なデータ分布を持つ新しいプライバシー保護型分散学習アルゴリズムであるPを提案する。
  論文  参考訳（メタデータ） (2025-03-31T04:58:05Z)
• Federated Learning with Differential Privacy: An Utility-Enhanced Approach [12.614480013684759]
  フェデレーション学習は、クライアントのデータを共有する必要性をなくすことによって、データのプライバシを保護するための魅力的なアプローチとして現れている。 最近の研究では、フェデレートされた学習だけではプライバシーが保証されないことが示されている。 本稿では,これらのバニラ微分プライベートアルゴリズムを,ハールウェーブレット変換ステップとノイズの分散を著しく低減する新しいノイズ注入方式に基づいて修正する。
  論文  参考訳（メタデータ） (2025-03-27T04:48:29Z)
• PeFAD: A Parameter-Efficient Federated Framework for Time Series Anomaly Detection [51.20479454379662]
  私たちはaを提案します。 フェデレートされた異常検出フレームワークであるPeFADは、プライバシーの懸念が高まっている。 我々は、4つの実際のデータセットに対して広範な評価を行い、PeFADは既存の最先端ベースラインを最大28.74%上回っている。
  論文  参考訳（メタデータ） (2024-06-04T13:51:08Z)
• Generalizing Differentially Private Decentralized Deep Learning with Multi-Agent Consensus [11.414398732656839]
  本稿では,分散ディープラーニングに差分プライバシーを組み込んだフレームワークを提案する。 本稿では,このフレームワークから派生したアルゴリズムの収束保証を証明し,その実用性を示す。
  論文  参考訳（メタデータ） (2023-06-24T07:46:00Z)
• Decentralized Stochastic Optimization with Inherent Privacy Protection [103.62463469366557]
  分散最適化は、現代の協調機械学習、分散推定と制御、大規模センシングの基本的な構成要素である。 データが関与して以降、分散最適化アルゴリズムの実装において、プライバシ保護がますます重要になっている。
  論文  参考訳（メタデータ） (2022-05-08T14:38:23Z)
• Quasi-Global Momentum: Accelerating Decentralized Deep Learning on Heterogeneous Data [77.88594632644347]
  ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。 現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。 本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-02-09T11:27:14Z)
• Graph-Homomorphic Perturbations for Private Decentralized Learning [64.26238893241322]
  ローカルな見積もりの交換は、プライベートデータに基づくデータの推測を可能にする。 すべてのエージェントで独立して選択された摂動により、パフォーマンスが著しく低下する。 本稿では,特定のヌル空間条件に従って摂動を構成する代替スキームを提案する。
  論文  参考訳（メタデータ） (2020-10-23T10:35:35Z)
• Learning while Respecting Privacy and Robustness to Distributional Uncertainties and Adversarial Data [66.78671826743884]
  分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。 目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。 提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
  論文  参考訳（メタデータ） (2020-07-07T18:25:25Z)
• Decentralised Learning from Independent Multi-Domain Labels for Person Re-Identification [69.29602103582782]
  ディープラーニングは多くのコンピュータビジョンタスクで成功している。 しかし、プライバシー問題に対する意識の高まりは、特に人物の再識別(Re-ID)において、ディープラーニングに新たな課題をもたらす。 我々は,複数のプライバシ保護されたローカルモデル(ローカルクライアント)を同時に学習することにより,汎用的なグローバルモデル(中央サーバ)を構築するための,フェデレート・パーソナライゼーション(FedReID)と呼ばれる新しいパラダイムを提案する。 このクライアントサーバ共同学習プロセスは、プライバシコントロールの下で反復的に実行されるため、分散データを共有したり、収集したりすることなく、分散学習を実現することができる。
  論文  参考訳（メタデータ） (2020-06-07T13:32:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。