論文の概要: PDSL: Privacy-Preserved Decentralized Stochastic Learning with Heterogeneous Data Distribution

• arxiv url: http://arxiv.org/abs/2503.23726v2
• Date: Sun, 13 Apr 2025 13:13:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:44:51.598982
• Title: PDSL: Privacy-Preserved Decentralized Stochastic Learning with Heterogeneous Data Distribution
• Title（参考訳）: PDSL:不均一なデータ分散を伴うプライバシ保護型分散確率学習
• Authors: Lina Wang, Yunsheng Yuan, Chunxiao Wang, Feng Li,
• Abstract要約: 分散学習では、エージェントのグループが協力して、中央サーバーなしで分散データセットを使用してグローバルモデルを学ぶ。 本稿では、不均一なデータ分布を持つ新しいプライバシー保護型分散学習アルゴリズムであるPを提案する。
• 参考スコア（独自算出の注目度）: 8.055697728504326
• License:
• Abstract: In the paradigm of decentralized learning, a group of agents collaborates to learn a global model using distributed datasets without a central server. However, due to the heterogeneity of the local data across the different agents, learning a robust global model is rather challenging. Moreover, the collaboration of the agents relies on their gradient information exchange, which poses a risk of privacy leakage. In this paper, to address these issues, we propose PDSL, a novel privacy-preserved decentralized stochastic learning algorithm with heterogeneous data distribution. On one hand, we innovate in utilizing the notion of Shapley values such that each agent can precisely measure the contributions of its heterogeneous neighbors to the global learning goal; on the other hand, we leverage the notion of differential privacy to prevent each agent from suffering privacy leakage when it contributes gradient information to its neighbors. We conduct both solid theoretical analysis and extensive experiments to demonstrate the efficacy of our PDSL algorithm in terms of privacy preservation and convergence.
• Abstract（参考訳）: 分散学習のパラダイムでは、エージェントのグループが協力して、中央サーバーなしで分散データセットを使用してグローバルモデルを学ぶ。 しかし、異なるエージェントにまたがる局所データの異質性のため、堅牢なグローバルモデルを学ぶことはかなり難しい。 さらに、エージェントの協力は勾配情報交換に依存しており、プライバシー漏洩のリスクが生じる。 本稿では、これらの問題に対処するため、不均一なデータ分布を持つ新しいプライバシー保護型分散確率学習アルゴリズムであるPDSLを提案する。 一方、我々は、各エージェントがグローバルな学習目標に対して、その異質な隣人の貢献を正確に測定できるように、Shapley値の概念を活用することを革新し、一方、各エージェントが隣人に勾配情報を提供する際に、プライバシーの漏洩に悩むのを防ぐために、差分プライバシーの概念を活用する。 我々は,プライバシの保存と収束の両面からPDSLアルゴリズムの有効性を実証するために,理論解析と広範な実験を行った。

関連論文リスト

• ROSS:RObust decentralized Stochastic learning based on Shapley values [21.376454436691795]
  エージェントのグループは、中央サーバーなしで分散データセットを使用してグローバルモデルを学ぶために協力します。 データは非独立に、同一に配布され、ノイズや毒で汚染されることもある。 本稿では,Shapley値に基づく頑健な分散学習アルゴリズム ROSS を提案する。
  論文  参考訳（メタデータ） (2024-11-01T05:05:15Z)
• Differentially Private Decentralized Learning with Random Walks [15.862152253607496]
  ランダムウォークアルゴリズムを用いて分散学習のプライバシー保証を特徴付ける。そこでは、あるノードから別のノードへ通信グラフのエッジに沿って移動することで、モデルを更新する。 その結果、ランダムウォークアルゴリズムは、互いに近接するノードに対するゴシップアルゴリズムよりも、より優れたプライバシ保証をもたらす傾向があることが明らかとなった。
  論文  参考訳（メタデータ） (2024-02-12T08:16:58Z)
• Generalizing Differentially Private Decentralized Deep Learning with Multi-Agent Consensus [11.414398732656839]
  本稿では,分散ディープラーニングに差分プライバシーを組み込んだフレームワークを提案する。 本稿では,このフレームワークから派生したアルゴリズムの収束保証を証明し,その実用性を示す。
  論文  参考訳（メタデータ） (2023-06-24T07:46:00Z)
• Collaborative Mean Estimation over Intermittently Connected Networks with Peer-To-Peer Privacy [86.61829236732744]
  本研究は、断続接続を有するネットワーク上での分散平均推定(DME)の問題について考察する。 目標は、中央サーバの助けを借りて、分散ノード間でローカライズされたデータサンプルに関するグローバル統計を学習することだ。 ノード間のデータ共有による協調中継とプライバシー漏洩のトレードオフについて検討する。
  論文  参考訳（メタデータ） (2023-02-28T19:17:03Z)
• Privacy-preserving Decentralized Federated Learning over Time-varying Communication Graph [5.649296652252663]
  分散学習者が分散グローバルモデルアグリゲーションを実現するための最初のプライバシ保存コンセンサスに基づくアルゴリズムを提案する。 本論文は,提案アルゴリズムの正当性とプライバシ特性について述べる。
  論文  参考訳（メタデータ） (2022-10-01T17:17:22Z)
• Secure Distributed/Federated Learning: Prediction-Privacy Trade-Off for Multi-Agent System [4.190359509901197]
  分散学習(DLとFL)フレームワーク内で推論を行うビッグデータ時代において、中央サーバは大量のデータを処理する必要がある。 分散コンピューティングトポロジを考えると、プライバシは第一級の関心事になっている。 本研究では,テキストプライバシを意識したサーバを,エージェントごとの情報処理制約を考慮したマルチエージェント代入問題に適用する。
  論文  参考訳（メタデータ） (2022-04-24T19:19:20Z)
• RelaySum for Decentralized Deep Learning on Heterogeneous Data [71.36228931225362]
  分散機械学習では、労働者はローカルデータのモデル更新を計算する。 労働者は中心的な調整なしに隣人とのみ通信するため、これらの更新はネットワーク上で徐々に伝播する。 このパラダイムは、全接続のないネットワーク上での分散トレーニングを可能にし、データのプライバシ保護と、データセンタでの分散トレーニングの通信コストの削減を支援する。
  論文  参考訳（メタデータ） (2021-10-08T14:55:32Z)
• Quasi-Global Momentum: Accelerating Decentralized Deep Learning on Heterogeneous Data [77.88594632644347]
  ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。 現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。 本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-02-09T11:27:14Z)
• Graph-Homomorphic Perturbations for Private Decentralized Learning [64.26238893241322]
  ローカルな見積もりの交換は、プライベートデータに基づくデータの推測を可能にする。 すべてのエージェントで独立して選択された摂動により、パフォーマンスが著しく低下する。 本稿では,特定のヌル空間条件に従って摂動を構成する代替スキームを提案する。
  論文  参考訳（メタデータ） (2020-10-23T10:35:35Z)
• Learning while Respecting Privacy and Robustness to Distributional Uncertainties and Adversarial Data [66.78671826743884]
  分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。 目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。 提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
  論文  参考訳（メタデータ） (2020-07-07T18:25:25Z)
• Privacy-preserving Traffic Flow Prediction: A Federated Learning Approach [61.64006416975458]
  本稿では,フェデレート学習に基づくGated Recurrent Unit Neural Network Algorithm (FedGRU) というプライバシ保護機械学習手法を提案する。 FedGRUは、現在の集中学習方法と異なり、安全なパラメータアグリゲーション機構を通じて、普遍的な学習モデルを更新する。 FedGRUの予測精度は、先進的なディープラーニングモデルよりも90.96%高い。
  論文  参考訳（メタデータ） (2020-03-19T13:07:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。