論文の概要: The Built-In Robustness of Decentralized Federated Averaging to Bad Data

• arxiv url: http://arxiv.org/abs/2502.18097v1
• Date: Tue, 25 Feb 2025 11:06:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-26 15:18:58.185308
• Title: The Built-In Robustness of Decentralized Federated Averaging to Bad Data
• Title（参考訳）: 分散化フェデレーションのバッドデータに対するロバスト性
• Authors: Samuele Sabella, Chiara Boldrini, Lorenzo Valerio, Andrea Passarella, Marco Conti,
• Abstract要約: 分散連合学習(DFL)は、中央コントローラに頼ることなく、複雑なネットワークトポロジ上でモデルを協調的にトレーニングすることを可能にする。 この設定では、ローカルデータはプライベートのままだが、その品質と量はノード間で大きく異なる可能性がある。 劣化したデータをノードのサブセットに均等に分散するシナリオと,単一ノードに集中するシナリオの2つをシミュレーションする。
• 参考スコア（独自算出の注目度）: 2.7961972519572447
• License:
• Abstract: Decentralized federated learning (DFL) enables devices to collaboratively train models over complex network topologies without relying on a central controller. In this setting, local data remains private, but its quality and quantity can vary significantly across nodes. The extent to which a fully decentralized system is vulnerable to poor-quality or corrupted data remains unclear, but several factors could contribute to potential risks. Without a central authority, there can be no unified mechanism to detect or correct errors, and each node operates with a localized view of the data distribution, making it difficult for the node to assess whether its perspective aligns with the true distribution. Moreover, models trained on low-quality data can propagate through the network, amplifying errors. To explore the impact of low-quality data on DFL, we simulate two scenarios with degraded data quality -- one where the corrupted data is evenly distributed in a subset of nodes and one where it is concentrated on a single node -- using a decentralized implementation of FedAvg. Our results reveal that averaging-based decentralized learning is remarkably robust to localized bad data, even when the corrupted data resides in the most influential nodes of the network. Counterintuitively, this robustness is further enhanced when the corrupted data is concentrated on a single node, regardless of its centrality in the communication network topology. This phenomenon is explained by the averaging process, which ensures that no single node -- however central -- can disproportionately influence the overall learning process.
• Abstract（参考訳）: 分散連合学習(DFL)は、中央コントローラに頼ることなく、複雑なネットワークトポロジ上でモデルを協調的にトレーニングすることを可能にする。 この設定では、ローカルデータはプライベートのままだが、その品質と量はノード間で大きく異なる可能性がある。 完全に分散されたシステムが、品質の悪いデータや腐敗したデータに対して脆弱である程度は、まだ不明だが、いくつかの要因が潜在的なリスクに寄与する可能性がある。 中央の権威がなければ、エラーを検出または修正するための統一されたメカニズムはなく、各ノードはデータ分散の局所的なビューで動作するため、その視点が真の分布と一致しているかどうかをノードが判断することは困難である。 さらに、低品質のデータに基づいてトレーニングされたモデルは、ネットワークを介して伝播し、エラーを増幅する。 DFLにおける低品質データの影響を探るため、FedAvgの分散実装を使用して、劣化したデータがノードのサブセットに均等に分散される2つのシナリオをシミュレートした。 この結果から,ネットワークの最も影響力のあるノードに分散データが存在する場合でも,平均的分散学習は局所的な悪いデータに対して極めて堅牢であることが明らかとなった。 通信ネットワークトポロジにおける中心性に関係なく、破損したデータが単一のノードに集中すると、このロバスト性がさらに向上する。 この現象は平均化プロセスによって説明され、単一のノード(中央)が学習プロセス全体に不均等に影響を与えないことを保証する。

関連論文リスト

• Privacy Preserving Semi-Decentralized Mean Estimation over Intermittently-Connected Networks [59.43433767253956]
  信頼できない無線ネットワークの異なるノードに分散するベクトルの平均をプライベートに推定する問題を考える。 半分散的なセットアップでは、ノードは隣人と協力してローカルコンセンサスを計算し、中央サーバにリレーする。 ノード間のデータ共有による協調中継とプライバシー漏洩のトレードオフについて検討する。
  論文  参考訳（メタデータ） (2024-06-06T06:12:15Z)
• Robustness of Decentralised Learning to Nodes and Data Disruption [4.062458976723649]
  ノードの破壊が集団学習過程に及ぼす影響について検討する。 その結果,分散学習プロセスはネットワーク破壊に対して極めて堅牢であることがわかった。
  論文  参考訳（メタデータ） (2024-05-03T12:14:48Z)
• Impact of network topology on the performance of Decentralized Federated Learning [4.618221836001186]
  分散機械学習は、インフラストラクチャの課題とプライバシの懸念に対処し、勢いを増している。 本研究では,3つのネットワークトポロジと6つのデータ分散手法を用いて,ネットワーク構造と学習性能の相互作用について検討する。 モデル集約時の希釈効果に起因する周辺ノードから中心ノードへの知識伝達の課題を強調した。
  論文  参考訳（メタデータ） (2024-02-28T11:13:53Z)
• Exploring the Impact of Disrupted Peer-to-Peer Communications on Fully Decentralized Learning in Disaster Scenarios [4.618221836001186]
  完全な分散学習により、複数のユーザデバイスやノードにまたがる学習リソースの分散が可能になる。 本研究では,災害環境下での分散学習におけるピアツーピアコミュニケーションに対する様々な障害の影響について検討する。
  論文  参考訳（メタデータ） (2023-10-04T17:24:38Z)
• Does Decentralized Learning with Non-IID Unlabeled Data Benefit from Self Supervision? [51.00034621304361]
  自己教師型学習(SSL)のレンズによるラベルなしデータによる分散学習の研究 本研究では,分散学習環境下でのコントラスト学習アルゴリズムの有効性について検討する。
  論文  参考訳（メタデータ） (2022-10-20T01:32:41Z)
• FedDKD: Federated Learning with Decentralized Knowledge Distillation [3.9084449541022055]
  分散知識蒸留法(FedDKD)を応用した新しいフェデレートラーニングフレームワークを提案する。 我々は、FedDKDが、いくつかのDKDステップにおいて、より効率的なコミュニケーションと訓練により最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-05-02T07:54:07Z)
• RelaySum for Decentralized Deep Learning on Heterogeneous Data [71.36228931225362]
  分散機械学習では、労働者はローカルデータのモデル更新を計算する。 労働者は中心的な調整なしに隣人とのみ通信するため、これらの更新はネットワーク上で徐々に伝播する。 このパラダイムは、全接続のないネットワーク上での分散トレーニングを可能にし、データのプライバシ保護と、データセンタでの分散トレーニングの通信コストの削減を支援する。
  論文  参考訳（メタデータ） (2021-10-08T14:55:32Z)
• Two-Bit Aggregation for Communication Efficient and Differentially Private Federated Learning [79.66767935077925]
  フェデレートラーニング(FL)では、機械学習モデルは、データをローカルに保ち、他のノードと共有しない状態で、複数のノードで分散的にトレーニングされる。 ノードからサーバに送信された情報は、各ノードのローカルデータの詳細を明らかにする可能性があるため、プライバシー上の懸念が生じる。 差分プライバシーを保証し、アップリンク通信オーバーヘッドを低減した2ビットアグリゲーションアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-10-06T19:03:58Z)
• Consensus Control for Decentralized Deep Learning [72.50487751271069]
  ディープラーニングモデルの分散トレーニングは、ネットワーク上のデバイス上での学習と、大規模計算クラスタへの効率的なスケーリングを可能にする。 理論上、トレーニングコンセンサス距離が重要な量よりも低い場合、分散化されたトレーニングは集中的なトレーニングよりも早く収束することを示す。 私たちの経験的な洞察は、パフォーマンス低下を軽減するために、より分散化されたトレーニングスキームの原則設計を可能にします。
  論文  参考訳（メタデータ） (2021-02-09T13:58:33Z)
• Quasi-Global Momentum: Accelerating Decentralized Deep Learning on Heterogeneous Data [77.88594632644347]
  ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。 現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。 本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-02-09T11:27:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。