論文の概要: Impact of Network Topology on Byzantine Resilience in Decentralized Federated Learning

• arxiv url: http://arxiv.org/abs/2407.05141v1
• Date: Sat, 6 Jul 2024 17:47:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-09 20:58:28.711401
• Title: Impact of Network Topology on Byzantine Resilience in Decentralized Federated Learning
• Title（参考訳）: 分散化フェデレーション学習におけるネットワークトポロジーがビザンチンレジリエンスに及ぼす影響
• Authors: Siddhartha Bhattacharya, Daniel Helo, Joshua Siegel,
• Abstract要約: 本研究では、複雑な大規模ネットワーク構造における最先端のビザンチン-ロバスト凝集法の効果について検討する。 最先端のビザンツのロバスト・アグリゲーション戦略は、大規模な非完全連結ネットワークではレジリエントではないことが判明した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning (FL) enables a collaborative environment for training machine learning models without sharing training data between users. This is typically achieved by aggregating model gradients on a central server. Decentralized federated learning is a rising paradigm that enables users to collaboratively train machine learning models in a peer-to-peer manner, without the need for a central aggregation server. However, before applying decentralized FL in real-world use training environments, nodes that deviate from the FL process (Byzantine nodes) must be considered when selecting an aggregation function. Recent research has focused on Byzantine-robust aggregation for client-server or fully connected networks, but has not yet evaluated such aggregation schemes for complex topologies possible with decentralized FL. Thus, the need for empirical evidence of Byzantine robustness in differing network topologies is evident. This work investigates the effects of state-of-the-art Byzantine-robust aggregation methods in complex, large-scale network structures. We find that state-of-the-art Byzantine robust aggregation strategies are not resilient within large non-fully connected networks. As such, our findings point the field towards the development of topology-aware aggregation schemes, especially necessary within the context of large scale real-world deployment.
• Abstract（参考訳）: フェデレートラーニング(FL)は、ユーザ間でトレーニングデータを共有することなく、機械学習モデルをトレーニングするための協調環境を実現する。 これは典型的には、中央サーバのモデル勾配を集約することで達成される。 分散フェデレーション学習は、集中集約サーバを必要とせず、ピアツーピアで機械学習モデルを協調的にトレーニングすることのできる、上昇するパラダイムである。 しかし、実世界の訓練環境に分散FLを適用する前に、集約関数を選択する際には、FLプロセス(ビザンチンノード)から逸脱するノードを考慮しなければならない。 近年,クライアントサーバや完全接続ネットワークに対するビザンチン-ロバストアグリゲーションに注目されているが,分散FLで実現可能な複雑なトポロジに対するアグリゲーションスキームは未だ評価されていない。 したがって、異なるネットワークトポロジーにおけるビザンチンの堅牢性の実証的な証拠の必要性は明らかである。 本研究では、複雑な大規模ネットワーク構造における最先端のビザンチン-ロバスト凝集法の効果について検討する。 最先端のビザンツのロバスト・アグリゲーション戦略は、大規模な非完全連結ネットワークではレジリエントではないことが判明した。 そこで本研究は,特に大規模実世界展開の文脈において,トポロジを意識したアグリゲーション・スキームの開発に向けての分野を指摘する。

関連論文リスト

• Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
  我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。 提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
  論文  参考訳（メタデータ） (2023-07-12T16:28:21Z)
• Decentralized Learning Made Easy with DecentralizePy [3.1848820580333737]
  分散学習(DL)は、スケーラビリティ、プライバシ、フォールトトレランスの面でその潜在的な利点で有名になった。 本稿では,大規模学習ネットワークを任意のトポロジでエミュレート可能な分散機械学習フレームワークDecentralizePyを提案する。 いくつかのトポロジ上にスパーシフィケーションやセキュアアグリゲーションといったテクニックを配置することで、分散Pyの能力を実証する。
  論文  参考訳（メタデータ） (2023-04-17T14:42:33Z)
• Event-Triggered Decentralized Federated Learning over Resource-Constrained Edge Devices [12.513477328344255]
  Federated Learning (FL)は分散機械学習(ML)のための技術である 従来のFLアルゴリズムでは、エッジで訓練されたモデルを中央サーバに定期的に送信して集約する。 我々は、デバイスが協調的なコンセンサス形成を通じてモデルアグリゲーションを行う完全分散FLのための新しい手法を開発した。
  論文  参考訳（メタデータ） (2022-11-23T00:04:05Z)
• Decentralized Training of Foundation Models in Heterogeneous Environments [77.47261769795992]
  GPT-3 や PaLM のようなトレーニング基盤モデルは、非常に高価である。 ヘテロジニアスネットワーク上での分散型システムにおけるモデル並列化を用いた大規模基盤モデルのトレーニングに関する最初の研究について述べる。
  論文  参考訳（メタデータ） (2022-06-02T20:19:51Z)
• FedILC: Weighted Geometric Mean and Invariant Gradient Covariance for Federated Learning on Non-IID Data [69.0785021613868]
  フェデレートラーニング(Federated Learning)とは、ローカルに計算されたパラメータの更新を、空間的に分散されたクライアントサイロからトレーニングデータに集約することで、共有サーバモデルによる学習を可能にする分散機械学習アプローチである。 本研究では, 勾配の共分散とヘッセンの幾何学的平均を利用して, シロ間およびシロ内成分の両方を捕捉するフェデレート不変学習一貫性(FedILC)アプローチを提案する。 これは医療、コンピュータビジョン、IoT(Internet of Things)といった様々な分野に関係している。
  論文  参考訳（メタデータ） (2022-05-19T03:32:03Z)
• Decentralized Event-Triggered Federated Learning with Heterogeneous Communication Thresholds [12.513477328344255]
  ネットワークグラフトポロジ上での非同期なイベントトリガーによるコンセンサス反復による分散モデルアグリゲーションのための新しい手法を提案する。 本手法は,分散学習とグラフコンセンサス文学における標準的な仮定の下で,グローバルな最適学習モデルを実現することを実証する。
  論文  参考訳（メタデータ） (2022-04-07T20:35:37Z)
• Clustered Federated Learning via Generalized Total Variation Minimization [83.26141667853057]
  本研究では,分散ネットワーク構造を持つローカルデータセットの局所的(あるいはパーソナライズされた)モデルを学習するための最適化手法について検討する。 我々の主要な概念的貢献は、総変動最小化(GTV)としてフェデレーション学習を定式化することである。 私たちのアルゴリズムの主な貢献は、完全に分散化されたフェデレーション学習アルゴリズムです。
  論文  参考訳（メタデータ） (2021-05-26T18:07:19Z)
• Consensus Control for Decentralized Deep Learning [72.50487751271069]
  ディープラーニングモデルの分散トレーニングは、ネットワーク上のデバイス上での学習と、大規模計算クラスタへの効率的なスケーリングを可能にする。 理論上、トレーニングコンセンサス距離が重要な量よりも低い場合、分散化されたトレーニングは集中的なトレーニングよりも早く収束することを示す。 私たちの経験的な洞察は、パフォーマンス低下を軽減するために、より分散化されたトレーニングスキームの原則設計を可能にします。
  論文  参考訳（メタデータ） (2021-02-09T13:58:33Z)
• Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
  本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。 また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
  論文  参考訳（メタデータ） (2020-12-01T11:46:03Z)
• Federated Learning with Cooperating Devices: A Consensus Approach for Massive IoT Networks [8.456633924613456]
  分散システムにおける機械学習モデルをトレーニングするための新しいパラダイムとして、フェデレートラーニング(FL)が登場している。 提案するFLアルゴリズムは,ネットワーク内のデータ操作を行うデバイスとの協調を利用して,完全に分散された(あるいはサーバレス)学習手法を提案する。 このアプローチは、分散接続とコンピューティングを特徴とするネットワークを超えて、5G 内で FL を統合するための基盤となる。
  論文  参考訳（メタデータ） (2019-12-27T15:16:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。