論文の概要: Impact of network topology on the performance of Decentralized Federated Learning

• arxiv url: http://arxiv.org/abs/2402.18606v1
• Date: Wed, 28 Feb 2024 11:13:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-01 17:14:20.369175
• Title: Impact of network topology on the performance of Decentralized Federated Learning
• Title（参考訳）: ネットワークトポロジが分散型フェデレーション学習の性能に及ぼす影響
• Authors: Luigi Palmieri and Chiara Boldrini and Lorenzo Valerio and Andrea Passarella and Marco Conti
• Abstract要約: 分散機械学習は、インフラストラクチャの課題とプライバシの懸念に対処し、勢いを増している。 本研究では,3つのネットワークトポロジと6つのデータ分散手法を用いて,ネットワーク構造と学習性能の相互作用について検討する。 モデル集約時の希釈効果に起因する周辺ノードから中心ノードへの知識伝達の課題を強調した。
• 参考スコア（独自算出の注目度）: 4.618221836001186
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fully decentralized learning is gaining momentum for training AI models at the Internet's edge, addressing infrastructure challenges and privacy concerns. In a decentralized machine learning system, data is distributed across multiple nodes, with each node training a local model based on its respective dataset. The local models are then shared and combined to form a global model capable of making accurate predictions on new data. Our exploration focuses on how different types of network structures influence the spreading of knowledge - the process by which nodes incorporate insights gained from learning patterns in data available on other nodes across the network. Specifically, this study investigates the intricate interplay between network structure and learning performance using three network topologies and six data distribution methods. These methods consider different vertex properties, including degree centrality, betweenness centrality, and clustering coefficient, along with whether nodes exhibit high or low values of these metrics. Our findings underscore the significance of global centrality metrics (degree, betweenness) in correlating with learning performance, while local clustering proves less predictive. We highlight the challenges in transferring knowledge from peripheral to central nodes, attributed to a dilution effect during model aggregation. Additionally, we observe that central nodes exert a pull effect, facilitating the spread of knowledge. In examining degree distribution, hubs in Barabasi-Albert networks positively impact learning for central nodes but exacerbate dilution when knowledge originates from peripheral nodes. Finally, we demonstrate the formidable challenge of knowledge circulation outside of segregated communities.
• Abstract（参考訳）: 完全な分散学習は、インフラストラクチャの課題とプライバシの懸念に対処しながら、インターネットの端でAIモデルをトレーニングするための勢いを増している。 分散機械学習システムでは、データは複数のノードに分散され、各ノードはそのデータセットに基づいてローカルモデルをトレーニングする。 ローカルモデルは共有され、新しいデータに対して正確な予測を行うことができるグローバルモデルを形成する。 我々の調査は、異なるタイプのネットワーク構造が、ネットワーク上の他のノードで利用可能なデータの学習パターンから得られる洞察をノードが取り入れた知識の拡散にどのように影響するかに焦点を当てている。 具体的には,3つのネットワークトポロジと6つのデータ分散手法を用いて,ネットワーク構造と学習性能の複雑な相互作用について検討する。 これらの手法は、ノードがこれらの指標の高い値または低い値を示すかどうかとともに、次数中心性、相互中心性、クラスタリング係数を含む異なる頂点特性を考察する。 この結果から,グローバル集中度指標(度数,度数)が学習性能に関連し,局所クラスタリングの予測精度は低下することが示唆された。 モデル集約時の希釈効果に起因する周辺ノードから中央ノードへの知識伝達における課題を強調する。 さらに,中央ノードがプル効果を発揮し,知識の普及を促進することも観察した。 次数分布を調べる際、バラバシ・アルベルトネットワークのハブは中央ノードの学習に正の影響を与えるが、周辺ノードから知識が生まれると希釈が悪化する。 最後に,地域社会以外での知識循環の困難さを実証する。

関連論文リスト

• Robustness of Decentralised Learning to Nodes and Data Disruption [4.062458976723649]
  ノードの破壊が集団学習過程に及ぼす影響について検討する。 その結果,分散学習プロセスはネットワーク破壊に対して極めて堅牢であることがわかった。
  論文  参考訳（メタデータ） (2024-05-03T12:14:48Z)
• Initialisation and Network Effects in Decentralised Federated Learning [1.5961625979922607]
  分散フェデレーション学習は、通信デバイスの分散ネットワーク上で、個々の機械学習モデルの協調トレーニングを可能にする。 このアプローチは、集中的な調整を避け、データのプライバシを高め、単一障害点のリスクを取り除く。 本稿では,基盤となる通信ネットワークの固有ベクトル集中度分布に基づく,ニューラルネットワークの非協調初期化戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-23T14:24:36Z)
• An effective theory of collective deep learning [1.3812010983144802]
  我々は、近年の分散化アルゴリズムを凝縮する最小限のモデルを導入する。 線形ネットワークの有効理論を導出し、我々のシステムの粗粒度挙動が変形したギンズバーグ・ランダウモデルと等価であることを示す。 MNISTデータセットで訓練された現実的なニューラルネットワークの結合アンサンブルで理論を検証した。
  論文  参考訳（メタデータ） (2023-10-19T14:58:20Z)
• The effect of network topologies on fully decentralized learning: a preliminary investigation [2.9592782993171918]
  分散機械学習システムでは、データは複数のデバイスまたはノードに分割され、それぞれが独自のデータを使用してローカルモデルをトレーニングする。 異なるタイプのトポロジが「知識の拡散」に与える影響について検討する。 具体的には、多かれ少なかれ連結されたノード(ハーブと葉)のこのプロセスにおける異なる役割を強調します。
  論文  参考訳（メタデータ） (2023-07-29T09:39:17Z)
• Distributed Learning over Networks with Graph-Attention-Based Personalization [49.90052709285814]
  分散ディープラーニングのためのグラフベースパーソナライズアルゴリズム(GATTA)を提案する。 特に、各エージェントのパーソナライズされたモデルは、グローバルな部分とノード固有の部分で構成される。 グラフ内の各エージェントを1つのノードとして扱うことにより、ノード固有のパラメータを特徴として扱うことにより、グラフアテンション機構の利点を継承することができる。
  論文  参考訳（メタデータ） (2023-05-22T13:48:30Z)
• FedILC: Weighted Geometric Mean and Invariant Gradient Covariance for Federated Learning on Non-IID Data [69.0785021613868]
  フェデレートラーニング(Federated Learning)とは、ローカルに計算されたパラメータの更新を、空間的に分散されたクライアントサイロからトレーニングデータに集約することで、共有サーバモデルによる学習を可能にする分散機械学習アプローチである。 本研究では, 勾配の共分散とヘッセンの幾何学的平均を利用して, シロ間およびシロ内成分の両方を捕捉するフェデレート不変学習一貫性(FedILC)アプローチを提案する。 これは医療、コンピュータビジョン、IoT(Internet of Things)といった様々な分野に関係している。
  論文  参考訳（メタデータ） (2022-05-19T03:32:03Z)
• FedDKD: Federated Learning with Decentralized Knowledge Distillation [3.9084449541022055]
  分散知識蒸留法(FedDKD)を応用した新しいフェデレートラーニングフレームワークを提案する。 我々は、FedDKDが、いくつかのDKDステップにおいて、より効率的なコミュニケーションと訓練により最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-05-02T07:54:07Z)
• Anomaly Detection on Attributed Networks via Contrastive Self-Supervised Learning [50.24174211654775]
  本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。 このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。 高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
  論文  参考訳（メタデータ） (2021-02-27T03:17:20Z)
• Consensus Control for Decentralized Deep Learning [72.50487751271069]
  ディープラーニングモデルの分散トレーニングは、ネットワーク上のデバイス上での学習と、大規模計算クラスタへの効率的なスケーリングを可能にする。 理論上、トレーニングコンセンサス距離が重要な量よりも低い場合、分散化されたトレーニングは集中的なトレーニングよりも早く収束することを示す。 私たちの経験的な洞察は、パフォーマンス低下を軽減するために、より分散化されたトレーニングスキームの原則設計を可能にします。
  論文  参考訳（メタデータ） (2021-02-09T13:58:33Z)
• Quasi-Global Momentum: Accelerating Decentralized Deep Learning on Heterogeneous Data [77.88594632644347]
  ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。 現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。 本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-02-09T11:27:14Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。