論文の概要: Initialisation and Topology Effects in Decentralised Federated Learning

• arxiv url: http://arxiv.org/abs/2403.15855v1
• Date: Sat, 23 Mar 2024 14:24:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-26 20:42:03.580977
• Title: Initialisation and Topology Effects in Decentralised Federated Learning
• Title（参考訳）: 分散化フェデレーション学習における初期化とトポロジー効果
• Authors: Arash Badie-Modiri, Chiara Boldrini, Lorenzo Valerio, János Kertész, Márton Karsai,
• Abstract要約: 分散フェデレーション学習は、ネットワーク上の分散デバイス上で、個々の機械学習モデルの協調トレーニングを可能にする。 このアプローチはデータのプライバシを高め、単一障害点と集中的な調整の必要性を排除します。
• 参考スコア（独自算出の注目度）: 1.5961625979922607
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fully decentralised federated learning enables collaborative training of individual machine learning models on distributed devices on a network while keeping the training data localised. This approach enhances data privacy and eliminates both the single point of failure and the necessity for central coordination. Our research highlights that the effectiveness of decentralised federated learning is significantly influenced by the network topology of connected devices. A simplified numerical model for studying the early behaviour of these systems leads us to an improved artificial neural network initialisation strategy, which leverages the distribution of eigenvector centralities of the nodes of the underlying network, leading to a radically improved training efficiency. Additionally, our study explores the scaling behaviour and choice of environmental parameters under our proposed initialisation strategy. This work paves the way for more efficient and scalable artificial neural network training in a distributed and uncoordinated environment, offering a deeper understanding of the intertwining roles of network structure and learning dynamics.
• Abstract（参考訳）: 完全に分散化されたフェデレーション学習は、トレーニングデータをローカライズしながら、ネットワーク上の分散デバイス上の個々の機械学習モデルの協調トレーニングを可能にする。 このアプローチはデータのプライバシを高め、単一障害点と集中的な調整の必要性を排除します。 本研究は,分散化フェデレーション学習の有効性が,コネクテッドデバイスのネットワークトポロジに大きく影響していることを明らかにする。 これらのシステムの初期の動作を研究するための単純化された数値モデルにより、基礎となるネットワークノードの固有ベクトル集中度分布を活用する改良されたニューラルネットワーク初期化戦略が実現され、学習効率が劇的に向上する。 さらに,提案した初期化戦略に基づき,環境パラメータのスケーリング行動と選択について検討した。 この研究は、分散された非協調的な環境でのより効率的でスケーラブルな人工知能ニューラルネットワークトレーニングの道を開き、ネットワーク構造と学習ダイナミクスの相互の役割についてより深く理解する。

関連論文リスト

• Peer-to-Peer Learning Dynamics of Wide Neural Networks [10.179711440042123]
  我々は,一般的なDGDアルゴリズムを用いて学習した広範ニューラルネットワークの学習力学を,明示的で非漸近的に特徴づける。 我々は,誤りや誤りを正確に予測し,分析結果を検証した。
  論文  参考訳（メタデータ） (2024-09-23T17:57:58Z)
• Proximity-based Self-Federated Learning [1.0066310107046081]
  本稿では,近接型自己フェデレーション学習という,新しい完全分散型フェデレーション学習戦略を提案する。 従来のアルゴリズムとは異なり、我々の手法は、地理的近接とモデル精度に基づいて、クライアントが近隣ノードとモデルを共有し、調整することを奨励する。
  論文  参考訳（メタデータ） (2024-07-17T08:44:45Z)
• Impact of network topology on the performance of Decentralized Federated Learning [4.618221836001186]
  分散機械学習は、インフラストラクチャの課題とプライバシの懸念に対処し、勢いを増している。 本研究では,3つのネットワークトポロジと6つのデータ分散手法を用いて,ネットワーク構造と学習性能の相互作用について検討する。 モデル集約時の希釈効果に起因する周辺ノードから中心ノードへの知識伝達の課題を強調した。
  論文  参考訳（メタデータ） (2024-02-28T11:13:53Z)
• An effective theory of collective deep learning [1.3812010983144802]
  我々は、近年の分散化アルゴリズムを凝縮する最小限のモデルを導入する。 線形ネットワークの有効理論を導出し、我々のシステムの粗粒度挙動が変形したギンズバーグ・ランダウモデルと等価であることを示す。 MNISTデータセットで訓練された現実的なニューラルネットワークの結合アンサンブルで理論を検証した。
  論文  参考訳（メタデータ） (2023-10-19T14:58:20Z)
• Learning Structures for Deep Neural Networks [99.8331363309895]
  我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。 スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。 公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
  論文  参考訳（メタデータ） (2021-05-27T12:27:24Z)
• Consensus Control for Decentralized Deep Learning [72.50487751271069]
  ディープラーニングモデルの分散トレーニングは、ネットワーク上のデバイス上での学習と、大規模計算クラスタへの効率的なスケーリングを可能にする。 理論上、トレーニングコンセンサス距離が重要な量よりも低い場合、分散化されたトレーニングは集中的なトレーニングよりも早く収束することを示す。 私たちの経験的な洞察は、パフォーマンス低下を軽減するために、より分散化されたトレーニングスキームの原則設計を可能にします。
  論文  参考訳（メタデータ） (2021-02-09T13:58:33Z)
• Quasi-Global Momentum: Accelerating Decentralized Deep Learning on Heterogeneous Data [77.88594632644347]
  ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。 現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。 本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-02-09T11:27:14Z)
• Toward Multiple Federated Learning Services Resource Sharing in Mobile Edge Networks [88.15736037284408]
  本稿では,マルチアクセスエッジコンピューティングサーバにおいて,複数のフェデレーション付き学習サービスの新たなモデルについて検討する。 共同資源最適化とハイパーラーニング率制御の問題,すなわちMS-FEDLを提案する。 シミュレーションの結果,提案アルゴリズムの収束性能を実証した。
  論文  参考訳（メタデータ） (2020-11-25T01:29:41Z)
• A Low Complexity Decentralized Neural Net with Centralized Equivalence using Layer-wise Learning [49.15799302636519]
  我々は、分散処理ノード(労働者)で最近提案された大規模ニューラルネットワークをトレーニングするために、低複雑性分散学習アルゴリズムを設計する。 我々の設定では、トレーニングデータは作業者間で分散されるが、プライバシやセキュリティ上の懸念からトレーニングプロセスでは共有されない。 本研究では,データが一箇所で利用可能であるかのように,等価な学習性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-09-29T13:08:12Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Federated Learning with Cooperating Devices: A Consensus Approach for Massive IoT Networks [8.456633924613456]
  分散システムにおける機械学習モデルをトレーニングするための新しいパラダイムとして、フェデレートラーニング(FL)が登場している。 提案するFLアルゴリズムは,ネットワーク内のデータ操作を行うデバイスとの協調を利用して,完全に分散された(あるいはサーバレス)学習手法を提案する。 このアプローチは、分散接続とコンピューティングを特徴とするネットワークを超えて、5G 内で FL を統合するための基盤となる。
  論文  参考訳（メタデータ） (2019-12-27T15:16:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。