論文の概要: Vanishing Variance Problem in Fully Decentralized Neural-Network Systems
- arxiv url: http://arxiv.org/abs/2404.04616v1
- Date: Sat, 6 Apr 2024 12:49:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-09 20:19:42.460244
- Title: Vanishing Variance Problem in Fully Decentralized Neural-Network Systems
- Title（参考訳）: 完全分散型ニューラルネットワークシステムにおける変分問題
- Authors: Yongding Tian, Zaid Al-Ars, Maksim Kitsak, Peter Hofstee,
- Abstract要約: フェデレートラーニングとゴシップラーニングは、データプライバシの懸念を軽減するために考案された方法論だ。
本研究では,分散補正モデル平均化アルゴリズムを提案する。
シミュレーションの結果,Gossip学習は,フェデレート学習に匹敵する収束効率を実現することができることがわかった。
- 参考スコア（独自算出の注目度）: 0.8212195887472242
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated learning and gossip learning are emerging methodologies designed to mitigate data privacy concerns by retaining training data on client devices and exclusively sharing locally-trained machine learning (ML) models with others. The primary distinction between the two lies in their approach to model aggregation: federated learning employs a centralized parameter server, whereas gossip learning adopts a fully decentralized mechanism, enabling direct model exchanges among nodes. This decentralized nature often positions gossip learning as less efficient compared to federated learning. Both methodologies involve a critical step: computing a representation of received ML models and integrating this representation into the existing model. Conventionally, this representation is derived by averaging the received models, exemplified by the FedAVG algorithm. Our findings suggest that this averaging approach inherently introduces a potential delay in model convergence. We identify the underlying cause and refer to it as the "vanishing variance" problem, where averaging across uncorrelated ML models undermines the optimal variance established by the Xavier weight initialization. Unlike federated learning where the central server ensures model correlation, and unlike traditional gossip learning which circumvents this problem through model partitioning and sampling, our research introduces a variance-corrected model averaging algorithm. This novel algorithm preserves the optimal variance needed during model averaging, irrespective of network topology or non-IID data distributions. Our extensive simulation results demonstrate that our approach enables gossip learning to achieve convergence efficiency comparable to that of federated learning.
- Abstract（参考訳）: フェデレーションラーニングとゴシップラーニングは、クライアントデバイス上でトレーニングデータを保持し、ローカルにトレーニングされた機械学習(ML)モデルを他と共有することによって、データのプライバシに関する懸念を軽減するように設計されている。
フェデレートされた学習は集中型パラメータサーバを使用し、ゴシップ学習は完全な分散化メカニズムを採用し、ノード間の直接モデル交換を可能にする。
この分散された性質は、ゴシップ学習を連邦学習よりも効率の低いものと位置づけることが多い。
どちらも重要なステップで、受信したMLモデルの表現を計算し、この表現を既存のモデルに統合する。
従来、この表現は、FedAVGアルゴリズムで例示される、受信したモデルの平均化によって導かれる。
この平均化アプローチは,モデル収束の潜在的な遅延を本質的に引き起こすことが示唆された。
ここでは,Xavier重み初期化によって確立された最適分散を,非相関MLモデルの平均化が損なう「消滅的分散」問題として,その根本原因を特定し,これを「消滅的分散」問題と呼ぶ。
中央サーバがモデル相関を保証するフェデレーション学習と異なり、モデル分割とサンプリングによってこの問題を回避する従来のゴシップ学習とは異なり、本研究では分散補正モデル平均化アルゴリズムを導入している。
このアルゴリズムは,ネットワークトポロジや非IIDデータ分布に関係なく,モデル平均化に必要な最適分散を保存する。
シミュレーション結果から,Gossip学習がフェデレート学習に匹敵する収束効率を達成できることが示唆された。
関連論文リスト
- Client Contribution Normalization for Enhanced Federated Learning [4.726250115737579]
スマートフォンやラップトップを含むモバイルデバイスは、分散化された異種データを生成する。
フェデレートラーニング(FL)は、データ共有のない分散デバイス間でグローバルモデルの協調トレーニングを可能にすることで、有望な代替手段を提供する。
本稿では、FLにおけるデータ依存的不均一性に着目し、局所的に訓練されたモデルから抽出された平均潜在表現を活用する新しいアプローチを提案する。
論文 参考訳（メタデータ） (2024-11-10T04:03:09Z) - LoRA-Ensemble: Efficient Uncertainty Modelling for Self-attention Networks [52.46420522934253]
本稿では,自己注意ネットワークのためのパラメータ効率の高いディープアンサンブル手法であるLoRA-Ensembleを紹介する。
全メンバー間で重みを共有できる1つの事前学習型自己注意ネットワークを利用することで、注意投影のために、メンバー固有の低ランク行列を訓練する。
提案手法は明示的なアンサンブルよりも優れたキャリブレーションを示し,様々な予測タスクやデータセットに対して類似あるいは良好な精度を実現する。
論文 参考訳（メタデータ） (2024-05-23T11:10:32Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-22T02:12:08Z) - Aggregation Weighting of Federated Learning via Generalization Bound
Estimation [65.8630966842025]
フェデレートラーニング(FL)は通常、サンプル比率によって決定される重み付けアプローチを使用して、クライアントモデルパラメータを集約する。
上記の重み付け法を,各局所モデルの一般化境界を考慮した新しい戦略に置き換える。
論文 参考訳（メタデータ） (2023-11-10T08:50:28Z) - Deep Unfolding-based Weighted Averaging for Federated Learning in
Heterogeneous Environments [11.023081396326507]
フェデレートラーニング(Federated Learning)は、複数のクライアントによるモデル更新と、中央サーバによるアップデートの集約を反復する、協調的なモデルトレーニング手法である。
そこで本研究では, パラメータ調整法として, 深部展開法(deep unfolding)を用いる。
提案手法は,実世界の現実的なタスクを遂行できるような事前学習モデルを用いて,大規模学習モデルを扱うことができる。
論文 参考訳（メタデータ） (2022-12-23T08:20:37Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳（メタデータ） (2022-12-19T20:46:43Z) - Robust and Efficient Aggregation for Distributed Learning [37.203175053625245]
平均化に基づく分散学習スキームは、外れ値に影響を受けやすいことが知られている。
単一の悪意のあるエージェントは、平均的な分散学習アルゴリズムを任意に貧弱なモデルに駆動することができる。
これは、中央値とトリミング平均の変動に基づくロバストアグリゲーションスキームの発展を動機付けている。
論文 参考訳（メタデータ） (2022-04-01T17:17:41Z) - A Personalized Federated Learning Algorithm: an Application in Anomaly
Detection [0.6700873164609007]
フェデレートラーニング(FL)は、データプライバシと送信問題を克服する有望な方法として最近登場した。
FLでは、異なるデバイスやセンサーから収集されたデータセットを使用して、各学習を集中型モデル(サーバ)と共有するローカルモデル(クライアント)をトレーニングする。
本稿では,PC-FedAvg(Personalized FedAvg, PC-FedAvg)を提案する。
論文 参考訳（メタデータ） (2021-11-04T04:57:11Z) - Optimal Model Averaging: Towards Personalized Collaborative Learning [0.0]
連合学習では、参加ノード間のデータや目的の違いが、各ノードに対してパーソナライズされた機械学習モデルをトレーニングするためのアプローチを動機付けている。
そのようなアプローチの1つは、局所的に訓練されたモデルとグローバルモデルの間の重み付き平均化である。
局所モデルと比較して予測される2乗誤差を減少させるモデル平均化の正の量が常に存在することがわかった。
論文 参考訳（メタデータ） (2021-10-25T13:33:20Z) - Clustered Federated Learning via Generalized Total Variation
Minimization [83.26141667853057]
本研究では,分散ネットワーク構造を持つローカルデータセットの局所的(あるいはパーソナライズされた)モデルを学習するための最適化手法について検討する。
我々の主要な概念的貢献は、総変動最小化(GTV)としてフェデレーション学習を定式化することである。
私たちのアルゴリズムの主な貢献は、完全に分散化されたフェデレーション学習アルゴリズムです。
論文 参考訳（メタデータ） (2021-05-26T18:07:19Z) - Model Fusion with Kullback--Leibler Divergence [58.20269014662046]
異種データセットから学習した後続分布を融合する手法を提案する。
我々のアルゴリズムは、融合モデルと個々のデータセット後部の両方に対する平均場仮定に依存している。
論文 参考訳（メタデータ） (2020-07-13T03:27:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。