論文の概要: Federated Learning with Matched Averaging

• arxiv url: http://arxiv.org/abs/2002.06440v1
• Date: Sat, 15 Feb 2020 20:09:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-31 22:51:40.444283
• Title: Federated Learning with Matched Averaging
• Title（参考訳）: マッチング平均化によるフェデレーション学習
• Authors: Hongyi Wang, Mikhail Yurochkin, Yuekai Sun, Dimitris Papailiopoulos, Yasaman Khazaeni
• Abstract要約: フェデレートされた学習により、エッジデバイスは、トレーニングデータをデバイスに保持しながら、共有モデルを共同で学習することができる。 本稿では,現代のニューラルネットワークアーキテクチャのフェデレーション学習を目的としたフェデレーションマッチング平均化(FedMA)アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 43.509797844077426
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning allows edge devices to collaboratively learn a shared model while keeping the training data on device, decoupling the ability to do model training from the need to store the data in the cloud. We propose Federated matched averaging (FedMA) algorithm designed for federated learning of modern neural network architectures e.g. convolutional neural networks (CNNs) and LSTMs. FedMA constructs the shared global model in a layer-wise manner by matching and averaging hidden elements (i.e. channels for convolution layers; hidden states for LSTM; neurons for fully connected layers) with similar feature extraction signatures. Our experiments indicate that FedMA not only outperforms popular state-of-the-art federated learning algorithms on deep CNN and LSTM architectures trained on real world datasets, but also reduces the overall communication burden.
• Abstract（参考訳）: フェデレーション学習(federated learning)は、エッジデバイスが共有モデルを共同的に学習し、トレーニングデータをデバイスに保持し、モデルトレーニングをクラウドに格納する必要性から切り離すことを可能にする。 本稿では、畳み込みニューラルネットワーク(CNN)やLSTMといった現代のニューラルネットワークアーキテクチャのフェデレーション学習を目的としたフェデレーションマッチング平均化(FedMA)アルゴリズムを提案する。 FedMAは、共通グローバルモデルを構築し、同様の特徴抽出シグネチャを持つ隠れた要素(畳み込み層のチャネル、LSTMの隠れ状態、完全に接続された層のためのニューロン)をマッチングし、平均化する。 実験の結果,FedMAは,実世界のデータセットで訓練された深層CNNおよびLSTMアーキテクチャ上で,最先端のフェデレーション学習アルゴリズムよりも優れるだけでなく,全体の通信負担を軽減することがわかった。

関連論文リスト

• Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
  同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。 一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。 本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
  論文  参考訳（メタデータ） (2024-03-27T09:14:36Z)
• Toward efficient resource utilization at edge nodes in federated learning [0.6990493129893112]
  フェデレートされた学習により、エッジノードは、データを共有することなく、グローバルモデルの構築に協力的に貢献することができる。 計算リソースの制約とネットワーク通信は、ディープラーニングアプリケーションに典型的なより大きなモデルサイズにとって、深刻なボトルネックになる可能性がある。 デバイス上での資源利用を減らすため,転送学習にインスパイアされたFL戦略を提案し,評価する。
  論文  参考訳（メタデータ） (2023-09-19T07:04:50Z)
• FedPNN: One-shot Federated Classification via Evolving Clustering Method and Probabilistic Neural Network hybrid [4.241208172557663]
  本稿では,プライバシ保護を指向した2段階のフェデレーション学習手法を提案する。 第1段階では、2つの異なる分布をノイズとして利用して合成データセットを生成する。 第2段階では,FedPNN(Federated Probabilistic Neural Network)が開発され,グローバルに共有する分類モデルの構築に利用されている。
  論文  参考訳（メタデータ） (2023-04-09T03:23:37Z)
• FedIN: Federated Intermediate Layers Learning for Model Heterogeneity [7.781409257429762]
  フェデレートラーニング(FL)は、エッジデバイスがローカルおよびプライベートにトレーニングデータを維持しながら、グローバルな共有モデルを協調的にトレーニングすることを促進する。 本研究では,FedIN(Federated Intermediate Layers Learning)と呼ばれるFL手法を提案する。 実験結果から, 異種モデル環境におけるFedINの性能は, 最先端のアルゴリズムと比較して優れていた。
  論文  参考訳（メタデータ） (2023-04-03T07:20:43Z)
• FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
  フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。 我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。 そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
  論文  参考訳（メタデータ） (2022-07-20T04:55:18Z)
• FedDKD: Federated Learning with Decentralized Knowledge Distillation [3.9084449541022055]
  分散知識蒸留法(FedDKD)を応用した新しいフェデレートラーニングフレームワークを提案する。 我々は、FedDKDが、いくつかのDKDステップにおいて、より効率的なコミュニケーションと訓練により最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-05-02T07:54:07Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• Probabilistic Federated Learning of Neural Networks Incorporated with Global Posterior Information [4.067903810030317]
  フェデレートラーニングでは、ローカルクライアントで訓練されたモデルをグローバルモデルに蒸留する。 本稿では,確率的フェデレーションニューラルネットワークの拡張手法を提案する。 我々の新しい手法は、単一のコミュニケーションラウンドと追加のコミュニケーションラウンドの両方において、一般的な最先端のフェデレーション学習方法より優れています。
  論文  参考訳（メタデータ） (2020-12-06T03:54:58Z)
• Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
  本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。 また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
  論文  参考訳（メタデータ） (2020-12-01T11:46:03Z)
• From Federated to Fog Learning: Distributed Machine Learning over Heterogeneous Wireless Networks [71.23327876898816]
  フェデレートラーニング(Federated Learning)は、データを収集するノード間で処理能力を活用することによって、ネットワークエッジでMLモデルをトレーニングするテクニックとして登場した。 我々は、エッジデバイスからクラウドサーバへのノード連続体にMLモデルのトレーニングをインテリジェントに分散する、フォグラーニングと呼ばれる新しい学習パラダイムを提唱する。
  論文  参考訳（メタデータ） (2020-06-07T05:11:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。