Fugu-MT 論文翻訳(概要): FedNNNN: Norm-Normalized Neural Network Aggregation for Fast and Accurate Federated Learning

論文の概要: FedNNNN: Norm-Normalized Neural Network Aggregation for Fast and Accurate Federated Learning

arxiv url: http://arxiv.org/abs/2008.04538v1
Date: Tue, 11 Aug 2020 06:21:15 GMT
ステータス: 処理完了
システム内更新日: 2022-10-31 10:47:03.462579
Title: FedNNNN: Norm-Normalized Neural Network Aggregation for Fast and Accurate Federated Learning
Title（参考訳）: FedNNNN: 高速かつ正確なフェデレーション学習のためのノーム正規化ニューラルネットワーク集約
Authors: Kenta Nagura, Song Bian and Takashi Sato
Abstract要約: フェデレートラーニング(Federated Learning, FL)は、サーバが学習プロセスを進めるために、いくつかの独立したクライアントから学んだモデルの集合を集約する必要がある分散ラーニングプロトコルである。現在、FedAvgとして知られるモデル平均化は、最も広く適応されたアグリゲーション手法の1つである。本研究では,異なるクライアントのモデルの平均化によって更新ベクトルのノルムが著しく低下し,学習速度が遅く,予測精度が低くなることを明らかにする。
参考スコア（独自算出の注目度）: 11.414092409682162
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated learning (FL) is a distributed learning protocol in which a server needs to aggregate a set of models learned some independent clients to proceed the learning process. At present, model averaging, known as FedAvg, is one of the most widely adapted aggregation techniques. However, it is known to yield the models with degraded prediction accuracy and slow convergence. In this work, we find out that averaging models from different clients significantly diminishes the norm of the update vectors, resulting in slow learning rate and low prediction accuracy. Therefore, we propose a new aggregation method called FedNNNN. Instead of simple model averaging, we adjust the norm of the update vector and introduce momentum control techniques to improve the aggregation effectiveness of FL. As a demonstration, we evaluate FedNNNN on multiple datasets and scenarios with different neural network models, and observe up to 5.4% accuracy improvement.
Abstract（参考訳）: フェデレートラーニング(Federated Learning, FL)とは、サーバが学習プロセスを進めるために学習したモデルの集合を集約する必要がある分散ラーニングプロトコルである。現在、FedAvgとして知られるモデル平均化は、最も広く適応された集約手法の1つである。しかし, 予測精度が低下し, 収束が遅いモデルが得られることが知られている。本研究では,異なるクライアントのモデルの平均化によって更新ベクトルのノルムが著しく低下し,学習速度が遅く,予測精度が低くなることを明らかにする。そこで我々はFedNNNNと呼ばれる新しいアグリゲーション手法を提案する。単純なモデル平均化の代わりに、更新ベクトルのノルムを調整し、FLのアグリゲーション効率を改善するために運動量制御技術を導入する。実演として、異なるニューラルネットワークモデルで複数のデータセットやシナリオ上でFedNNNNを評価し、最大5.4%の精度改善を観察する。

関連論文リスト

Neural Conformal Control for Time Series Forecasting [54.96087475179419]
非定常環境における適応性を高める時系列のニューラルネットワーク共形予測手法を提案する。提案手法は,ニューラルネットワークエンコーダを用いた補助的マルチビューデータを活用することにより,望ましい対象範囲を達成するために設計されたニューラルネットワークコントローラとして機能する。予測間隔の整合性に優れたキャリブレーションを組み合わさった手法は, 適用範囲と確率的精度の大幅な向上を実証的に示す。
論文参考訳（メタデータ） (2024-12-24T03:56:25Z)
From Reactive to Proactive Volatility Modeling with Hemisphere Neural Networks [0.0]
我々は,新しいニューラルネットワークアーキテクチャを用いて,マクロ経済密度予測のための最大推定値(MLE)を再活性化する。ヘミスフィアニューラルネットワーク(HNN)は、可能時の主指標に基づく積極的なボラティリティ予測と、必要時の過去の予測誤差の大きさに基づく反応性ボラティリティ予測を提供する。
論文参考訳（メタデータ） (2023-11-27T21:37:50Z)
Diffusion-Model-Assisted Supervised Learning of Generative Models for Density Estimation [10.793646707711442]
本稿では,密度推定のための生成モデルを訓練するためのフレームワークを提案する。スコアベース拡散モデルを用いてラベル付きデータを生成する。ラベル付きデータが生成されると、シンプルな完全に接続されたニューラルネットワークをトレーニングして、教師付き方法で生成モデルを学ぶことができます。
論文参考訳（メタデータ） (2023-10-22T23:56:19Z)
FedFNN: Faster Training Convergence Through Update Predictions in Federated Recommender Systems [4.4273123155989715]
フェデレートラーニング(FL)は、分散機械学習の鍵となるアプローチとして登場した。本稿では、分散モデルトレーニングを高速化するアルゴリズムであるFedFNNを紹介する。
論文参考訳（メタデータ） (2023-09-14T13:18:43Z)
On the effectiveness of partial variance reduction in federated learning with heterogeneous data [27.527995694042506]
クライアント間の最終分類層の多様性は、FedAvgアルゴリズムの性能を阻害することを示す。そこで本研究では,最終層のみの分散還元によるモデル修正を提案する。同様の通信コストや低い通信コストで既存のベンチマークを著しく上回っていることを実証する。
論文参考訳（メタデータ） (2022-12-05T11:56:35Z)
Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文参考訳（メタデータ） (2022-03-05T02:31:32Z)
Layer-wise Adaptive Model Aggregation for Scalable Federated Learning [11.669431684184536]
フェデレートラーニング(Federated Learning)では、クライアント間でローカルモデルを集約する一般的なアプローチとして、完全なモデルパラメータの定期的な平均化がある。我々は,スケーラブルなフェデレート学習のためのレイヤワイドモデルアグリゲーションスキームであるFedLAMAを提案する。
論文参考訳（メタデータ） (2021-10-19T22:49:04Z)
Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
論文参考訳（メタデータ） (2020-09-27T08:28:25Z)
RIFLE: Backpropagation in Depth for Deep Transfer Learning through Re-Initializing the Fully-connected LayEr [60.07531696857743]
事前訓練されたモデルを用いたディープ畳み込みニューラルネットワーク(CNN)の微調整は、より大きなデータセットから学習した知識をターゲットタスクに転送するのに役立つ。転送学習環境におけるバックプロパゲーションを深める戦略であるRIFLEを提案する。 RIFLEは、深いCNN層の重み付けに意味のあるアップデートをもたらし、低レベルの機能学習を改善する。
論文参考訳（メタデータ） (2020-07-07T11:27:43Z)
UVeQFed: Universal Vector Quantization for Federated Learning [179.06583469293386]
フェデレートラーニング(FL)は、ユーザがプライベートラベル付きデータを共有することなく、そのような学習モデルをトレーニングする、新たなアプローチである。 FLでは、各ユーザが学習モデルのコピーをローカルにトレーニングする。その後、サーバは個々の更新を収集し、それらをグローバルモデルに集約する。普遍ベクトル量子化法をFLと組み合わせることで、訓練されたモデルの圧縮が最小歪みのみを誘導する分散トレーニングシステムが得られることを示す。
論文参考訳（メタデータ） (2020-06-05T07:10:22Z)
Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。