論文の概要: Dynamic Gradient Aggregation for Federated Domain Adaptation
- arxiv url: http://arxiv.org/abs/2106.07578v1
- Date: Mon, 14 Jun 2021 16:34:28 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-15 15:44:00.929930
- Title: Dynamic Gradient Aggregation for Federated Domain Adaptation
- Title（参考訳）: フェデレーションドメイン適応のための動的勾配アグリゲーション
- Authors: Dimitrios Dimitriadis, Kenichi Kumatani, Robert Gmyr, Yashesh Gaur and
Sefik Emre Eskimez
- Abstract要約: フェデレートラーニング(FL)のための新しい学習アルゴリズムを提案する。
提案手法は,2段階最適化を用いた重み付き勾配集約に基づいてフレキシブルなトレーニングパイプラインを提供する。
本研究では,制御・教師なし音声認識(SR)におけるFLアルゴリズムの効果について検討する。
- 参考スコア（独自算出の注目度）: 31.264050568762592
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In this paper, a new learning algorithm for Federated Learning (FL) is
introduced. The proposed scheme is based on a weighted gradient aggregation
using two-step optimization to offer a flexible training pipeline. Herein, two
different flavors of the aggregation method are presented, leading to an order
of magnitude improvement in convergence speed compared to other distributed or
FL training algorithms like BMUF and FedAvg. Further, the aggregation algorithm
acts as a regularizer of the gradient quality. We investigate the effect of our
FL algorithm in supervised and unsupervised Speech Recognition (SR) scenarios.
The experimental validation is performed based on three tasks: first, the
LibriSpeech task showing a speed-up of 7x and 6% word error rate reduction
(WERR) compared to the baseline results. The second task is based on session
adaptation providing 20% WERR over a powerful LAS model. Finally, our
unsupervised pipeline is applied to the conversational SR task. The proposed FL
system outperforms the baseline systems in both convergence speed and overall
model performance.
- Abstract（参考訳）: 本稿では,フェデレーション学習(fl)のための新しい学習アルゴリズムを提案する。
提案手法は,2段階最適化を用いた重み付き勾配集約に基づいてフレキシブルなトレーニングパイプラインを提供する。
ここでは,BMUFやFedAvgのような他の分散またはFLトレーニングアルゴリズムと比較して,収束速度が大幅に向上することを示す。
さらに、集約アルゴリズムは勾配品質の正則化として機能する。
本研究では,制御・教師なし音声認識(SR)におけるFLアルゴリズムの効果について検討する。
実験的な検証は3つのタスクに基づいて行われる: まず、ベースライン結果と比較して、7xと6%の単語誤り率削減(WERR)のスピードアップを示すLibriSpeechタスク。
第2のタスクは、強力なLASモデルに対して20%のWERRを提供するセッション適応に基づいている。
最後に、教師なしパイプラインを会話SRタスクに適用する。
提案するflシステムは、収束速度とモデル全体の性能の両方においてベースラインシステムを上回る。
関連論文リスト
- Efficient Diffusion as Low Light Enhancer [63.789138528062225]
RATR(Reflectance-Aware Trajectory Refinement)は、イメージの反射成分を用いて教師の軌跡を洗練するための、シンプルで効果的なモジュールである。
textbfReDDiT (textbfDistilled textbfTrajectory) は低照度画像強調(LLIE)に適した効率的で柔軟な蒸留フレームワークである。
論文 参考訳（メタデータ） (2024-10-16T08:07:18Z) - Adaptive Federated Learning Over the Air [108.62635460744109]
オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。
解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
論文 参考訳（メタデータ） (2024-03-11T09:10:37Z) - Optimal feature rescaling in machine learning based on neural networks [0.0]
遺伝的アルゴリズム(GA)により入力特徴の最適再スケーリング(OFR)を行う。
OFRは、トレーニングに使用される勾配ベースのアルゴリズムの条件付けを改善する入力空間を再設定する。
この手法は、実産業プロセスの結果をモデル化したFFNNでテストされている。
論文 参考訳（メタデータ） (2024-02-13T21:57:31Z) - Stochastic Unrolled Federated Learning [85.6993263983062]
本稿では,UnRolled Federated Learning (SURF)を導入する。
提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
論文 参考訳（メタデータ） (2023-05-24T17:26:22Z) - FedDA: Faster Framework of Local Adaptive Gradient Methods via Restarted
Dual Averaging [104.41634756395545]
フェデレートラーニング(Federated Learning, FL)は、大規模な分散データに取り組むための新たな学習パラダイムである。
局所適応勾配法のための新しいフレームワークである textbfFedDA を提案する。
textbfFedDA-MVR は適応FLアルゴリズムとしては初めてこの速度を実現することを示す。
論文 参考訳（メタデータ） (2023-02-13T05:10:30Z) - Faster Adaptive Federated Learning [84.38913517122619]
フェデレートラーニングは分散データの出現に伴って注目を集めている。
本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
論文 参考訳（メタデータ） (2022-12-02T05:07:50Z) - Federated Transfer Learning with Dynamic Gradient Aggregation [27.42998421786922]
本稿では,音響モデル学習のためのフェデレートラーニング(FL)シミュレーションプラットフォームを提案する。
提案するFLプラットフォームは,モジュール設計を取り入れたさまざまなタスクをサポートすることができる。
これは、収束速度と全体的なモデル性能の両方において、分散トレーニングの黄金標準よりも優れていることを示す。
論文 参考訳（メタデータ） (2020-08-06T04:29:01Z) - Communication-Efficient Distributed Stochastic AUC Maximization with
Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。
我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。
いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2020-05-05T18:08:23Z) - Weighted Aggregating Stochastic Gradient Descent for Parallel Deep
Learning [8.366415386275557]
解決策には、ニューラルネットワークモデルにおける最適化のための目的関数の修正が含まれる。
本稿では,地方労働者のパフォーマンスに基づく分散型重み付けアグリゲーション方式を提案する。
提案手法を検証するため,提案手法をいくつかの一般的なアルゴリズムと比較した。
論文 参考訳（メタデータ） (2020-04-07T23:38:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。