論文の概要: Federated Transfer Learning with Dynamic Gradient Aggregation
- arxiv url: http://arxiv.org/abs/2008.02452v1
- Date: Thu, 6 Aug 2020 04:29:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-02 06:53:18.831695
- Title: Federated Transfer Learning with Dynamic Gradient Aggregation
- Title（参考訳）: 動的勾配アグリゲーションを用いたフェデレーション伝達学習
- Authors: Dimitrios Dimitriadis, Kenichi Kumatani, Robert Gmyr, Yashesh Gaur and
Sefik Emre Eskimez
- Abstract要約: 本稿では,音響モデル学習のためのフェデレートラーニング(FL)シミュレーションプラットフォームを提案する。
提案するFLプラットフォームは,モジュール設計を取り入れたさまざまなタスクをサポートすることができる。
これは、収束速度と全体的なモデル性能の両方において、分散トレーニングの黄金標準よりも優れていることを示す。
- 参考スコア（独自算出の注目度）: 27.42998421786922
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In this paper, a Federated Learning (FL) simulation platform is introduced.
The target scenario is Acoustic Model training based on this platform. To our
knowledge, this is the first attempt to apply FL techniques to Speech
Recognition tasks due to the inherent complexity. The proposed FL platform can
support different tasks based on the adopted modular design. As part of the
platform, a novel hierarchical optimization scheme and two gradient aggregation
methods are proposed, leading to almost an order of magnitude improvement in
training convergence speed compared to other distributed or FL training
algorithms like BMUF and FedAvg. The hierarchical optimization offers
additional flexibility in the training pipeline besides the enhanced
convergence speed. On top of the hierarchical optimization, a dynamic gradient
aggregation algorithm is proposed, based on a data-driven weight inference.
This aggregation algorithm acts as a regularizer of the gradient quality.
Finally, an unsupervised training pipeline tailored to FL is presented as a
separate training scenario. The experimental validation of the proposed system
is based on two tasks: first, the LibriSpeech task showing a speed-up of 7x and
6% Word Error Rate reduction (WERR) compared to the baseline results. The
second task is based on session adaptation providing an improvement of 20% WERR
over a competitive production-ready LAS model. The proposed Federated Learning
system is shown to outperform the golden standard of distributed training in
both convergence speed and overall model performance.
- Abstract（参考訳）: 本稿では,連邦学習(FL)シミュレーションプラットフォームについて述べる。
ターゲットシナリオは、このプラットフォームに基づく音響モデルのトレーニングである。
私たちの知る限りでは、固有の複雑さのために音声認識タスクにfl技術を適用する最初の試みです。
提案するFLプラットフォームは,モジュール設計を取り入れたさまざまなタスクをサポートすることができる。
プラットフォームの一部として,新しい階層的最適化手法と2つの勾配集約法が提案され,bmufやfedavgなど他の分散型およびfl型トレーニングアルゴリズムと比較して,トレーニング収束速度がほぼ1桁向上した。
階層最適化は、収束速度の向上に加えて、トレーニングパイプラインにさらなる柔軟性を提供する。
階層的最適化に加えて,データ駆動重み推定に基づく動的勾配集約アルゴリズムを提案する。
この集約アルゴリズムは勾配品質の正則化として機能する。
最後に、flに合わせた教師なしのトレーニングパイプラインを個別のトレーニングシナリオとして提示する。
提案システムの実験的検証は2つのタスクに基づいている: まず, ベースライン結果と比較して, 速度が7倍, 6%の単語誤り率低減(werr)を示すlibrispeechタスクである。
第2のタスクはセッション適応に基づいており、競争力のある生産可能なLASモデルよりも20%のWERRを改善する。
提案するフェデレーション学習システムは,収束速度とモデル全体の性能の両方において,分散トレーニングの黄金水準を上回っている。
関連論文リスト
- Efficient Stagewise Pretraining via Progressive Subnetworks [53.00045381931778]
一般的な見方では、レイヤのドロップのような段階的なドロップ戦略は、スタック方式のアプローチと比べて効果がない。
本稿では, 適切な設計で, 戦略の廃止は, 積み重ね手法よりも競争力があることを示すことによって, この概念に挑戦する。
本稿では,各ステップでランダムサブネットワークのみを選択し,訓練し,段階的に拡大するランダムパートトレーニング(RAPTR)を提案する。
論文 参考訳（メタデータ） (2024-02-08T18:49:09Z) - Semi-Federated Learning: Convergence Analysis and Optimization of A
Hybrid Learning Framework [70.83511997272457]
本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。
我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
論文 参考訳（メタデータ） (2023-10-04T03:32:39Z) - Vertical Federated Learning over Cloud-RAN: Convergence Analysis and
System Optimization [82.12796238714589]
高速かつ正確なモデルアグリゲーションを実現するために,クラウド無線アクセスネットワーク(Cloud-RAN)ベースの垂直FLシステムを提案する。
アップリンクとダウンリンクの両方の伝送を考慮した垂直FLアルゴリズムの収束挙動を特徴付ける。
我々は,連続凸近似と代替凸探索に基づくシステム最適化アルゴリズムを開発した,連系トランシーバとフロントホール量子化設計によるシステム最適化フレームワークを構築した。
論文 参考訳（メタデータ） (2023-05-04T09:26:03Z) - FedDA: Faster Framework of Local Adaptive Gradient Methods via Restarted
Dual Averaging [104.41634756395545]
フェデレートラーニング(Federated Learning, FL)は、大規模な分散データに取り組むための新たな学習パラダイムである。
局所適応勾配法のための新しいフレームワークである textbfFedDA を提案する。
textbfFedDA-MVR は適応FLアルゴリズムとしては初めてこの速度を実現することを示す。
論文 参考訳（メタデータ） (2023-02-13T05:10:30Z) - Faster Adaptive Federated Learning [84.38913517122619]
フェデレートラーニングは分散データの出現に伴って注目を集めている。
本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
論文 参考訳（メタデータ） (2022-12-02T05:07:50Z) - Performance Optimization for Variable Bitwidth Federated Learning in
Wireless Networks [103.22651843174471]
本稿では,モデル量子化による統合学習(FL)における無線通信と計算効率の向上について考察する。
提案したビット幅FL方式では,エッジデバイスは局所FLモデルパラメータの量子化バージョンを調整し,コーディネートサーバに送信し,それらを量子化されたグローバルモデルに集約し,デバイスを同期させる。
FLトレーニングプロセスはマルコフ決定プロセスとして記述でき、反復よりも行動選択を最適化するためのモデルベース強化学習(RL)手法を提案する。
論文 参考訳（メタデータ） (2022-09-21T08:52:51Z) - Dynamic Gradient Aggregation for Federated Domain Adaptation [31.264050568762592]
フェデレートラーニング(FL)のための新しい学習アルゴリズムを提案する。
提案手法は,2段階最適化を用いた重み付き勾配集約に基づいてフレキシブルなトレーニングパイプラインを提供する。
本研究では,制御・教師なし音声認識(SR)におけるFLアルゴリズムの効果について検討する。
論文 参考訳（メタデータ） (2021-06-14T16:34:28Z) - Federated Learning via Intelligent Reflecting Surface [30.935389187215474]
オーバー・ザ・エア・コンピューティング・アルゴリズム(FL)は,複数のアクセスチャネルの波形重畳特性を利用して高速なモデルアグリゲーションを実現することができる。
本稿では,AirCompベースのFLのための高速かつ信頼性の高いモデルアグリゲーションを実現するための2段階最適化フレームワークを提案する。
シミュレーションの結果,提案するフレームワークとIRSの展開により,ベースラインアルゴリズムよりもトレーニング損失が低く,FL予測精度も高いことがわかった。
論文 参考訳（メタデータ） (2020-11-10T11:29:57Z) - Weighted Aggregating Stochastic Gradient Descent for Parallel Deep
Learning [8.366415386275557]
解決策には、ニューラルネットワークモデルにおける最適化のための目的関数の修正が含まれる。
本稿では,地方労働者のパフォーマンスに基づく分散型重み付けアグリゲーション方式を提案する。
提案手法を検証するため,提案手法をいくつかの一般的なアルゴリズムと比較した。
論文 参考訳（メタデータ） (2020-04-07T23:38:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。