Fugu-MT 論文翻訳(概要): Federated Learning of Large ASR Models in the Real World

論文の概要: Federated Learning of Large ASR Models in the Real World

arxiv url: http://arxiv.org/abs/2408.10443v1
Date: Mon, 19 Aug 2024 22:44:10 GMT
ステータス: 処理完了
システム内更新日: 2024-08-21 17:33:21.613245
Title: Federated Learning of Large ASR Models in the Real World
Title（参考訳）: 実世界における大規模ASRモデルのフェデレーション学習
Authors: Yonghui Xiao, Yuxin Ding, Changwan Ryu, Petr Zadrazil, Francoise Beaufays,
Abstract要約: フェデレーション学習は、プライバシ保護を伴う機械学習モデルのトレーニングにおいて有望な結果を示している。 1億以上のパラメータを持つ大規模モデルでは、共通デバイスはFLタスクを完了するのに十分なメモリと計算能力を持っていないため、FLのトレーニングリソース要件が障害となる。本稿では,約130MパラメータのフルサイズASRモデルをFLで学習するための体系的解を提案する。
参考スコア（独自算出の注目度）: 4.153518001344824
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated learning (FL) has shown promising results on training machine learning models with privacy preservation. However, for large models with over 100 million parameters, the training resource requirement becomes an obstacle for FL because common devices do not have enough memory and computation power to finish the FL tasks. Although efficient training methods have been proposed, it is still a challenge to train the large models like Conformer based ASR. This paper presents a systematic solution to train the full-size ASR models of 130M parameters with FL. To our knowledge, this is the first real-world FL application of the Conformer model, which is also the largest model ever trained with FL so far. And this is the first paper showing FL can improve the ASR model quality with a set of proposed methods to refine the quality of data and labels of clients. We demonstrate both the training efficiency and the model quality improvement in real-world experiments.
Abstract（参考訳）: フェデレートラーニング(FL)は、プライバシ保護を伴う機械学習モデルのトレーニングにおいて有望な結果を示している。しかし,1億以上のパラメータを持つ大規模モデルでは,共通デバイスはFLタスクを完了するのに十分なメモリと計算能力を持っていないため,トレーニングリソースの要求がFLの障害となる。効率的なトレーニング手法が提案されているが、ConformerベースのASRのような大規模なモデルをトレーニングすることは依然として困難である。本稿では,約130MパラメータのフルサイズASRモデルをFLで学習するための体系的解を提案する。われわれの知る限り、これは Conformer モデルの最初の現実世界の FL アプリケーションであり、これはこれまで FL で訓練された最大のモデルでもある。 FLがASRモデルの品質を向上できることを示す最初の論文であり、データの品質とクライアントのラベルを改良するための一連の手法を提案する。実環境実験におけるトレーニング効率とモデル品質改善の両立を実証する。

関連論文リスト

Embracing Federated Learning: Enabling Weak Client Participation via Partial Model Training [21.89214794178211]
フェデレートラーニング(FL)では、クライアントは完全なモデルをトレーニングしたり、メモリ空間に保持することができない弱いデバイスを持っているかもしれない。我々は、すべての利用可能なクライアントが分散トレーニングに参加することを可能にする、一般的なFLフレームワークであるEnbracingFLを提案する。実験により,FL の導入は,すべてのクライアントが強力であるように常に高い精度を達成し,最先端の幅削減手法よりも優れていた。
論文参考訳（メタデータ） (2024-06-21T13:19:29Z)
Getting More Juice Out of the SFT Data: Reward Learning from Human Demonstration Improves SFT for LLM Alignment [65.15914284008973]
我々は、報酬モデルと政策モデルを同時に構築するために、逆強化学習(IRL)技術を活用することを提案する。提案アルゴリズムはIRL問題の定常解に収束することを示す。その結果,アライメントプロセス全体を通じて報酬学習を活用することは有益であることが示唆された。
論文参考訳（メタデータ） (2024-05-28T07:11:05Z)
A Survey on Efficient Federated Learning Methods for Foundation Model Training [62.473245910234304]
フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。 Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。 FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
論文参考訳（メタデータ） (2024-01-09T10:22:23Z)
Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。 FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
論文参考訳（メタデータ） (2023-11-12T11:01:10Z)
Deep Equilibrium Models Meet Federated Learning [71.57324258813675]
本研究では,従来の深層学習ネットワークの代わりにDeep Equilibrium(DEQ)モデルを用いて,フェデレートラーニング(FL)問題について検討する。我々は、DECモデルをフェデレート学習フレームワークに組み込むことで、FLのいくつかのオープンな問題に自然に対処できると主張している。我々の知る限りでは、この研究は、DECモデルとフェデレーションラーニングの関連性を確立する最初のものである。
論文参考訳（メタデータ） (2023-05-29T22:51:40Z)
FedTune: A Deep Dive into Efficient Federated Fine-Tuning with Pre-trained Transformers [16.465900409973656]
Federated Learning(FL)は、分散型ユーザがプライベートデータを共有せずに、協調的かつ反復的に機械学習モデルをトレーニングすることを可能にする、新興パラダイムである。研究者たちは、FLの従来の畳み込みニューラルネットワークの代わりに、事前訓練されたトランスフォーマーを使用して、優れたトランスフォーマー学習能力を活用しようとしている。本手法は高速収束率と通信コストの低減に有効であることを示す。
論文参考訳（メタデータ） (2022-11-15T10:16:13Z)
FedOBD: Opportunistic Block Dropout for Efficiently Training Large-scale Neural Networks through Federated Learning [18.357577491590686]
本稿では,大規模ニューラルネットワークを学習するためのFedOBD(Federated Opportunistic Block Dropout)アプローチを提案する。 FedOBDは大規模モデルをセマンティックブロックに分解し、FL参加者が偶然に量子化されたブロックをアップロードできるようにする。実験によると、FedOBDは最高のパフォーマンスのベースラインアプローチに比べて、全体の通信オーバーヘッドを88%以上削減している。
論文参考訳（メタデータ） (2022-08-10T06:36:49Z)
Efficient Split-Mix Federated Learning for On-Demand and In-Situ Customization [107.72786199113183]
フェデレートラーニング(FL)は、複数の参加者が生データを共有せずに学習をコラボレーションするための分散ラーニングフレームワークを提供する。本稿では, モデルサイズとロバスト性をその場でカスタマイズできる, 不均一な参加者のための新しいスプリット・ミクス・FL戦略を提案する。
論文参考訳（メタデータ） (2022-03-18T04:58:34Z)
No One Left Behind: Inclusive Federated Learning over Heterogeneous Devices [79.16481453598266]
この問題に対処するクライアント包摂的フェデレーション学習手法であるInclusiveFLを提案する。 InclusiveFLの中核となる考え方は、異なるサイズのモデルを異なる計算能力を持つクライアントに割り当てることである。また,異なる大きさの複数の局所モデル間で知識を共有する効果的な手法を提案する。
論文参考訳（メタデータ） (2022-02-16T13:03:27Z)
A Multi-agent Reinforcement Learning Approach for Efficient Client Selection in Federated Learning [17.55163940659976]
Federated Learning(FL)は、クライアントデバイスが共有モデルを共同で学習することを可能にするトレーニングテクニックである。モデル精度、処理遅延、通信効率を協調的に最適化する効率的なFLフレームワークを設計する。実験により、FedMarlは処理遅延と通信コストを大幅に削減して、モデルの精度を大幅に改善できることが示された。
論文参考訳（メタデータ） (2022-01-09T05:55:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。