Fugu-MT 論文翻訳(概要): Scaling Language Model Size in Cross-Device Federated Learning

論文の概要: Scaling Language Model Size in Cross-Device Federated Learning

arxiv url: http://arxiv.org/abs/2204.09715v1
Date: Thu, 31 Mar 2022 15:51:53 GMT
ステータス: 処理完了
システム内更新日: 2022-04-24 16:47:14.902789
Title: Scaling Language Model Size in Cross-Device Federated Learning
Title（参考訳）: クロスデバイスフェデレーション学習における言語モデルサイズのスケーリング
Authors: Jae Hun Ro, Theresa Breiner, Lara McConnaughey, Mingqing Chen, Ananda Theertha Suresh, Shankar Kumar, Rajiv Mathews
Abstract要約: サーバ側通信やデバイス上での計算ボトルネックの軽減に,さまざまな手法を活用している。部分モデルトレーニング、量子化、効率的な伝達学習、通信効率の体系的な応用により、同様の大きさのLSTMと同じ難易度を達成する21ドルのパラメータを訓練することができる。
参考スコア（独自算出の注目度）: 15.201285321388061
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Most studies in cross-device federated learning focus on small models, due to the server-client communication and on-device computation bottlenecks. In this work, we leverage various techniques for mitigating these bottlenecks to train larger language models in cross-device federated learning. With systematic applications of partial model training, quantization, efficient transfer learning, and communication-efficient optimizers, we are able to train a $21$M parameter Transformer that achieves the same perplexity as that of a similarly sized LSTM with $\sim10\times$ smaller client-to-server communication cost and $11\%$ lower perplexity than smaller LSTMs commonly studied in literature.
Abstract（参考訳）: クロスデバイスフェデレーション学習のほとんどの研究は、サーバ-クライアント通信とオンデバイス計算のボトルネックのため、小さなモデルに焦点を当てている。本研究では,これらのボトルネックを緩和するために様々な手法を活用し,クロスデバイスフェデレーション学習における大規模言語モデルのトレーニングを行う。部分的モデルトレーニング、量子化、効率的な転送学習、通信効率の最適化といった体系的な応用により、文献でよく研究される小さなLSTMよりも小さいクライアント・サーバ間通信コストが$\sim10\times$11\%低いLSTMと同規模のLSTMと同じ難易度を実現する21ドルパラメータ変換器を訓練することができる。

関連論文リスト

FedsLLM: Federated Split Learning for Large Language Models over Communication Networks [30.47242577997792]
本稿では,低ランク適応技術 (LoRA) と分割学習フレームワークを組み合わせることで,大規模言語モデル (FedsLLM) のためのフェデレーション分割学習を提案する。提案アルゴリズムは、最適化されていないシナリオと比較して平均47.63%遅延を削減する。
論文参考訳（メタデータ） (2024-07-12T13:23:54Z)
Communication Efficient ConFederated Learning: An Event-Triggered SAGA Approach [67.27031215756121]
Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
論文参考訳（メタデータ） (2024-02-28T03:27:10Z)
Communication Efficient Federated Learning for Multilingual Neural Machine Translation with Adapter [21.512817959760007]
Federated Multilingual Neural Machine Translation (Fed-MNMT)は、限られた言語資源を持つ機関にとって有望なパラダイムとして登場した。このアプローチにより、複数の機関がクライアントとして行動し、集中的なトレーニングのためにセンシティブなデータを収集するのではなく、モデル同期を通じて統一されたモデルをトレーニングできる。しかし, 事前学習言語モデル (PLM) のサイズが大きくなるにつれ, 同期時のパラメータ伝達の通信コストは, 訓練速度のボトルネックとなっている。 PLMを凍結し,クライアント間でのみ軽量なアダプタモジュールを転送することで,この問題に対処する通信効率の高いFed-MNMTフレームワークを提案する。
論文参考訳（メタデータ） (2023-05-21T12:48:38Z)
Communication and Storage Efficient Federated Split Learning [19.369076939064904]
Federated Split LearningはFLの並列モデルトレーニング原則を保存する。サーバはクライアントごとに別々のモデルをメンテナンスしなければなりません。本稿では,コミュニケーションと記憶の効率的なフェデレーションと分割学習戦略を提案する。
論文参考訳（メタデータ） (2023-02-11T04:44:29Z)
On Optimizing the Communication of Model Parallelism [74.15423270435949]
大規模モデル並列ディープラーニング(DL)における新しい重要なコミュニケーションパターンについて検討する。クロスメッシュリシャーディングでは、シャードテンソルをソースデバイスメッシュから宛先デバイスメッシュに送信する必要がある。本稿では、効率的な放送ベースの通信システムと「重複しやすい」パイプラインスケジュールという、クロスメシュ・リシャーディングに対処するための2つのコントリビューションを提案する。
論文参考訳（メタデータ） (2022-11-10T03:56:48Z)
Multi-Edge Server-Assisted Dynamic Federated Learning with an Optimized Floating Aggregation Point [51.47520726446029]
協調エッジ学習(CE-FL)は、分散機械学習アーキテクチャである。 CE-FLの過程をモデル化し,分析訓練を行った。実世界のテストベッドから収集したデータを用いて,本フレームワークの有効性を示す。
論文参考訳（メタデータ） (2022-03-26T00:41:57Z)
Asynchronous Parallel Incremental Block-Coordinate Descent for Decentralized Machine Learning [55.198301429316125]
機械学習(ML)は、巨大なIoT(Internet of Things)ベースのインテリジェントでユビキタスなコンピューティングのビッグデータ駆動モデリングと分析のための重要なテクニックである。急成長するアプリケーションやデータ量にとって、分散学習は有望な新興パラダイムである。本稿では,多くのユーザデバイスに分散した分散システム上でMLモデルをトレーニングする問題について検討する。
論文参考訳（メタデータ） (2022-02-07T15:04:15Z)
FedLite: A Scalable Approach for Federated Learning on Resource-constrained Clients [41.623518032533035]
スプリットラーニングでは、モデルのごく一部だけがクライアントに格納され、トレーニングされ、残りの部分はサーバに留まる。本稿では,勾配補正法を伴って,新たなクラスタリング方式を用いて付加的な通信を圧縮することにより,この問題に対処する。
論文参考訳（メタデータ） (2022-01-28T00:09:53Z)
ProgFed: Effective, Communication, and Computation Efficient Federated Learning by Progressive Training [65.68511423300812]
本稿では,効率的なフェデレート学習のためのプログレッシブトレーニングフレームワークであるProgFedを提案する。 ProgFedは計算と双方向通信のコストを本質的に低減し、最終モデルの強力な性能を維持している。以上の結果から, ProgFed はフルモデルの標準トレーニングと同等の速度で収束することがわかった。
論文参考訳（メタデータ） (2021-10-11T14:45:00Z)
Enabling On-Device Training of Speech Recognition Models with Federated Dropout [4.165917555996752]
フェデレーション学習は、デバイスを離れないローカルデータに基づいて、エッジ上の機械学習モデルをトレーニングするために使用することができる。我々は,フルサイズのモデルサーバサイドをトレーニングしながら,クライアントモデルのサイズを減らすために,フェデレートド・ドロップアウト(Federated Dropout)を提案する。
論文参考訳（メタデータ） (2021-10-07T17:22:40Z)
CosSGD: Nonlinear Quantization for Communication-efficient Federated Learning [62.65937719264881]
フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
論文参考訳（メタデータ） (2020-12-15T12:20:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。