Fugu-MT 論文翻訳(概要): FedRDMA: Communication-Efficient Cross-Silo Federated LLM via Chunked RDMA Transmission

論文の概要: FedRDMA: Communication-Efficient Cross-Silo Federated LLM via Chunked RDMA Transmission

arxiv url: http://arxiv.org/abs/2403.00881v1
Date: Fri, 1 Mar 2024 09:14:10 GMT
ステータス: 処理完了
システム内更新日: 2024-03-05 16:05:21.370928
Title: FedRDMA: Communication-Efficient Cross-Silo Federated LLM via Chunked RDMA Transmission
Title（参考訳）: FedRDMA: チャンクRDMA伝送による通信効率の良いクロスサイロフェデレーションLLM
Authors: Zeling Zhang, Dongqi Cai, Yiran Zhang, Mengwei Xu, Shangguang Wang, Ao Zhou
Abstract要約: FedRDMAは、RDMAをFL通信プロトコルに統合する通信効率の高いクロスサイロFLシステムである。従来のTCP/IPベースのFLシステムと比較して,sysは通信効率を最大3.8$times$で向上できることを示す。
参考スコア（独自算出の注目度）: 5.199151525305899
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Communication overhead is a significant bottleneck in federated learning (FL), which has been exaggerated with the increasing size of AI models. In this paper, we propose FedRDMA, a communication-efficient cross-silo FL system that integrates RDMA into the FL communication protocol. To overcome the limitations of RDMA in wide-area networks (WANs), FedRDMA divides the updated model into chunks and designs a series of optimization techniques to improve the efficiency and robustness of RDMA-based communication. We implement FedRDMA atop the industrial federated learning framework and evaluate it on a real-world cross-silo FL scenario. The experimental results show that \sys can achieve up to 3.8$\times$ speedup in communication efficiency compared to traditional TCP/IP-based FL systems.
Abstract（参考訳）: コミュニケーションのオーバーヘッドは、aiモデルの増大によって誇張されているフェデレーション学習(fl)において重要なボトルネックである。本稿では,RF通信プロトコルにRDMAを統合する通信効率の高いクロスサイロFLシステムであるFedRDMAを提案する。広域ネットワーク(WAN)におけるRDMAの限界を克服するため、FedRDMAは更新されたモデルをチャンクに分割し、RDMAベースの通信の効率性と堅牢性を改善するための一連の最適化手法を設計する。我々は,産業連携学習フレームワーク上にFedRDMAを実装し,実世界のクロスサイロFLシナリオで評価する。実験の結果、従来のTCP/IPベースのFLシステムと比較して通信効率が最大3.8$\times$スピードアップできることがわかった。

関連論文リスト

Hyperdimensional Computing Empowered Federated Foundation Model over Wireless Networks for Metaverse [56.384390765357004]
本稿では,新しい基礎モデルのための統合型分割学習と超次元計算フレームワークを提案する。この新しいアプローチは通信コスト、計算負荷、プライバシーリスクを低減し、Metaverseのリソース制約されたエッジデバイスに適している。
論文参考訳（メタデータ） (2024-08-26T17:03:14Z)
WDMoE: Wireless Distributed Large Language Models with Mixture of Experts [65.57581050707738]
我々は,Mixture of Experts (MoE)に基づく無線分散大言語モデル(LLM)パラダイムを提案する。我々は,基地局(BS)とモバイルデバイスにゲーティングネットワークと先行するニューラルネットワーク層を配置することにより,LLM内のMoE層を分解する。我々は、モデルの性能とエンドツーエンドのレイテンシの両方を考慮して、専門家の選択ポリシーを設計する。
論文参考訳（メタデータ） (2024-05-06T02:55:50Z)
Robust and Communication-Efficient Federated Domain Adaptation via Random Features [9.97347047837426]
フェデレートされたドメイン適応(FDA)は、この課題に対処するための強力なアプローチとして現れます。 RF-TCAは、理論的および経験的性能を損なうことなく計算を著しく高速化する標準転送成分分析手法の拡張である。我々は,FedRF-TCAの優れた性能とロバスト性(ネットワーク状態への)を示す広範囲な実験を行った。
論文参考訳（メタデータ） (2023-11-08T13:46:58Z)
Multiagent Reinforcement Learning with an Attention Mechanism for Improving Energy Efficiency in LoRa Networks [52.96907334080273]
ネットワーク規模が大きくなるにつれて、パケット衝突によるLoRaネットワークのエネルギー効率は急激に低下する。マルチエージェント強化学習(MALoRa)に基づく伝送パラメータ割り当てアルゴリズムを提案する。シミュレーションの結果,MALoRaはベースラインアルゴリズムと比較してシステムEEを著しく改善することがわかった。
論文参考訳（メタデータ） (2023-09-16T11:37:23Z)
FLCC: Efficient Distributed Federated Learning on IoMT over CSMA/CA [0.0]
フェデレートラーニング(FL)は、プライバシー保護のための有望なアプローチとして登場した。本稿では,アドホックネットワーク上で遠隔医療システムを改善するアプリケーションにおけるFLの性能について検討する。ネットワーク性能を評価するための指標として,1) 干渉を最小限に抑えながら伝送を成功させる確率,2) 精度と損失の点で分散FLモデルの性能を示す。
論文参考訳（メタデータ） (2023-03-29T16:36:42Z)
CFLIT: Coexisting Federated Learning and Information Transfer [18.30671838758503]
本研究では,モバイルエッジネットワークにおける無線放送と従来型情報伝達(IT)の共存性について検討する。 FLとITデバイスがOFDMシステムで無線スペクトルを共有するCFLIT(Commanded Learning and Information Transfer)通信フレームワークを提案する。
論文参考訳（メタデータ） (2022-07-26T13:17:28Z)
SlimFL: Federated Learning with Superposition Coding over Slimmable Neural Networks [56.68149211499535]
フェデレートラーニング(FL)は、デバイスの分散コンピューティング機能を活用した効率的なコミュニケーションとコンピューティングのための重要な実現手段である。本稿では、FLと幅調整可能なスリムブルニューラルネットワーク(SNN)を統合した新しい学習フレームワークを提案する。局所モデル更新のためのグローバルモデル集約と重ね合わせ訓練(ST)に重ね合わせ符号化(SC)を併用した通信およびエネルギー効率の高いSNNベースFL(SlimFL)を提案する。
論文参考訳（メタデータ） (2022-03-26T15:06:13Z)
Joint Superposition Coding and Training for Federated Learning over Multi-Width Neural Networks [52.93232352968347]
本稿では,2つの相乗的技術,フェデレートラーニング(FL)と幅調整可能なスリムブルニューラルネットワーク(SNN)を統合することを目的とする。 FLは、ローカルに訓練されたモバイルデバイスのモデルを交換することによって、データのプライバシを保護している。しかしながら、SNNは、特に時間変化のあるチャネル条件との無線接続下では、非自明である。局所モデル更新のためのグローバルモデル集約と重ね合わせ訓練(ST)に重ね合わせ符号化(SC)を併用した通信およびエネルギー効率の高いSNNベースFL(SlimFL)を提案する。
論文参考訳（メタデータ） (2021-12-05T11:17:17Z)
Federated Learning over Wireless IoT Networks with Optimized Communication and Resources [98.18365881575805]
協調学習技術のパラダイムとしてのフェデレートラーニング(FL)は研究の注目を集めている。無線システム上での高速応答および高精度FLスキームの検証が重要である。提案する通信効率のよいフェデレーション学習フレームワークは,強い線形速度で収束することを示す。
論文参考訳（メタデータ） (2021-10-22T13:25:57Z)
EdgeML: Towards Network-Accelerated Federated Learning over Wireless Edge [11.49608766562657]
Federated Learning(FL)は、次世代AIシステムのための分散機械学習技術である。本稿では,マルチホップフェデレーションネットワークの性能を最適化することにより,無線エッジ上のFL収束を加速することを目的とする。
論文参考訳（メタデータ） (2021-10-14T14:06:57Z)
CDMA: A Practical Cross-Device Federated Learning Algorithm for General Minimax Problems [21.595391808043484]
ミニマックス問題は、堅牢な敵対学習やGAN(Generative Adversarial Network)トレーニングを含む、幅広い重要な応用で発生する。我々は,クロスデバイスFL設定における汎用ミニマックス問題に対して,CDMAと呼ばれる最初の実用的アルゴリズムを開発した。 CDMAはStart-Immediately-With-Enough-Ensponsesメカニズムに基づいており、サーバはまずクライアントのサブセットに信号を送り、各ラウンドで十分なクライアントから応答を受けたときにクライアントが報告したローカル結果の集約を開始する。
論文参考訳（メタデータ） (2021-05-29T05:18:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。