Fugu-MT 論文翻訳(概要): FedsLLM: Federated Split Learning for Large Language Models over Communication Networks

論文の概要: FedsLLM: Federated Split Learning for Large Language Models over Communication Networks

arxiv url: http://arxiv.org/abs/2407.09250v1
Date: Fri, 12 Jul 2024 13:23:54 GMT
ステータス: 処理完了
システム内更新日: 2024-07-15 23:28:21.015705
Title: FedsLLM: Federated Split Learning for Large Language Models over Communication Networks
Title（参考訳）: FedsLLM: ネットワーク上の大規模言語モデルのためのフェデレーション・スプリット学習
Authors: Kai Zhao, Zhaohui Yang, Chongwen Huang, Xiaoming Chen, Zhaoyang Zhang,
Abstract要約: 本稿では,低ランク適応技術 (LoRA) と分割学習フレームワークを組み合わせることで,大規模言語モデル (FedsLLM) のためのフェデレーション分割学習を提案する。提案アルゴリズムは、最適化されていないシナリオと比較して平均47.63%遅延を削減する。
参考スコア（独自算出の注目度）: 30.47242577997792
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Addressing the challenges of deploying large language models in wireless communication networks, this paper combines low-rank adaptation technology (LoRA) with the splitfed learning framework to propose the federated split learning for large language models (FedsLLM) framework. The method introduced in this paper utilizes LoRA technology to reduce processing loads by dividing the network into client subnetworks and server subnetworks. It leverages a federated server to aggregate and update client models. As the training data are transmitted through a wireless network between clients and both main and federated servers, the training delay is determined by the learning accuracy and the allocation of communication bandwidth. This paper models the minimization of the training delay by integrating computation and communication optimization, simplifying the optimization problem into a convex problem to find the optimal solution. Additionally, it presents a lemma that describes the precise solutions to this problem. Simulation results demonstrate that the proposed optimization algorithm reduces delays by an average of 47.63% compared to unoptimized scenarios.
Abstract（参考訳）: 本稿では,無線通信ネットワークに大規模言語モデルをデプロイする際の課題に対処するため,低ランク適応技術(LoRA)と分割学習フレームワークを併用し,大規模言語モデル(FedsLLM)フレームワークに対するフェデレーション分割学習を提案する。本稿ではLoRA技術を用いて,ネットワークをクライアントサブネットワークとサーバサブネットワークに分割することで処理負荷を削減する手法を提案する。フェデレーションサーバを活用して、クライアントモデルを集約し、更新する。トレーニングデータは、クライアントとメインサーバおよびフェデレーションサーバ間の無線ネットワークを介して送信されるので、学習精度と通信帯域の割り当てによりトレーニング遅延を決定する。本稿では,計算と通信の最適化を統合することにより,学習遅延の最小化をモデル化し,最適化問題を凸問題に単純化し,最適解を求める。さらに、この問題の正確な解を記述した補題も提示する。シミュレーションの結果、最適化アルゴリズムは最適化されていないシナリオと比較して平均47.63%の遅延を減少させることが示された。

関連論文リスト

Overlay-based Decentralized Federated Learning in Bandwidth-limited Networks [3.9162099309900835]
分散連合学習(DFL)は、中央集権的調整なしに分散エージェントを直接学習することで、人工知能(AI)の展開を促進するという約束を持っている。既存のソリューションの多くは、隣接するエージェントが基盤となる通信ネットワークに物理的に隣接しているという単純な仮定に基づいている。我々は,帯域幅制限ネットワークにおける通信要求と通信スケジュールを,基礎となるネットワークからの明示的な協力を必要とせず,共同で設計する。
論文参考訳（メタデータ） (2024-08-08T18:05:11Z)
Communication Efficient ConFederated Learning: An Event-Triggered SAGA Approach [67.27031215756121]
Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
論文参考訳（メタデータ） (2024-02-28T03:27:10Z)
Scheduling and Communication Schemes for Decentralized Federated Learning [0.31410859223862103]
勾配降下(SGD)アルゴリズムを用いた分散連合学習(DFL)モデルが導入された。 DFLの3つのスケジューリングポリシーがクライアントと並列サーバ間の通信のために提案されている。その結果,提案した計画警察は,収束速度と最終グローバルモデルの両方に影響を及ぼすことがわかった。
論文参考訳（メタデータ） (2023-11-27T17:35:28Z)
Effectively Heterogeneous Federated Learning: A Pairing and Split Learning Based Approach [16.093068118849246]
本稿では,クライアントと異なる計算資源をペアリングする,新しい分割フェデレーション学習(SFL)フレームワークを提案する。グラフエッジ選択問題として,学習遅延の最適化を再構築し,グレディアルゴリズムを提案する。シミュレーションの結果,提案手法はFLトレーニング速度を大幅に向上し,高い性能を実現することができることがわかった。
論文参考訳（メタデータ） (2023-08-26T11:10:54Z)
Adaptive Federated Pruning in Hierarchical Wireless Networks [69.6417645730093]
Federated Learning(FL)は、サーバがプライベートデータセットにアクセスすることなく、複数のデバイスによって更新されたモデルを集約する、プライバシ保護の分散学習フレームワークである。本稿では,無線ネットワークにおけるHFLのモデルプルーニングを導入し,ニューラルネットワークの規模を小さくする。提案するHFLは,モデルプルーニングを伴わないHFLと比較して学習精度が良く,通信コストが約50%削減できることを示す。
論文参考訳（メタデータ） (2023-05-15T22:04:49Z)
Time-sensitive Learning for Heterogeneous Federated Edge Intelligence [52.83633954857744]
フェデレーションエッジインテリジェンス(FEI)システムにおけるリアルタイム機械学習について検討する。 FEIシステムは異種通信と計算資源分布を示す。本稿では,共有MLモデルの協調学習における全体の実行時間を最小化するために,時間依存型フェデレーションラーニング(TS-FL)フレームワークを提案する。
論文参考訳（メタデータ） (2023-01-26T08:13:22Z)
Time Minimization in Hierarchical Federated Learning [11.678121177730718]
フェデレートラーニング(Federated Learning)は、ユーザ機器が機械学習タスクをローカルに実行し、モデルパラメータを中央サーバにアップロードする、現代的な分散機械学習技術である。本稿では,クラウドとエッジサーバ間のモデルパラメータ交換を含む3層階層型階層型学習システムについて考察する。
論文参考訳（メタデータ） (2022-10-07T13:53:20Z)
Predictive GAN-powered Multi-Objective Optimization for Hybrid Federated Split Learning [56.125720497163684]
無線ネットワークにおけるハイブリッド・フェデレーション・スプリット・ラーニング・フレームワークを提案する。ラベル共有のないモデル分割のための並列計算方式を設計し,提案方式が収束速度に与える影響を理論的に解析する。
論文参考訳（メタデータ） (2022-09-02T10:29:56Z)
Federated Learning over Wireless IoT Networks with Optimized Communication and Resources [98.18365881575805]
協調学習技術のパラダイムとしてのフェデレートラーニング(FL)は研究の注目を集めている。無線システム上での高速応答および高精度FLスキームの検証が重要である。提案する通信効率のよいフェデレーション学習フレームワークは,強い線形速度で収束することを示す。
論文参考訳（メタデータ） (2021-10-22T13:25:57Z)
Low-Latency Federated Learning over Wireless Channels with Differential Privacy [142.5983499872664]
フェデレートラーニング(FL)では、モデルトレーニングはクライアントに分散し、ローカルモデルは中央サーバによって集約される。本稿では,各クライアントの差分プライバシ(DP)要件だけでなく,全体としてのトレーニング性能に制約された無線チャネル上でのFLトレーニング遅延を最小限に抑えることを目的とする。
論文参考訳（メタデータ） (2021-06-20T13:51:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。