Fugu-MT 論文翻訳(概要): Energy-Efficient Split Learning for Fine-Tuning Large Language Models in Edge Networks

論文の概要: Energy-Efficient Split Learning for Fine-Tuning Large Language Models in Edge Networks

arxiv url: http://arxiv.org/abs/2412.00090v2
Date: Tue, 14 Jan 2025 03:27:10 GMT
ステータス: 翻訳完了
システム内更新日: 2025-01-15 13:26:16.874526
Title: Energy-Efficient Split Learning for Fine-Tuning Large Language Models in Edge Networks
Title（参考訳）: エッジネットワークにおける微調整大規模言語モデルのためのエネルギー効率の良いスプリット学習
Authors: Zuguang Li, Shaohua Wu, Liang Li, Songge Zhang,
Abstract要約: 大規模言語モデルを微調整するためのエネルギー効率の高い分割学習フレームワークを提案する。提案手法は,ベンチマークと比較すると,平均トレーニング遅延とサーバのエネルギー消費を70.8%,53.1%削減する。
参考スコア（独自算出の注目度）: 15.727573358801695
License:
Abstract: In this letter, we propose an energy-efficient split learning (SL) framework for fine-tuning large language models (LLMs) using geo-distributed personal data at the network edge, where LLMs are split and alternately across massive mobile devices and an edge server. Considering the device heterogeneity and channel dynamics in edge networks, a \underline{C}ut l\underline{A}yer and computing \underline{R}esource \underline{D}ecision (CARD) algorithm is developed to minimize training delay and energy consumption. Simulation results demonstrate that the proposed approach reduces the average training delay and server's energy consumption by 70.8% and 53.1%, compared to the benchmarks, respectively.
Abstract（参考訳）: 本稿では,LLMを大規模モバイルデバイスとエッジサーバ間で交互に分割するネットワークエッジにおいて,地理的に分散した個人データを用いて,大規模言語モデル(LLM)を微調整するためのエネルギー効率の高い分割学習(SL)フレームワークを提案する。エッジネットワークにおけるデバイスの不均一性とチャネルダイナミクスを考慮すると、訓練遅延とエネルギー消費を最小限に抑えるために、 \underline{C}ut l\underline{A}yer と計算用 \underline{R}esource \underline{D}ecision (CARD) アルゴリズムが開発された。シミュレーションの結果,提案手法は,ベンチマークと比較すると,平均トレーニング遅延とサーバのエネルギー消費量を70.8%,53.1%削減することがわかった。

関連論文リスト

Adaptive Split Learning over Energy-Constrained Wireless Edge Networks [15.622592459779156]
分割学習(SL)は人工知能(AI)モデルをトレーニングするための有望なアプローチであり、デバイスがサーバと協力してAIモデルを分散的にトレーニングする。本稿では,端末の分割点を動的に選択し,無線エッジネットワークにおけるサーバの計算資源を割り当てるアダプティブスプリットラーニング(ASL)方式を設計する。 ASL方式は,既存のSL方式と比較して,平均訓練遅延とエネルギー消費をそれぞれ53.7%,22.1%削減できることを示した。
論文参考訳（メタデータ） (2024-03-08T08:51:37Z)
Adaptive Federated Pruning in Hierarchical Wireless Networks [69.6417645730093]
Federated Learning(FL)は、サーバがプライベートデータセットにアクセスすることなく、複数のデバイスによって更新されたモデルを集約する、プライバシ保護の分散学習フレームワークである。本稿では,無線ネットワークにおけるHFLのモデルプルーニングを導入し,ニューラルネットワークの規模を小さくする。提案するHFLは,モデルプルーニングを伴わないHFLと比較して学習精度が良く,通信コストが約50%削減できることを示す。
論文参考訳（メタデータ） (2023-05-15T22:04:49Z)
Efficient Parallel Split Learning over Resource-constrained Wireless Edge Networks [44.37047471448793]
本稿では,エッジコンピューティングパラダイムと並列分割学習(PSL)の統合を提唱する。そこで本研究では,モデル学習を高速化するために,効率的な並列分割学習(EPSL)という革新的なPSLフレームワークを提案する。提案するEPSLフレームワークは,目標精度を達成するために必要なトレーニング遅延を著しく低減することを示す。
論文参考訳（メタデータ） (2023-03-26T16:09:48Z)
Hierarchical Personalized Federated Learning Over Massive Mobile Edge Computing Networks [95.39148209543175]
大規模MECネットワーク上でPFLをデプロイするアルゴリズムである階層型PFL(HPFL)を提案する。 HPFLは、最適帯域割り当てを共同で決定しながら、トレーニング損失最小化とラウンドレイテンシ最小化の目的を組み合わせる。
論文参考訳（メタデータ） (2023-03-19T06:00:05Z)
Time-sensitive Learning for Heterogeneous Federated Edge Intelligence [52.83633954857744]
フェデレーションエッジインテリジェンス(FEI)システムにおけるリアルタイム機械学習について検討する。 FEIシステムは異種通信と計算資源分布を示す。本稿では,共有MLモデルの協調学習における全体の実行時間を最小化するために,時間依存型フェデレーションラーニング(TS-FL)フレームワークを提案する。
論文参考訳（メタデータ） (2023-01-26T08:13:22Z)
Predictive GAN-powered Multi-Objective Optimization for Hybrid Federated Split Learning [56.125720497163684]
無線ネットワークにおけるハイブリッド・フェデレーション・スプリット・ラーニング・フレームワークを提案する。ラベル共有のないモデル分割のための並列計算方式を設計し,提案方式が収束速度に与える影響を理論的に解析する。
論文参考訳（メタデータ） (2022-09-02T10:29:56Z)
Multi-Edge Server-Assisted Dynamic Federated Learning with an Optimized Floating Aggregation Point [51.47520726446029]
協調エッジ学習(CE-FL)は、分散機械学習アーキテクチャである。 CE-FLの過程をモデル化し,分析訓練を行った。実世界のテストベッドから収集したデータを用いて,本フレームワークの有効性を示す。
論文参考訳（メタデータ） (2022-03-26T00:41:57Z)
Asynchronous Semi-Decentralized Federated Edge Learning for Heterogeneous Clients [3.983055670167878]
フェデレーションエッジ学習(FEEL)は、モバイルエッジネットワークのプライバシ保護のための分散学習フレームワークとして注目されている。本研究では,複数のエッジサーバが協調して,エッジデバイスからのより多くのデータをトレーニング中に組み込む,新たな半分散FEEL(SD-FEEL)アーキテクチャについて検討する。
論文参考訳（メタデータ） (2021-12-09T07:39:31Z)
Computational Intelligence and Deep Learning for Next-Generation Edge-Enabled Industrial IoT [51.68933585002123]
エッジ対応産業用IoTネットワークにおける計算知能とディープラーニング(DL)の展開方法について検討する。本稿では,新しいマルチエグジットベースフェデレーションエッジ学習(ME-FEEL)フレームワークを提案する。特に、提案されたME-FEELは、非常に限られたリソースを持つ産業用IoTネットワークにおいて、最大32.7%の精度を達成することができる。
論文参考訳（メタデータ） (2021-10-28T08:14:57Z)
Fine-Grained Data Selection for Improved Energy Efficiency of Federated Edge Learning [2.924868086534434]
フェデレーションエッジ学習(FEEL)では、ネットワークエッジのエネルギー制約されたデバイスは、ローカル機械学習モデルをトレーニングおよびアップロードする際にかなりのエネルギーを消費する。本研究は, ローカルトレーニングデータ, 利用可能な計算, 通信資源を共同で検討し, エネルギー効率の高い FEEL の新たなソリューションを提案する。
論文参考訳（メタデータ） (2021-06-20T10:51:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。