論文の概要: Energy-Efficient Split Learning for Fine-Tuning Large Language Models in Edge Networks

• arxiv url: http://arxiv.org/abs/2412.00090v1
• Date: Wed, 27 Nov 2024 12:34:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:48:07.155312
• Title: Energy-Efficient Split Learning for Fine-Tuning Large Language Models in Edge Networks
• Title（参考訳）: エッジネットワークにおける微調整大規模言語モデルのためのエネルギー効率の良いスプリット学習
• Authors: Zuguang Li, Shaohua Wu, Liang Li, Songge Zhang,
• Abstract要約: 大規模言語モデル(LLM)を微調整するためのエネルギー効率の高い分割学習フレームワークを提案する。 エッジネットワークにおけるデバイスの不均一性とチャネルダイナミクスを考慮すると、トレーニング遅延とエネルギー消費を最小限に抑えるために、Cut lAyer and Computing Resource Decision (CARD)アルゴリズムが開発された。 シミュレーションの結果、提案手法は、ベンチマークと比較すると、平均トレーニング遅延とサーバのエネルギー消費を70.8%、53.1%削減することを示した。
• 参考スコア（独自算出の注目度）: 15.727573358801695
• License:
• Abstract: In this letter, we propose an energy-efficient split learning (SL) framework for fine-tuning large language models (LLMs) using geo-distributed personal data at the network edge, where LLMs are split and alternately across massive mobile devices and an edge server. Considering the device heterogeneity and channel dynamics in edge networks, a Cut lAyer and computing Resource Decision (CARD) algorithm is developed to minimize training delay and energy consumption. Simulation results demonstrate that the proposed approach reduces the average training delay and server's energy consumption by 70.8\% and 53.1\%, compared to the benchmarks, respectively.
• Abstract（参考訳）: 本稿では,LLMを大規模モバイルデバイスとエッジサーバ間で交互に分割するネットワークエッジにおいて,地理的に分散した個人データを用いて,大規模言語モデル(LLM)を微調整するためのエネルギー効率の高い分割学習(SL)フレームワークを提案する。 エッジネットワークにおけるデバイスの不均一性とチャネルダイナミクスを考慮すると、トレーニング遅延とエネルギー消費を最小限に抑えるために、Cut lAyer and Computing Resource Decision (CARD)アルゴリズムが開発された。 シミュレーションの結果,提案手法は,ベンチマークと比較すると,平均トレーニング遅延とサーバのエネルギー消費量を70.8\%,53.1\%削減することがわかった。

関連論文リスト

• Federated Split Learning with Model Pruning and Gradient Quantization in Wireless Networks [7.439160287320074]
  Federated split learning (FedSL)は、モデル分割によるエッジデバイスとサーバ間の協調トレーニングを実装している。 本稿では,リソース制約のあるエッジデバイスのトレーニング負担を軽減する軽量なFedSL方式を提案する。 提案手法の収束性能を定量化するために理論的解析を行う。
  論文  参考訳（メタデータ） (2024-12-09T11:43:03Z)
• Adaptive Split Learning over Energy-Constrained Wireless Edge Networks [15.622592459779156]
  分割学習(SL)は人工知能(AI)モデルをトレーニングするための有望なアプローチであり、デバイスがサーバと協力してAIモデルを分散的にトレーニングする。 本稿では,端末の分割点を動的に選択し,無線エッジネットワークにおけるサーバの計算資源を割り当てるアダプティブスプリットラーニング(ASL)方式を設計する。 ASL方式は,既存のSL方式と比較して,平均訓練遅延とエネルギー消費をそれぞれ53.7%,22.1%削減できることを示した。
  論文  参考訳（メタデータ） (2024-03-08T08:51:37Z)
• Adaptive Federated Pruning in Hierarchical Wireless Networks [69.6417645730093]
  Federated Learning(FL)は、サーバがプライベートデータセットにアクセスすることなく、複数のデバイスによって更新されたモデルを集約する、プライバシ保護の分散学習フレームワークである。 本稿では,無線ネットワークにおけるHFLのモデルプルーニングを導入し,ニューラルネットワークの規模を小さくする。 提案するHFLは,モデルプルーニングを伴わないHFLと比較して学習精度が良く,通信コストが約50%削減できることを示す。
  論文  参考訳（メタデータ） (2023-05-15T22:04:49Z)
• Efficient Parallel Split Learning over Resource-constrained Wireless Edge Networks [44.37047471448793]
  本稿では,エッジコンピューティングパラダイムと並列分割学習(PSL)の統合を提唱する。 そこで本研究では,モデル学習を高速化するために,効率的な並列分割学習(EPSL)という革新的なPSLフレームワークを提案する。 提案するEPSLフレームワークは,目標精度を達成するために必要なトレーニング遅延を著しく低減することを示す。
  論文  参考訳（メタデータ） (2023-03-26T16:09:48Z)
• Hierarchical Personalized Federated Learning Over Massive Mobile Edge Computing Networks [95.39148209543175]
  大規模MECネットワーク上でPFLをデプロイするアルゴリズムである階層型PFL(HPFL)を提案する。 HPFLは、最適帯域割り当てを共同で決定しながら、トレーニング損失最小化とラウンドレイテンシ最小化の目的を組み合わせる。
  論文  参考訳（メタデータ） (2023-03-19T06:00:05Z)
• Predictive GAN-powered Multi-Objective Optimization for Hybrid Federated Split Learning [56.125720497163684]
  無線ネットワークにおけるハイブリッド・フェデレーション・スプリット・ラーニング・フレームワークを提案する。 ラベル共有のないモデル分割のための並列計算方式を設計し,提案方式が収束速度に与える影響を理論的に解析する。
  論文  参考訳（メタデータ） (2022-09-02T10:29:56Z)
• Multi-Edge Server-Assisted Dynamic Federated Learning with an Optimized Floating Aggregation Point [51.47520726446029]
  協調エッジ学習(CE-FL)は、分散機械学習アーキテクチャである。 CE-FLの過程をモデル化し,分析訓練を行った。 実世界のテストベッドから収集したデータを用いて,本フレームワークの有効性を示す。
  論文  参考訳（メタデータ） (2022-03-26T00:41:57Z)
• Asynchronous Semi-Decentralized Federated Edge Learning for Heterogeneous Clients [3.983055670167878]
  フェデレーションエッジ学習(FEEL)は、モバイルエッジネットワークのプライバシ保護のための分散学習フレームワークとして注目されている。 本研究では,複数のエッジサーバが協調して,エッジデバイスからのより多くのデータをトレーニング中に組み込む,新たな半分散FEEL(SD-FEEL)アーキテクチャについて検討する。
  論文  参考訳（メタデータ） (2021-12-09T07:39:31Z)
• Computational Intelligence and Deep Learning for Next-Generation Edge-Enabled Industrial IoT [51.68933585002123]
  エッジ対応産業用IoTネットワークにおける計算知能とディープラーニング(DL)の展開方法について検討する。 本稿では,新しいマルチエグジットベースフェデレーションエッジ学習(ME-FEEL)フレームワークを提案する。 特に、提案されたME-FEELは、非常に限られたリソースを持つ産業用IoTネットワークにおいて、最大32.7%の精度を達成することができる。
  論文  参考訳（メタデータ） (2021-10-28T08:14:57Z)
• Optimizing Resource-Efficiency for Federated Edge Intelligence in IoT Networks [96.24723959137218]
  We study a edge intelligence-based IoT network that a set of edge server learn a shared model using federated learning (FL)。 フェデレーションエッジインテリジェンス(FEI)と呼ばれる新しいフレームワークを提案し、エッジサーバがIoTネットワークのエネルギーコストに応じて必要なデータサンプル数を評価できるようにする。 提案アルゴリズムがIoTネットワークのトポロジ的情報を漏洩したり開示したりしないことを示す。
  論文  参考訳（メタデータ） (2020-11-25T12:51:59Z)
• Deep Reinforcement Learning for Adaptive Network Slicing in 5G for Intelligent Vehicular Systems and Smart Cities [19.723551683930776]
  エッジコントローラ(EC)と協調したフォグノードのクラスタ(FN)に基づくネットワークスライシングモデルを開発する。 クラスタ内の各サービスリクエストに対して、ECは、どのFNがタスクを実行し、エッジでローカルにリクエストをサーブするか、あるいはタスクを拒否し、それをクラウドに参照するかを決定する。 本稿では,最適スライシングポリシーを適応的に学習する深層強化学習(DRL)ソリューションを提案する。
  論文  参考訳（メタデータ） (2020-10-19T23:30:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。