論文の概要: Resource Allocation for Stable LLM Training in Mobile Edge Computing

• arxiv url: http://arxiv.org/abs/2409.20247v1
• Date: Mon, 30 Sep 2024 12:36:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-02 11:58:29.541544
• Title: Resource Allocation for Stable LLM Training in Mobile Edge Computing
• Title（参考訳）: モバイルエッジコンピューティングにおける安定LLMトレーニングのための資源配分
• Authors: Chang Liu, Jun Zhao,
• Abstract要約: 本稿では,モバイルユーザとエッジサーバを統合し,リソース割り当てを最適化する協調トレーニングフレームワークについて検討する。 学習中のエネルギー消費と遅延の総量を最小限に抑えるために,多目的最適化問題を定式化する。 また,モデルの安定性向上を目的関数に組み込むことにより,モデル性能の不安定性の共通問題にも対処する。
• 参考スコア（独自算出の注目度）: 11.366306689957353
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As mobile devices increasingly become focal points for advanced applications, edge computing presents a viable solution to their inherent computational limitations, particularly in deploying large language models (LLMs). However, despite the advancements in edge computing, significant challenges remain in efficient training and deploying LLMs due to the computational demands and data privacy concerns associated with these models. This paper explores a collaborative training framework that integrates mobile users with edge servers to optimize resource allocation, thereby enhancing both performance and efficiency. Our approach leverages parameter-efficient fine-tuning (PEFT) methods, allowing mobile users to adjust the initial layers of the LLM while edge servers handle the more demanding latter layers. Specifically, we formulate a multi-objective optimization problem to minimize the total energy consumption and delay during training. We also address the common issue of instability in model performance by incorporating stability enhancements into our objective function. Through novel fractional programming technique, we achieve a stationary point for the formulated problem. Simulations demonstrate that our method reduces the energy consumption as well as the latency, and increases the reliability of LLMs across various mobile settings.
• Abstract（参考訳）: モバイルデバイスが先進的なアプリケーションに焦点を移すにつれ、エッジコンピューティングは、特に大規模言語モデル(LLM)のデプロイにおいて、それら固有の計算制限に対する実行可能なソリューションを提供する。 しかし、エッジコンピューティングの進歩にもかかわらず、これらのモデルに関連する計算要求とデータプライバシの懸念により、LLMの効率的なトレーニングとデプロイには大きな課題が残っている。 本稿では,モバイルユーザとエッジサーバを連携させてリソース割り当てを最適化し,パフォーマンスと効率を両立させる,協調的なトレーニングフレームワークについて検討する。 提案手法では,パラメータ効率のよい微細チューニング(PEFT)手法を用いて,エッジサーバがより要求の高い後者のレイヤを処理している間に,モバイルユーザがLLMの初期レイヤを調整できる。 具体的には,多目的最適化問題を定式化し,訓練時の総エネルギー消費と遅延を最小化する。 また,モデルの安定性向上を目的関数に組み込むことにより,モデル性能の不安定性の共通問題にも対処する。 新たな分数計画法により,定式化問題に対する定常点を実現する。 シミュレーションにより,本手法は遅延とともに省エネ化を図り,様々なモバイル環境におけるLCMの信頼性を高めた。

関連論文リスト

• MobiLlama: Towards Accurate and Lightweight Fully Transparent GPT [87.4910758026772]
  近年のLarge Language Models (LLM) 開発において,"Bigger the Better" が主流となっている。 本稿では、リソース制約のあるデバイスに対して、正確かつ効率的なSLM(Small Language Models)を設計する上での課題に対処し、"less is more"パラダイムについて考察する。
  論文  参考訳（メタデータ） (2024-02-26T18:59:03Z)
• Machine Learning Insides OptVerse AI Solver: Design Principles and Applications [74.67495900436728]
  本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。 本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。 本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
  論文  参考訳（メタデータ） (2024-01-11T15:02:15Z)
• Orchestration of Emulator Assisted Mobile Edge Tuning for AI Foundation Models: A Multi-Agent Deep Reinforcement Learning Approach [10.47302625959368]
  我々は,モバイルエッジコンピューティングと基礎モデルを統合した画期的なパラダイムを提示する。 私たちのアプローチの中心はイノベーティブなEmulator-Adapterアーキテクチャであり、基礎モデルを2つの凝集モジュールに分割する。 本稿では,分散環境におけるEmulator-Adapter構造のニーズに合わせて微調整された高度なリソース割り当て機構を提案する。
  論文  参考訳（メタデータ） (2023-10-26T15:47:51Z)
• Federated Fine-Tuning of LLMs on the Very Edge: The Good, the Bad, the Ugly [62.473245910234304]
  本稿では,最新のエッジコンピューティングシステムにおいて,Large Language Modelsをどのように導入できるかを,ハードウェア中心のアプローチで検討する。 マイクロレベルのハードウェアベンチマークを行い、FLOPモデルと最先端のデータセンターGPUを比較し、現実的な条件下でのネットワーク利用について検討する。
  論文  参考訳（メタデータ） (2023-10-04T20:27:20Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• Multi-objective Deep Reinforcement Learning for Mobile Edge Computing [11.966938107719903]
  モバイルエッジコンピューティング(MEC)は、遅延やエネルギー消費など、さまざまなパフォーマンス指標を優先する次世代のモバイルネットワークアプリケーションに不可欠である。 本研究では,複数のエッジを持つMECにおいて,長期エネルギー消費と送信遅延を最小限に抑えるために,多目的オフロード問題を定式化する。 我々は,MECシステムにおいて,複数のエッジの機能を構築するためのよく設計された状態符号化手法を導入し,遅延とエネルギー消費のユーティリティを正確に計算する洗練された報酬関数を提案する。
  論文  参考訳（メタデータ） (2023-07-05T16:36:42Z)
• MCDS: AI Augmented Workflow Scheduling in Mobile Edge Cloud Computing Systems [12.215537834860699]
  近年,エッジコンピューティングプラットフォームの低応答時間を利用してアプリケーション品質・オブ・サービス(QoS)を最適化するスケジューリング手法が提案されている。 本稿では,Deep Surrogate Models を用いたモンテカルロ学習を用いて,モバイルエッジクラウドコンピューティングシステムにおけるワークフローアプリケーションを効率的にスケジューリングする手法を提案する。
  論文  参考訳（メタデータ） (2021-12-14T10:00:01Z)
• Energy-Efficient Multi-Orchestrator Mobile Edge Learning [54.28419430315478]
  Mobile Edge Learning(MEL)は、エッジデバイス上で機械学習(ML)モデルの分散トレーニングを特徴とする、協調学習パラダイムである。 MELでは、異なるデータセットで複数の学習タスクが共存する可能性がある。 本稿では, エネルギー消費, 精度, 解複雑性のトレードオフを容易にする軽量なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-09-02T07:37:10Z)
• Latency-Memory Optimized Splitting of Convolution Neural Networks for Resource Constrained Edge Devices [1.6873748786804317]
  我々は、エッジデバイスとクラウド間でCNNを実行することは、リソース制約のある最適化問題を解決することと同義であると主張している。 実世界のエッジデバイスでの実験では、LMOSはエッジで異なるCNNモデルの実行可能な実行を保証する。
  論文  参考訳（メタデータ） (2021-07-19T19:39:56Z)
• Reconfigurable Intelligent Surface Assisted Mobile Edge Computing with Heterogeneous Learning Tasks [53.1636151439562]
  モバイルエッジコンピューティング(MEC)は、AIアプリケーションに自然なプラットフォームを提供します。 再構成可能なインテリジェントサーフェス(RIS)の助けを借りて、MECで機械学習タスクを実行するインフラストラクチャを提示します。 具体的には,モバイルユーザの送信パワー,基地局のビームフォーミングベクトル,risの位相シフト行列を共同で最適化することにより,参加ユーザの学習誤差を最小化する。
  論文  参考訳（メタデータ） (2020-12-25T07:08:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。