論文の概要: Orchestration of Emulator Assisted Mobile Edge Tuning for AI Foundation Models: A Multi-Agent Deep Reinforcement Learning Approach

• arxiv url: http://arxiv.org/abs/2310.17492v1
• Date: Thu, 26 Oct 2023 15:47:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-27 19:28:54.392549
• Title: Orchestration of Emulator Assisted Mobile Edge Tuning for AI Foundation Models: A Multi-Agent Deep Reinforcement Learning Approach
• Title（参考訳）: AIファウンデーションモデルのためのエミュレータ支援移動エッジチューニングのオーケストレーション:マルチエージェント深部強化学習アプローチ
• Authors: Wenhan Yu, Terence Jie Chua, Jun Zhao
• Abstract要約: 我々は,モバイルエッジコンピューティングと基礎モデルを統合した画期的なパラダイムを提示する。 私たちのアプローチの中心はイノベーティブなEmulator-Adapterアーキテクチャであり、基礎モデルを2つの凝集モジュールに分割する。 本稿では,分散環境におけるEmulator-Adapter構造のニーズに合わせて微調整された高度なリソース割り当て機構を提案する。
• 参考スコア（独自算出の注目度）: 10.47302625959368
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The efficient deployment and fine-tuning of foundation models are pivotal in contemporary artificial intelligence. In this study, we present a groundbreaking paradigm integrating Mobile Edge Computing (MEC) with foundation models, specifically designed to enhance local task performance on user equipment (UE). Central to our approach is the innovative Emulator-Adapter architecture, segmenting the foundation model into two cohesive modules. This design not only conserves computational resources but also ensures adaptability and fine-tuning efficiency for downstream tasks. Additionally, we introduce an advanced resource allocation mechanism that is fine-tuned to the needs of the Emulator-Adapter structure in decentralized settings. To address the challenges presented by this system, we employ a hybrid multi-agent Deep Reinforcement Learning (DRL) strategy, adept at handling mixed discrete-continuous action spaces, ensuring dynamic and optimal resource allocations. Our comprehensive simulations and validations underscore the practical viability of our approach, demonstrating its robustness, efficiency, and scalability. Collectively, this work offers a fresh perspective on deploying foundation models and balancing computational efficiency with task proficiency.
• Abstract（参考訳）: 基礎モデルの効率的な展開と微調整は、現代の人工知能において重要である。 本研究では,モバイルエッジコンピューティング(MEC)と基礎モデルを統合し,ユーザ機器(UE)のローカルタスク性能を向上させることを目的とした,画期的なパラダイムを提案する。 私たちのアプローチの中心はイノベーティブなEmulator-Adapterアーキテクチャであり、基礎モデルを2つの凝集モジュールに分割する。 この設計は計算資源を節約するだけでなく、下流タスクの適応性と微調整効率を保証する。 さらに,分散環境におけるEmulator-Adapter構造のニーズに合わせて微調整された高度なリソース割り当て機構を導入する。 本システムでは,複合型多エージェント深層強化学習(DRL)戦略を採用し,混合離散連続行動空間の処理に長け,動的かつ最適な資源割り当てを確保する。 我々の総合的なシミュレーションと検証は、その堅牢性、効率性、スケーラビリティを実証し、我々のアプローチの実用性を強調している。 この研究は、基礎モデルを配置し、計算効率とタスクの熟練度をバランスさせる新しい視点を提供する。

関連論文リスト

• DSMoE: Matrix-Partitioned Experts with Dynamic Routing for Computation-Efficient Dense LLMs [70.91804882618243]
  本稿では,事前学習したFFN層を計算ブロックに分割することで,分散化を実現するDSMoEを提案する。 我々は,Sigmoid アクティベーションとストレートスルー推定器を用いた適応型エキスパートルーティングを実装し,トークンがモデル知識の様々な側面に柔軟にアクセスできるようにする。 LLaMAモデルを用いた実験により、DSMoEは既存のプルーニング法やMoE法に比べて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-02-18T02:37:26Z)
• Task Offloading in Vehicular Edge Computing using Deep Reinforcement Learning: A Survey [9.21746609806009]
  適応的,リアルタイムな意思決定を通じて計算オフロードを最適化するために,強化学習(RL)と深層強化学習(DRL)フレームワークの可能性を検討する。 本稿では,車載ネットワークにおけるDRLの理解と適用を促進することを目的とした,標準化された学習モデル,最適化された報酬構造,協調型マルチエージェントシステムなどの重要な側面に焦点を当てる。
  論文  参考訳（メタデータ） (2025-02-10T19:02:20Z)
• EdgeMLBalancer: A Self-Adaptive Approach for Dynamic Model Switching on Resource-Constrained Edge Devices [0.0]
  エッジデバイス上の機械学習は、リソース制約のある環境でリアルタイムAIアプリケーションを可能にする。 計算資源を管理する既存のソリューションは、しばしば正確さやエネルギー効率に焦点を絞っている。 エッジデバイス上でのCPU利用とリソース管理を最適化する自己適応型アプローチを提案する。
  論文  参考訳（メタデータ） (2025-02-10T14:11:29Z)
• A Survey on Inference Optimization Techniques for Mixture of Experts Models [50.40325411764262]
  大規模Mixture of Experts(MoE)モデルは、条件計算によるモデル容量と計算効率の向上を提供する。 これらのモデル上で推論をデプロイし実行することは、計算資源、レイテンシ、エネルギー効率において大きな課題を示す。 本調査では,システムスタック全体にわたるMoEモデルの最適化手法について分析する。
  論文  参考訳（メタデータ） (2024-12-18T14:11:15Z)
• DNN Partitioning, Task Offloading, and Resource Allocation in Dynamic Vehicular Networks: A Lyapunov-Guided Diffusion-Based Reinforcement Learning Approach [49.56404236394601]
  本稿では,Vehicular Edge Computingにおける共同DNNパーティショニング,タスクオフロード,リソース割り当ての問題を定式化する。 我々の目標は、時間とともにシステムの安定性を保証しながら、DNNベースのタスク完了時間を最小化することである。 拡散モデルの革新的利用を取り入れたマルチエージェント拡散に基づく深層強化学習(MAD2RL)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-06-11T06:31:03Z)
• Machine Learning Insides OptVerse AI Solver: Design Principles and Applications [74.67495900436728]
  本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。 本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。 本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
  論文  参考訳（メタデータ） (2024-01-11T15:02:15Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• Reconfigurable Intelligent Surface Assisted Mobile Edge Computing with Heterogeneous Learning Tasks [53.1636151439562]
  モバイルエッジコンピューティング(MEC)は、AIアプリケーションに自然なプラットフォームを提供します。 再構成可能なインテリジェントサーフェス(RIS)の助けを借りて、MECで機械学習タスクを実行するインフラストラクチャを提示します。 具体的には,モバイルユーザの送信パワー,基地局のビームフォーミングベクトル,risの位相シフト行列を共同で最適化することにより,参加ユーザの学習誤差を最小化する。
  論文  参考訳（メタデータ） (2020-12-25T07:08:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。