論文の概要: LAMBO: Large Language Model Empowered Edge Intelligence

• arxiv url: http://arxiv.org/abs/2308.15078v1
• Date: Tue, 29 Aug 2023 07:25:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-30 15:18:31.151717
• Title: LAMBO: Large Language Model Empowered Edge Intelligence
• Title（参考訳）: LAMBO:エッジインテリジェンスを活用した大規模言語モデル
• Authors: Li Dong, Feibo Jiang, Yubo Peng, Kezhi Wang, Kun Yang, Cunhua Pan, Robert Schober
• Abstract要約: モバイルエッジコンピューティング(MEC)のための LLM-based Offloading (LAMBO) フレームワークを提案する。 i) 入力埋め込み (IE) オフロードシステムの情報を制約で表現し、学習可能なベクターに高品質でプロンプトする (ii) 深いエンコーダと浅いデコーダを持つ意思決定モジュールである非対称エンコーダデコーダ (AED) モデル、 (iv) エキスパートフィードバック (ALEF) からのアクティブラーニング 動的環境変化に対応しながらAEDのデコーダ部分の微調整に使用できる。
• 参考スコア（独自算出の注目度）: 75.14984953011876
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Next-generation edge intelligence is anticipated to bring huge benefits to various applications, e.g., offloading systems. However, traditional deep offloading architectures face several issues, including heterogeneous constraints, partial perception, uncertain generalization, and lack of tractability. In this context, the integration of offloading with large language models (LLMs) presents numerous advantages. Therefore, we propose an LLM-Based Offloading (LAMBO) framework for mobile edge computing (MEC), which comprises four components: (i) Input embedding (IE), which is used to represent the information of the offloading system with constraints and prompts through learnable vectors with high quality; (ii) Asymmetric encoderdecoder (AED) model, which is a decision-making module with a deep encoder and a shallow decoder. It can achieve high performance based on multi-head self-attention schemes; (iii) Actor-critic reinforcement learning (ACRL) module, which is employed to pre-train the whole AED for different optimization tasks under corresponding prompts; and (iv) Active learning from expert feedback (ALEF), which can be used to finetune the decoder part of the AED while adapting to dynamic environmental changes. Our simulation results corroborate the advantages of the proposed LAMBO framework.
• Abstract（参考訳）: 次世代エッジインテリジェンスは、オフロードシステムなど、さまざまなアプリケーションに大きなメリットをもたらすことが期待されている。 しかし、従来のDeep Offloadingアーキテクチャは、不均一な制約、部分的な認識、不確実な一般化、トラクタビリティの欠如など、いくつかの問題に直面している。 この文脈では、大規模な言語モデル(LLM)とのオフロードの統合は多くの利点を示す。 そこで,モバイルエッジコンピューティング (MEC) のための LLM-based Offloading (LAMBO) フレームワークを提案する。 (i) 入力埋め込み(ie)は、高い品質の学習可能なベクトルを通して、制約や促しを伴うオフロードシステムの情報を表現するのに用いられる。 (ii)非対称エンコーダデコーダ(aed)モデルは,深いエンコーダと浅いデコーダを備えた意思決定モジュールである。 マルチヘッド自己注意方式に基づくハイパフォーマンスを実現する。 三 アクタークリティカル強化学習(ACRL)モジュールであって、対応するプロンプトの下で異なる最適化タスクのためにAED全体を事前訓練するために使用されるもの (4) AEDのデコーダ部分を動的環境変化に適応させながら微調整することができる専門家フィードバック(ALEF)からのアクティブラーニング。 シミュレーションの結果,提案する LAMBO フレームワークの利点を裏付けるものである。

関連論文リスト

• Inference Optimization of Foundation Models on AI Accelerators [68.24450520773688]
  トランスフォーマーアーキテクチャを備えた大規模言語モデル(LLM)を含む強力な基礎モデルは、ジェネレーティブAIの新たな時代を支えている。 モデルパラメータの数が数十億に達すると、実際のシナリオにおける推論コストと高いレイテンシーが排除される。 このチュートリアルでは、AIアクセラレータを用いた補完推論最適化テクニックに関する包括的な議論を行っている。
  論文  参考訳（メタデータ） (2024-07-12T09:24:34Z)
• Large Language Models for Power Scheduling: A User-Centric Approach [6.335540414370735]
  本稿では、任意のユーザの音声要求(VRQ)をリソース割り当てベクトルに変換することで、リソーススケジューリング問題に対する新しいアーキテクチャを提案する。 具体的には、要求を最適化問題(OP)に変換するためのLLM意図認識エージェント、LLM OPパラメータ識別エージェント、OP解決エージェントを設計する。
  論文  参考訳（メタデータ） (2024-06-29T15:47:28Z)
• Improving Generalization of Neural Vehicle Routing Problem Solvers Through the Lens of Model Architecture [9.244633039170186]
  本稿では,ESF(Scaling Factor)とDS(Distributed-Specific)デコーダを提案する。 ESFは、様々な大きさのVRPを解く際に、トレーニング中に発見された慣れ親しんだものに対して、モデルの注意重みパターンを調整する。 DSデコーダは、複数の補助光デコーダを通して複数のトレーニング分布パターンのVRPを明示的にモデル化し、モデル表現空間を拡大する。
  論文  参考訳（メタデータ） (2024-06-10T09:03:17Z)
• Exploiting the Layered Intrinsic Dimensionality of Deep Models for Practical Adversarial Training [31.495803865226158]
  対人訓練(AT)は、2つの主要な理由から実践的なAIシステムに展開されることはめったにない。 ATはビジョンモデルにおける一般化の減少をもたらすが、エンコーダベースの言語モデルでは一般化は改善されるか変化しない。 SMAATは標準的なATに比べて25～33%のGPU時間しか必要とせず、全アプリケーションにおけるロバスト性は著しく向上している。
  論文  参考訳（メタデータ） (2024-05-27T12:48:30Z)
• Machine Learning Insides OptVerse AI Solver: Design Principles and Applications [74.67495900436728]
  本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。 本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。 本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
  論文  参考訳（メタデータ） (2024-01-11T15:02:15Z)
• When Parameter-efficient Tuning Meets General-purpose Vision-language Models [65.19127815275307]
  PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。 実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-12-16T17:13:08Z)
• Training Latent Variable Models with Auto-encoding Variational Bayes: A Tutorial [0.0]
  AEVB (Auto-Encoding Variational Bayes) は、潜在変数モデルに適合する強力なアルゴリズムである。 本稿では,従来の期待最大化(EM)アルゴリズムによるAEVBのモチベーションに着目した。
  論文  参考訳（メタデータ） (2022-08-16T16:07:05Z)
• Task-Oriented Sensing, Computation, and Communication Integration for Multi-Device Edge AI [108.08079323459822]
  本稿では,AIモデルの分割推論と統合センシング通信(ISAC)を併用した,新しいマルチインテリジェントエッジ人工レイテンシ(AI)システムについて検討する。 推定精度は近似的だが抽出可能な計量、すなわち判別利得を用いて測定する。
  論文  参考訳（メタデータ） (2022-07-03T06:57:07Z)
• Reconfigurable Intelligent Surface Assisted Mobile Edge Computing with Heterogeneous Learning Tasks [53.1636151439562]
  モバイルエッジコンピューティング(MEC)は、AIアプリケーションに自然なプラットフォームを提供します。 再構成可能なインテリジェントサーフェス(RIS)の助けを借りて、MECで機械学習タスクを実行するインフラストラクチャを提示します。 具体的には,モバイルユーザの送信パワー,基地局のビームフォーミングベクトル,risの位相シフト行列を共同で最適化することにより,参加ユーザの学習誤差を最小化する。
  論文  参考訳（メタデータ） (2020-12-25T07:08:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。