Fugu-MT 論文翻訳(概要): Mobile Edge Intelligence for Large Language Models: A Contemporary Survey

論文の概要: Mobile Edge Intelligence for Large Language Models: A Contemporary Survey

arxiv url: http://arxiv.org/abs/2407.18921v1
Date: Tue, 9 Jul 2024 13:47:05 GMT
ステータス: 処理完了
システム内更新日: 2024-08-05 01:25:56.711091
Title: Mobile Edge Intelligence for Large Language Models: A Contemporary Survey
Title（参考訳）: 大規模言語モデルのためのモバイルエッジインテリジェンス:現代調査
Authors: Guanqiao Qu, Qiyuan Chen, Wei Wei, Zheng Lin, Xianhao Chen, Kaibin Huang,
Abstract要約: モバイルエッジインテリジェンス(MEI)は、クラウドコンピューティングに対するプライバシとレイテンシを改善した、モバイルネットワークのエッジ内のAI機能を提供する。 MEIはデバイス上のAIとクラウドベースのAIの間に位置し、無線通信とエンドユーザよりも強力なコンピューティングリソースを備えている。本稿では,LLMのMEI活用に関する現代の調査を紹介する。
参考スコア（独自算出の注目度）: 32.22789677882933
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: On-device large language models (LLMs), referring to running LLMs on edge devices, have raised considerable interest owing to their superior privacy, reduced latency, and bandwidth saving. Nonetheless, the capabilities of on-device LLMs are intrinsically constrained by the limited capacity of edge devices compared to the much more powerful cloud centers. To bridge the gap between cloud-based and on-device AI, mobile edge intelligence (MEI) presents a viable solution to this problem by provisioning AI capabilities within the edge of mobile networks with improved privacy and latency relative to cloud computing. MEI sits between on-device AI and cloud-based AI, featuring wireless communications and more powerful computing resources than end devices. This article provides a contemporary survey on harnessing MEI for LLMs. We first cover the preliminaries of LLMs, starting with LLMs and MEI, followed by resource-efficient LLM techniques. We then illustrate several killer applications to demonstrate the need for deploying LLMs at the network edge and present an architectural overview of MEI for LLMs (MEI4LLM). Subsequently, we delve into various aspects of MEI4LLM, extensively covering edge LLM caching and delivery, edge LLM training, and edge LLM inference. Finally, we identify future research opportunities. We aim to inspire researchers in the field to leverage mobile edge computing to facilitate LLM deployment in close proximity to users, thereby unleashing the potential of LLMs across various privacy- and delay-sensitive applications.
Abstract（参考訳）: エッジデバイス上でLLMを実行するオンデバイス大型言語モデル(LLM)は、プライバシーやレイテンシの低減、帯域幅の削減などにより、大きな関心を集めている。それでも、オンデバイスLCMの能力は、より強力なクラウドセンターと比較してエッジデバイスの限られた容量によって本質的に制限されている。クラウドベースとオンデバイスAIのギャップを埋めるために、モバイルエッジインテリジェンス(MEI)は、クラウドコンピューティングに対するプライバシとレイテンシを改善したモバイルネットワークのエッジにAI機能をプロビジョニングすることで、この問題に対して実行可能なソリューションを提供する。 MEIはデバイス上のAIとクラウドベースのAIの間に位置し、無線通信とエンドユーザよりも強力なコンピューティングリソースを備えている。本稿では,LLMのMEI活用に関する現代の調査を紹介する。まず LLM と MEI から始め, 資源効率のよい LLM 技術について概説する。次に、ネットワークエッジにLLMをデプロイする必要性を示すキラーアプリケーションをいくつか紹介し、MEI for LLM(MEI4LLM)のアーキテクチャ概要を示す。その後,MEI4LLM の様々な側面を探索し,エッジ LLM キャッシングと配信,エッジ LLM トレーニング,エッジ LLM 推論を広範囲に網羅した。最後に,今後の研究の機会を特定する。我々は,モバイルエッジコンピューティングを活用してユーザと近接してLLMをデプロイし,様々なプライバシや遅延に敏感なアプリケーションにLLMの可能性を開放することを目的としている。

関連論文リスト

NVCiM-PT: An NVCiM-assisted Prompt Tuning Framework for Edge LLMs [21.975885198257664]
エッジデバイスにデプロイされる大規模言語モデル(LLM)は、限られたリソース制約の下でユーザ生成データからモデルパラメータを微調整する必要がある。既存の学習手法の多くは、高いリソースと低い学習能力に依存しているため、エッジLLMには適用できない。我々は新しいNVCiM支援PTフレームワークを導入し、コア演算を行列行列乗法に絞り込む。
論文参考訳（メタデータ） (2024-11-12T23:43:20Z)
Dynamic Fog Computing for Enhanced LLM Execution in Medical Applications [1.0500536774309863]
大きな言語モデル(LLM)は、大量の異種データを変換し、解釈し、理解することができる。保護された健康情報(PHI)の繊細な性質は、データプライバシとリモートLLMプラットフォームへの信頼に関する有効な懸念を提起する。我々は,LLM実行環境を,不透明で集中型のクラウドプロバイダから分散型の動的フォグコンピューティングアーキテクチャに移行することを提案する。
論文参考訳（メタデータ） (2024-08-08T04:49:21Z)
From LLMs to LLM-based Agents for Software Engineering: A Survey of Current, Challenges and Future [15.568939568441317]
本稿では,大規模言語モデル (LLM) と LLM をベースとしたソフトウェア工学エージェントの実践とソリューションについて検討する。特に、要件エンジニアリング、コード生成、自律的な意思決定、ソフトウェア設計、テスト生成、ソフトウェアメンテナンスの6つの主要なトピックを要約します。我々は、使用するモデルとベンチマークについて論じ、ソフトウェア工学におけるそれらの応用と有効性について包括的に分析する。
論文参考訳（メタデータ） (2024-08-05T14:01:15Z)
Efficient Prompting for LLM-based Generative Internet of Things [88.84327500311464]
大規模言語モデル(LLM)は、様々なタスクにおいて顕著な能力を示しており、最近、IoT(Internet of Things)アプリケーションにLLMの能力を統合することが研究の注目を集めている。セキュリティ上の懸念から、多くの機関は最先端の商用LLMサービスへのアクセスを避け、ローカルネットワーク環境でのオープンソースLLMのデプロイと利用を必要としている。本研究では,LLMを用いた生成IoT(Generative IoT)システムを提案する。
論文参考訳（メタデータ） (2024-06-14T19:24:00Z)
Knowledge Fusion of Large Language Models [73.28202188100646]
本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
論文参考訳（メタデータ） (2024-01-19T05:02:46Z)
When Large Language Model Agents Meet 6G Networks: Perception, Grounding, and Alignment [100.58938424441027]
モバイル端末とエッジサーバの協調を利用した6GネットワークにおけるAIエージェントの分割学習システムを提案する。提案システムでは,LLMのための新しいモデルキャッシングアルゴリズムを導入し,コンテキストにおけるモデル利用を改善する。
論文参考訳（メタデータ） (2024-01-15T15:20:59Z)
Video Understanding with Large Language Models: A Survey [97.29126722004949]
言語・マルチモーダルタスクにおける大規模言語モデル(LLM)の顕著な機能を考えると,近年の映像理解の進歩について概観する。 Vid-LLMの創発的能力は驚くほど進歩しており、特にオープンな多粒性推論能力がある。本調査は,Vid-LLMのタスク,データセット,ベンチマーク,評価方法論に関する総合的研究である。
論文参考訳（メタデータ） (2023-12-29T01:56:17Z)
LLM360: Towards Fully Transparent Open-Source LLMs [89.05970416013403]
LLM360の目標は、すべての人がエンドツーエンドのトレーニングプロセスを透過的かつ再現可能にすることで、オープンで協力的なAI研究を支援することである。 LLM360の最初のステップとして、スクラッチから事前トレーニングされた2つの7BパラメータLSM、AmberとCrystalCoder、トレーニングコード、データ、中間チェックポイント、分析をリリースする。
論文参考訳（メタデータ） (2023-12-11T17:39:00Z)
Federated Fine-Tuning of LLMs on the Very Edge: The Good, the Bad, the Ugly [62.473245910234304]
本稿では,最新のエッジコンピューティングシステムにおいて,Large Language Modelsをどのように導入できるかを,ハードウェア中心のアプローチで検討する。マイクロレベルのハードウェアベンチマークを行い、FLOPモデルと最先端のデータセンターGPUを比較し、現実的な条件下でのネットワーク利用について検討する。
論文参考訳（メタデータ） (2023-10-04T20:27:20Z)
Revolutionizing Mobile Interaction: Enabling a 3 Billion Parameter GPT LLM on Mobile [0.0]
本稿では, 数十億のパラメータを持つLCMを, ネットワーク接続のないモバイルデバイス上で直接実行できる未来を想定する, LLM推論に対する革新的なアプローチを提案する。この記事は、30億のパラメータを持つ微調整のGPT LLMを紹介し、4GBのメモリを持つデバイス上でスムーズに動作可能である。ネイティブコードとモデル量子化技術の統合により、アプリケーションは汎用アシスタントとして機能するだけでなく、テキスト対アクション機能とのシームレスなモバイルインタラクションを促進する。
論文参考訳（メタデータ） (2023-09-29T16:30:49Z)
Pushing Large Language Models to the 6G Edge: Vision, Challenges, and Opportunities [32.035405009895264]
大規模言語モデル(LLM)はAI開発に革命をもたらし、私たちの未来を形作る可能性がある。 1) 長時間の応答時間、2) 帯域幅のコスト、3) データプライバシの侵害。 6Gモバイルエッジコンピューティング(MEC)システムは、これらのプレス問題を解決できるかもしれない。本稿は,6GエッジにおけるLCMのモチベーション,課題,経路を徹底的に特定するためのポジションペーパーとして機能する。
論文参考訳（メタデータ） (2023-09-28T06:22:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。