論文の概要: Pushing Large Language Models to the 6G Edge: Vision, Challenges, and Opportunities

• arxiv url: http://arxiv.org/abs/2309.16739v2
• Date: Mon, 4 Mar 2024 12:17:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-05 20:34:32.694086
• Title: Pushing Large Language Models to the 6G Edge: Vision, Challenges, and Opportunities
• Title（参考訳）: 大規模言語モデルを6Gエッジにプッシュする - ビジョン,課題,機会
• Authors: Zheng Lin, Guanqiao Qu, Qiyuan Chen, Xianhao Chen, Zhe Chen and Kaibin Huang
• Abstract要約: 大規模言語モデル(LLM)はAI開発に革命をもたらし、私たちの未来を形作る可能性がある。 1) 長時間の応答時間、2) 帯域幅のコスト、3) データプライバシの侵害。 6Gモバイルエッジコンピューティング(MEC)システムは、これらのプレス問題を解決できるかもしれない。 本稿は,6GエッジにおけるLCMのモチベーション,課題,経路を徹底的に特定するためのポジションペーパーとして機能する。
• 参考スコア（独自算出の注目度）: 32.035405009895264
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs), which have shown remarkable capabilities, are revolutionizing AI development and potentially shaping our future. However, given their multimodality, the status quo cloud-based deployment faces some critical challenges: 1) long response time; 2) high bandwidth costs; and 3) the violation of data privacy. 6G mobile edge computing (MEC) systems may resolve these pressing issues. In this article, we explore the potential of deploying LLMs at the 6G edge. We start by introducing killer applications powered by multimodal LLMs, including robotics and healthcare, to highlight the need for deploying LLMs in the vicinity of end users. Then, we identify the critical challenges for LLM deployment at the edge and envision the 6G MEC architecture for LLMs. Furthermore, we delve into two design aspects, i.e., edge training and edge inference for LLMs. In both aspects, considering the inherent resource limitations at the edge, we discuss various cutting-edge techniques, including split learning/inference, parameter-efficient fine-tuning, quantization, and parameter-sharing inference, to facilitate the efficient deployment of LLMs. This article serves as a position paper for thoroughly identifying the motivation, challenges, and pathway for empowering LLMs at the 6G edge.
• Abstract（参考訳）: 目覚ましい能力を示す大規模言語モデル(LLM)は、AI開発に革命をもたらし、私たちの未来を形作る可能性がある。 しかし、そのマルチモダリティを考えると、現状はクラウドベースのデプロイメントにはいくつかの重大な課題に直面している。 1) 長時間の応答時間 2) 高い帯域幅コスト, そして 3)データプライバシーの侵害。 6Gモバイルエッジコンピューティング(MEC)システムは、これらのプレス問題を解決できるかもしれない。 本稿では,LLMを6Gエッジに展開する可能性について検討する。 まず、ロボットやヘルスケアを含むマルチモーダル LLM を利用したキラーアプリケーションを導入し、エンドユーザの近傍に LLM をデプロイする必要性を強調します。 次に,LLMをエッジに配置する上で重要な課題を特定し,LLMの6G MECアーキテクチャを想定する。 さらに,LLMのエッジトレーニングとエッジ推論という,2つの設計側面を探索する。 両側面において,エッジの固有資源制限を考慮して,スプリットラーニング/インファレンス,パラメータ効率の良い微調整,量子化,パラメータ共有推論など様々な最先端技術について検討し,llmの効率的な展開を容易にする。 本稿は,6GエッジにおけるLCMのモチベーション,課題,経路を徹底的に特定するためのポジションペーパーとして機能する。

関連論文リスト

• When Machine Unlearning Meets Retrieval-Augmented Generation (RAG): Keep Secret or Forget Knowledge? [15.318301783084681]
  大規模言語モデル(LLM)は、トレーニング中に機密情報や有害なコンテンツを不注意に学習し、保持することができる。 本稿では,RAG(Retrieval-Augmented Generation)技術に基づく軽量なアンラーニングフレームワークを提案する。 われわれはChatGPT, Gemini, Llama-2-7b-chat-hf, PaLM 2 など,オープンソースおよびクローズドソースモデルの広範な実験を通じてフレームワークを評価する。
  論文  参考訳（メタデータ） (2024-10-20T03:51:01Z)
• From LLMs to LLM-based Agents for Software Engineering: A Survey of Current, Challenges and Future [15.568939568441317]
  本稿では,大規模言語モデル (LLM) と LLM をベースとしたソフトウェア工学エージェントの実践とソリューションについて検討する。 特に、要件エンジニアリング、コード生成、自律的な意思決定、ソフトウェア設計、テスト生成、ソフトウェアメンテナンスの6つの主要なトピックを要約します。 我々は、使用するモデルとベンチマークについて論じ、ソフトウェア工学におけるそれらの応用と有効性について包括的に分析する。
  論文  参考訳（メタデータ） (2024-08-05T14:01:15Z)
• Mobile Edge Intelligence for Large Language Models: A Contemporary Survey [32.22789677882933]
  モバイルエッジインテリジェンス(MEI)は、クラウドコンピューティングに対するプライバシとレイテンシを改善した、モバイルネットワークのエッジ内のAI機能を提供する。 MEIはデバイス上のAIとクラウドベースのAIの間に位置し、無線通信とエンドユーザよりも強力なコンピューティングリソースを備えている。 本稿では,LLMのMEI活用に関する現代の調査を紹介する。
  論文  参考訳（メタデータ） (2024-07-09T13:47:05Z)
• New Solutions on LLM Acceleration, Optimization, and Application [14.995654657013741]
  大規模言語モデル (LLM) は、様々な応用において人間のような文章を解釈・生成する能力を持つ非常に強力な機器となっている。 しかし、LLMのサイズと複雑さの増大は、トレーニングとデプロイメントの両方において大きな課題をもたらしている。 これらの課題に対処するための最近の進歩と研究の方向性について概観する。
  論文  参考訳（メタデータ） (2024-06-16T11:56:50Z)
• Efficient Prompting for LLM-based Generative Internet of Things [88.84327500311464]
  大規模言語モデル(LLM)は、様々なタスクにおいて顕著な能力を示しており、最近、IoT(Internet of Things)アプリケーションにLLMの能力を統合することが研究の注目を集めている。 セキュリティ上の懸念から、多くの機関は最先端の商用LLMサービスへのアクセスを避け、ローカルネットワーク環境でのオープンソースLLMのデプロイと利用を必要としている。 本研究では,LLMを用いた生成IoT(Generative IoT)システムを提案する。
  論文  参考訳（メタデータ） (2024-06-14T19:24:00Z)
• Large Language Models (LLMs) Assisted Wireless Network Deployment in Urban Settings [0.21847754147782888]
  大きな言語モデル(LLM)は、言語理解と人間に似たテキスト生成に革命をもたらした。 本稿では,6G(第6世代)無線通信技術におけるLCMの電力利用技術について検討する。 無線通信におけるネットワーク展開にLLMを利用する新しい強化学習(RL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-22T05:19:51Z)
• Knowledge Fusion of Large Language Models [73.28202188100646]
  本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。 我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。 この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
  論文  参考訳（メタデータ） (2024-01-19T05:02:46Z)
• Video Understanding with Large Language Models: A Survey [97.29126722004949]
  言語・マルチモーダルタスクにおける大規模言語モデル(LLM)の顕著な機能を考えると,近年の映像理解の進歩について概観する。 Vid-LLMの創発的能力は驚くほど進歩しており、特にオープンな多粒性推論能力がある。 本調査は,Vid-LLMのタスク,データセット,ベンチマーク,評価方法論に関する総合的研究である。
  論文  参考訳（メタデータ） (2023-12-29T01:56:17Z)
• Federated Fine-Tuning of LLMs on the Very Edge: The Good, the Bad, the Ugly [62.473245910234304]
  本稿では,最新のエッジコンピューティングシステムにおいて,Large Language Modelsをどのように導入できるかを,ハードウェア中心のアプローチで検討する。 マイクロレベルのハードウェアベンチマークを行い、FLOPモデルと最先端のデータセンターGPUを比較し、現実的な条件下でのネットワーク利用について検討する。
  論文  参考訳（メタデータ） (2023-10-04T20:27:20Z)
• How Can Recommender Systems Benefit from Large Language Models: A Survey [82.06729592294322]
  大きな言語モデル(LLM)は、印象的な汎用知性と人間のような能力を示している。 我々は,実世界のレコメンデータシステムにおけるパイプライン全体の観点から,この研究の方向性を包括的に調査する。
  論文  参考訳（メタデータ） (2023-06-09T11:31:50Z)
• LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
  大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。 タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
  論文  参考訳（メタデータ） (2023-05-19T12:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。