論文の概要: Pushing Large Language Models to the 6G Edge: Vision, Challenges, and
Opportunities
- arxiv url: http://arxiv.org/abs/2309.16739v3
- Date: Mon, 4 Mar 2024 12:17:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-05 22:03:54.158697
- Title: Pushing Large Language Models to the 6G Edge: Vision, Challenges, and
Opportunities
- Title(参考訳): 大規模言語モデルを6Gエッジにプッシュする - ビジョン,課題,機会
- Authors: Zheng Lin, Guanqiao Qu, Qiyuan Chen, Xianhao Chen, Zhe Chen and Kaibin
Huang
- Abstract要約: 大規模言語モデル(LLM)はAI開発に革命をもたらし、私たちの未来を形作る可能性がある。
1) 長時間の応答時間、2) 帯域幅のコスト、3) データプライバシの侵害。
6Gモバイルエッジコンピューティング(MEC)システムは、これらのプレス問題を解決できるかもしれない。
本稿は,6GエッジにおけるLCMのモチベーション,課題,経路を徹底的に特定するためのポジションペーパーとして機能する。
- 参考スコア(独自算出の注目度): 32.035405009895264
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs), which have shown remarkable capabilities, are
revolutionizing AI development and potentially shaping our future. However,
given their multimodality, the status quo cloud-based deployment faces some
critical challenges: 1) long response time; 2) high bandwidth costs; and 3) the
violation of data privacy. 6G mobile edge computing (MEC) systems may resolve
these pressing issues. In this article, we explore the potential of deploying
LLMs at the 6G edge. We start by introducing killer applications powered by
multimodal LLMs, including robotics and healthcare, to highlight the need for
deploying LLMs in the vicinity of end users. Then, we identify the critical
challenges for LLM deployment at the edge and envision the 6G MEC architecture
for LLMs. Furthermore, we delve into two design aspects, i.e., edge training
and edge inference for LLMs. In both aspects, considering the inherent resource
limitations at the edge, we discuss various cutting-edge techniques, including
split learning/inference, parameter-efficient fine-tuning, quantization, and
parameter-sharing inference, to facilitate the efficient deployment of LLMs.
This article serves as a position paper for thoroughly identifying the
motivation, challenges, and pathway for empowering LLMs at the 6G edge.
- Abstract(参考訳): 目覚ましい能力を示す大規模言語モデル(LLM)は、AI開発に革命をもたらし、私たちの未来を形作る可能性がある。
しかし、そのマルチモダリティを考えると、現状はクラウドベースのデプロイメントにはいくつかの重大な課題に直面している。
1) 長時間の応答時間
2) 高い帯域幅コスト, そして
3)データプライバシーの侵害。
6Gモバイルエッジコンピューティング(MEC)システムは、これらのプレス問題を解決できるかもしれない。
本稿では,LLMを6Gエッジに展開する可能性について検討する。
まず、ロボットやヘルスケアを含むマルチモーダル LLM を利用したキラーアプリケーションを導入し、エンドユーザの近傍に LLM をデプロイする必要性を強調します。
次に,LLMをエッジに配置する上で重要な課題を特定し,LLMの6G MECアーキテクチャを想定する。
さらに,LLMのエッジトレーニングとエッジ推論という,2つの設計側面を探索する。
両側面において,エッジの固有資源制限を考慮して,スプリットラーニング/インファレンス,パラメータ効率の良い微調整,量子化,パラメータ共有推論など様々な最先端技術について検討し,llmの効率的な展開を容易にする。
本稿は,6GエッジにおけるLCMのモチベーション,課題,経路を徹底的に特定するためのポジションペーパーとして機能する。
関連論文リスト
- FuseChat: Knowledge Fusion of Chat Models [54.05930586705375]
textscFuseChatはチャットLLMの融合を実現するフレームワークである。
textttFuseChat は texttGPT-3.5 (3月) よりも優れており、 textttMixtral-8x7B-Instruct に近づいている。
論文 参考訳(メタデータ) (2024-02-25T15:11:58Z) - Unmemorization in Large Language Models via Self-Distillation and
Deliberate Imagination [58.36408867180233]
大規模言語モデル(LLM)は、プライバシー侵害や機密データの不要な露出といった重要な問題に苦慮している。
我々は、LLMアンラーニングの文脈において、意図的な想像力という新しいアプローチを導入する。
本研究は,異なるモデルとサイズにまたがるこのアプローチの有用性を示し,パラメータ効率の良い微調整を行った。
論文 参考訳(メタデータ) (2024-02-15T16:21:14Z) - Knowledge Fusion of Large Language Models [73.28202188100646]
本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。
我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。
この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
論文 参考訳(メタデータ) (2024-01-19T05:02:46Z) - Federated Fine-Tuning of LLMs on the Very Edge: The Good, the Bad, the Ugly [62.473245910234304]
本稿では,最新のエッジコンピューティングシステムにおいて,Large Language Modelsをどのように導入できるかを,ハードウェア中心のアプローチで検討する。
マイクロレベルのハードウェアベンチマークを行い、FLOPモデルと最先端のデータセンターGPUを比較し、現実的な条件下でのネットワーク利用について検討する。
論文 参考訳(メタデータ) (2023-10-04T20:27:20Z) - Investigating Answerability of LLMs for Long-Form Question Answering [35.41413072729483]
実用的で影響力のある応用がいくつかあるので、長文質問応答(LFQA)に焦点を当てる。
本稿では,要約の要約から質問生成手法を提案し,長い文書の要約からフォローアップ質問を生成することで,困難な設定を実現できることを示す。
論文 参考訳(メタデータ) (2023-09-15T07:22:56Z) - RRAML: Reinforced Retrieval Augmented Machine Learning [10.94680155282906]
我々はReinforced Retrieval Augmented Machine Learning (RRAML)と呼ばれる新しいフレームワークを提案する。
RRAMLは、大規模な言語モデルの推論機能と、巨大なユーザが提供するデータベースから目的に構築された検索者によって取得された情報を統合する。
この論文で概説された研究課題は、AIの分野に大きな影響を与える可能性があると信じている。
論文 参考訳(メタデータ) (2023-07-24T13:51:19Z) - Think-on-Graph: Deep and Responsible Reasoning of Large Language Model on Knowledge Graph [29.447300472617826]
Think-on-Graph (ToG)は、大規模言語モデル(LLM)における外部知識グラフ(KG)に対する新しいアプローチである。
ToGはKG上でビームサーチを繰り返し実行し、最も有望な推論経路を発見し、最も可能性の高い推論結果を返す。
ToGは、以前のSOTAが追加トレーニングに依存する9つのデータセットのうち6つで、全体的なSOTAを達成する。
論文 参考訳(メタデータ) (2023-07-15T03:31:38Z) - How Can Recommender Systems Benefit from Large Language Models: A Survey [83.90471827695625]
大きな言語モデル(LLM)は、印象的な汎用知性と人間のような能力を示している。
我々は,実世界のレコメンデータシステムにおけるパイプライン全体の観点から,この研究の方向性を包括的に調査する。
論文 参考訳(メタデータ) (2023-06-09T11:31:50Z) - LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。
タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。
LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
論文 参考訳(メタデータ) (2023-05-19T12:10:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。