論文の概要: WDMoE: Wireless Distributed Large Language Models with Mixture of Experts

• arxiv url: http://arxiv.org/abs/2405.03131v1
• Date: Mon, 6 May 2024 02:55:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-07 14:54:58.393521
• Title: WDMoE: Wireless Distributed Large Language Models with Mixture of Experts
• Title（参考訳）: WDMoE: 専門家の混在によるワイヤレス分散大規模言語モデル
• Authors: Nan Xue, Yaping Sun, Zhiyong Chen, Meixia Tao, Xiaodong Xu, Liang Qian, Shuguang Cui, Ping Zhang,
• Abstract要約: 我々は,Mixture of Experts (MoE)に基づく無線分散大言語モデル(LLM)パラダイムを提案する。 我々は,基地局(BS)とモバイルデバイスにゲーティングネットワークと先行するニューラルネットワーク層を配置することにより,LLM内のMoE層を分解する。 我々は、モデルの性能とエンドツーエンドのレイテンシの両方を考慮して、専門家の選択ポリシーを設計する。
• 参考スコア（独自算出の注目度）: 65.57581050707738
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have achieved significant success in various natural language processing tasks, but how wireless communications can support LLMs has not been extensively studied. In this paper, we propose a wireless distributed LLMs paradigm based on Mixture of Experts (MoE), named WDMoE, deploying LLMs collaboratively across edge servers of base station (BS) and mobile devices in the wireless communications system. Specifically, we decompose the MoE layer in LLMs by deploying the gating network and the preceding neural network layer at BS, while distributing the expert networks across the devices. This arrangement leverages the parallel capabilities of expert networks on distributed devices. Moreover, to overcome the instability of wireless communications, we design an expert selection policy by taking into account both the performance of the model and the end-to-end latency, which includes both transmission delay and inference delay. Evaluations conducted across various LLMs and multiple datasets demonstrate that WDMoE not only outperforms existing models, such as Llama 2 with 70 billion parameters, but also significantly reduces end-to-end latency.
• Abstract（参考訳）: 大規模言語モデル(LLM)は様々な自然言語処理タスクにおいて大きな成功を収めてきたが、無線通信がLLMをサポートする方法については研究されていない。 本稿では,Mixture of Experts (MoE) に基づく無線分散LLMのパラダイムを提案し,無線通信システムにおける基地局(BS) とモバイルデバイスのエッジサーバ間で協調してLLMをデプロイする。 具体的には、ゲートネットワークと先行するニューラルネットワーク層をBSに配置し、専門家ネットワークをデバイス全体に分散させることにより、LEM内のMoE層を分解する。 このアレンジメントは、分散デバイス上のエキスパートネットワークの並列能力を活用する。 さらに、無線通信の不安定性を克服するため、送信遅延と推論遅延の両方を含むモデルの性能とエンドツーエンド遅延の両方を考慮して、専門家の選択ポリシーを設計する。 さまざまなLLMと複数のデータセットで実施された評価によると、WDMoEは、Llama 2のような既存のモデルに700億のパラメータで勝っているだけでなく、エンドツーエンドのレイテンシを大幅に削減している。

関連論文リスト

• R-SFLLM: Jamming Resilient Framework for Split Federated Learning with Large Language Models [83.77114091471822]
  Split Federated Learning (SFL)は、分散機械学習(ML)における計算効率のパラダイムである。 SFLの課題は、特に無線チャネル上に展開する場合、送信されたモデルパラメータが相手のジャミングに感受性を持つことである。 これは、言語理解に不可欠である大規模言語モデル(LLM)における単語埋め込みパラメータに対して特に顕著である。 無線ネットワーク上でのLLM(R-SFLLM)を用いたレジリエンスSFLのための物理層フレームワークを開発した。
  論文  参考訳（メタデータ） (2024-07-16T12:21:29Z)
• Efficient Prompting for LLM-based Generative Internet of Things [88.84327500311464]
  大規模言語モデル(LLM)は、様々なタスクにおいて顕著な能力を示す。 本稿では,テキストベースの生成IoT(GIoT)システムを提案する。
  論文  参考訳（メタデータ） (2024-06-14T19:24:00Z)
• Large Language Models (LLMs) Assisted Wireless Network Deployment in Urban Settings [0.21847754147782888]
  大きな言語モデル(LLM)は、言語理解と人間に似たテキスト生成に革命をもたらした。 本稿では,6G(第6世代)無線通信技術におけるLCMの電力利用技術について検討する。 無線通信におけるネットワーク展開にLLMを利用する新しい強化学習(RL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-22T05:19:51Z)
• NetLLM: Adapting Large Language Models for Networking [36.61572542761661]
  我々は,ネットワーク問題を解決するために,大規模言語モデルを効率的に適応する最初のフレームワークであるNetLLMを提案する。 ネットワークへのLLM適応におけるNetLLMの有効性を実証し、適応されたLLMが最先端のアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-04T04:21:34Z)
• Large Multi-Modal Models (LMMs) as Universal Foundation Models for AI-Native Wireless Systems [57.41621687431203]
  大規模言語モデル (LLM) と基礎モデルは6Gシステムのゲームチェンジャーとして最近注目されている。 本稿では,人工知能(AI)ネイティブネットワークの展開に適したユニバーサルファンデーションモデルを設計するための包括的ビジョンを提案する。
  論文  参考訳（メタデータ） (2024-01-30T00:21:41Z)
• LLM-Twin: Mini-Giant Model-driven Beyond 5G Digital Twin Networking Framework with Semantic Secure Communication and Computation [5.863586088644696]
  本稿では,大規模言語モデル (LLM) によるDTNネットワークフレームワーク LLM-Twin を提案する。 まず, DTN における LLM の効率的な展開を実現するため, 最小限のモデル協調方式を設計する。 そこで本研究では,DTNのためのセマンティックレベルの高効率かつセキュアな通信モデルの設計を行う。
  論文  参考訳（メタデータ） (2023-12-17T07:13:59Z)
• Quantized Federated Learning under Transmission Delay and Outage Constraints [30.892724364965005]
  フェデレートラーニング(Federated Learning)は、無線エッジ内の巨大なモバイルデバイスと協調して機械学習モデルをトレーニングする、実行可能な分散学習パラダイムである。 無線リソースが限られている実用的なシステムでは、多数のモデルパラメータの送信は量子化エラー(QE)と送信停止(TO)に必然的に悩まされる。 我々は,無線リソースと量子化ビットをクライアント間で共同で割り当て,QEを最小化するとともに,クライアントがTO確率を持つようにする,堅牢なFLスキームFedTOEを提案する。
  論文  参考訳（メタデータ） (2021-06-17T11:29:12Z)
• Distributed Learning in Wireless Networks: Recent Progress and Future Challenges [170.35951727508225]
  次世代のワイヤレスネットワークは、エッジデバイスが収集するさまざまな種類のデータを分析する多くの機械学習ツールやアプリケーションを可能にする。 エッジデバイスが生データ交換なしでMLモデルを協調的にトレーニングできるようにする手段として,分散学習と推論技術が提案されている。 本稿では,ワイヤレスエッジネットワーク上で分散学習を効率的に効果的に展開する方法を包括的に研究する。
  論文  参考訳（メタデータ） (2021-04-05T20:57:56Z)
• Wireless for Machine Learning [91.13476340719087]
  我々は、分散データセット上で機械学習サービスをサポートするように設計された最先端のワイヤレス手法について、徹底的にレビューする。 文献にはアナログ・オーバー・ザ・エア計算とMLに最適化されたデジタル無線リソース管理という2つの明確なテーマがある。 このサーベイは、これらのメソッドを包括的に紹介し、最も重要な研究をレビューし、オープンな問題を強調し、アプリケーションのシナリオについて議論する。
  論文  参考訳（メタデータ） (2020-08-31T11:09:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。