論文の概要: Mixture-of-Experts for Distributed Edge Computing with Channel-Aware Gating Function

• arxiv url: http://arxiv.org/abs/2504.00819v1
• Date: Tue, 01 Apr 2025 14:05:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 15:43:09.121704
• Title: Mixture-of-Experts for Distributed Edge Computing with Channel-Aware Gating Function
• Title（参考訳）: チャネル対応ゲーティング関数を用いた分散エッジコンピューティングのためのMixture-of-Experts
• Authors: Qiuchen Song, Shusen Jing, Shuai Zhang, Songyang Zhang, Chuan Huang,
• Abstract要約: 無線分散MoEのための新しいチャネル認識ゲーティング機能を提案する。 我々は,各専門家の通信チャネルに対する各種信号対雑音比(SNR)をシミュレートし,これらのSNRに基づいて専門家に配布される特徴に雑音を加える。 ゲーティング関数は、専門家の選択を最適化するために、機能とSNRの両方を利用する。
• 参考スコア（独自算出の注目度）: 27.38612464868348
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In a distributed mixture-of-experts (MoE) system, a server collaborates with multiple specialized expert clients to perform inference. The server extracts features from input data and dynamically selects experts based on their areas of specialization to produce the final output. Although MoE models are widely valued for their flexibility and performance benefits, adapting distributed MoEs to operate effectively in wireless networks has remained unexplored. In this work, we introduce a novel channel-aware gating function for wireless distributed MoE, which incorporates channel conditions into the MoE gating mechanism. To train the channel-aware gating, we simulate various signal-to-noise ratios (SNRs) for each expert's communication channel and add noise to the features distributed to the experts based on these SNRs. The gating function then utilizes both features and SNRs to optimize expert selection. Unlike conventional MoE models which solely consider the alignment of features with the specializations of experts, our approach additionally considers the impact of channel conditions on expert performance. Experimental results demonstrate that the proposed channel-aware gating scheme outperforms traditional MoE models.
• Abstract（参考訳）: 分散Mixix-of-Experts(MoE)システムでは、サーバは複数の専門的なクライアントと協調して推論を行う。 サーバは入力データから特徴を抽出し、専門分野に基づいて専門家を動的に選択し、最終的な出力を生成する。 MoEモデルは、その柔軟性と性能の利点から広く評価されているが、無線ネットワークで効果的に運用するために分散MoEを適用することは、まだ探索されていない。 本研究では,MoEゲーティング機構にチャネル条件を組み込んだ無線分散MoEのための新しいチャネル認識ゲーティング機能を提案する。 チャネル認識ゲーティングを訓練するために、各専門家の通信チャネルに対して様々な信号対雑音比(SNR)をシミュレートし、これらのSNRに基づいて専門家に配布される特徴に雑音を加える。 ゲーティング関数は、専門家の選択を最適化するために、機能とSNRの両方を利用する。 特徴のアライメントを専門家の専門化とのみ考慮する従来のMoEモデルとは異なり,本稿では,チャネル条件が専門家のパフォーマンスに与える影響についても検討する。 実験により,提案手法は従来のMoEモデルよりも優れた性能を示した。

関連論文リスト

• WDMoE: Wireless Distributed Mixture of Experts for Large Language Models [68.45482959423323]
  大規模言語モデル(LLM)は様々な自然言語処理タスクにおいて大きな成功を収めた。 本稿では,無線ネットワーク上での基地局(BS)およびモバイルデバイスにおけるエッジサーバ間のLLMの協調展開を実現するために,無線分散Mixture of Experts(WDMoE)アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-11-11T02:48:00Z)
• On Expert Estimation in Hierarchical Mixture of Experts: Beyond Softmax Gating Functions [29.130355774088205]
  Hierarchical Mixture of Experts (HMoE)は、複雑な入力の処理とターゲットタスクのパフォーマンス向上に長けている。 我々の分析では,従来のHMoEフレームワークにおけるSoftmaxゲーティングよりもLaplaceゲーティング関数を使うことの利点を強調した。 様々なシナリオにまたがる実証的な検証は、これらの理論的な主張を支持している。
  論文  参考訳（メタデータ） (2024-10-03T19:28:52Z)
• Mixture of Efficient Diffusion Experts Through Automatic Interval and Sub-Network Selection [63.96018203905272]
  本稿では, 事前学習した拡散モデルを用いて, 効率の良い専門家の混入を図り, サンプリングコストを削減することを提案する。 提案手法であるDiffPruningの有効性を,複数のデータセットで示す。
  論文  参考訳（メタデータ） (2024-09-23T21:27:26Z)
• WDMoE: Wireless Distributed Large Language Models with Mixture of Experts [65.57581050707738]
  我々は,Mixture of Experts (MoE)に基づく無線分散大言語モデル(LLM)パラダイムを提案する。 我々は,基地局(BS)とモバイルデバイスにゲーティングネットワークと先行するニューラルネットワーク層を配置することにより,LLM内のMoE層を分解する。 我々は、モデルの性能とエンドツーエンドのレイテンシの両方を考慮して、専門家の選択ポリシーを設計する。
  論文  参考訳（メタデータ） (2024-05-06T02:55:50Z)
• Performance Characterization of Expert Router for Scalable LLM Inference [0.4726677580049183]
  大規模言語モデル(LLM)は、科学や産業の領域で広く採用されている。 最適なスループットとレイテンシで、これらのモデルを大規模にデプロイし、提供することは、依然として大きな課題です。 本稿では、専門的な専門家モデルに向け、スケーラブルなルーティングアーキテクチャであるExpert Routerを紹介する。
  論文  参考訳（メタデータ） (2024-04-22T16:33:42Z)
• On Least Square Estimation in Softmax Gating Mixture of Experts [78.3687645289918]
  決定論的MoEモデルに基づく最小二乗推定器(LSE)の性能について検討する。 我々は,多種多様な専門家関数の収束挙動を特徴付けるために,強い識別可能性という条件を確立する。 本研究は,専門家の選択に重要な意味を持つ。
  論文  参考訳（メタデータ） (2024-02-05T12:31:18Z)
• Efficient Deweather Mixture-of-Experts with Uncertainty-aware Feature-wise Linear Modulation [44.43376913419967]
  本稿では,専門家間での重み共有が可能なMixture-of-Experts(MoE)アーキテクチャを提案する。 MoFMEは、単一の共有専門家ブロック上で学習可能なアクティベーション変調を通じて、暗黙的に複数の専門家をインスタンス化する。 実験の結果,MoFMEは画像修復品質の基準線を0.1-0.2dBで上回ることがわかった。
  論文  参考訳（メタデータ） (2023-12-27T15:23:37Z)
• Soft Merging of Experts with Adaptive Routing [38.962451264172856]
  適応ルーティングによるエキスパートのソフトマージ(SMEAR)について紹介する SMEARは、専門家のパラメータの重み付け平均を通して構築された単一の「マージされた」専門家を使用することで、離散的なルーティングを避ける。 我々は,メタデータに基づいた経路モデルや,勾配推定によるスパースルーティングを学習するSMEARモデルを用いたモデルの有効性を実証的に検証した。
  論文  参考訳（メタデータ） (2023-06-06T15:04:31Z)
• MoEC: Mixture of Expert Clusters [93.63738535295866]
  Sparsely Mixture of Experts (MoE)は、安価な計算オーバーヘッドを持つ有望なスケーリング能力のため、大きな関心を集めている。 MoEは密度の高い層をスパースの専門家に変換し、ゲートルーティングネットワークを使用して専門家を条件付きで活性化させる。 しかし、専門家の数が増加するにつれて、乱雑なパラメータを持つMoEはデータアロケーションの過度な調整とスパースに悩まされる。
  論文  参考訳（メタデータ） (2022-07-19T06:09:55Z)
• Operation-Aware Soft Channel Pruning using Differentiable Masks [51.04085547997066]
  本稿では,データ駆動型アルゴリズムを提案する。このアルゴリズムは,操作特性を利用して,ディープニューラルネットワークを異なる方法で圧縮する。 我々は大規模な実験を行い、出力ネットワークの精度で優れた性能を達成する。
  論文  参考訳（メタデータ） (2020-07-08T07:44:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。