論文の概要: Theory of Mixture-of-Experts for Mobile Edge Computing

• arxiv url: http://arxiv.org/abs/2412.15690v1
• Date: Fri, 20 Dec 2024 09:09:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-23 16:23:17.376027
• Title: Theory of Mixture-of-Experts for Mobile Edge Computing
• Title（参考訳）: モバイルエッジコンピューティングのためのMixture-of-Expertの理論
• Authors: Hongbo Li, Lingjie Duan,
• Abstract要約: モバイルエッジコンピューティングネットワークにおいて,Mixix-of-experts(MoE)理論を導入する。 我々のアプローチは、従来のMECアプローチとは異なり、時間とともに全体的な一般化誤差を一貫して減少させます。 また、ディープニューラルネットワーク(DNN)の実際のデータセットに関する広範な実験を行い、その結果を検証する。
• 参考スコア（独自算出の注目度）: 17.986928810925686
• License:
• Abstract: In mobile edge computing (MEC) networks, mobile users generate diverse machine learning tasks dynamically over time. These tasks are typically offloaded to the nearest available edge server, by considering communication and computational efficiency. However, its operation does not ensure that each server specializes in a specific type of tasks and leads to severe overfitting or catastrophic forgetting of previous tasks. To improve the continual learning (CL) performance of online tasks, we are the first to introduce mixture-of-experts (MoE) theory in MEC networks and save MEC operation from the increasing generalization error over time. Our MoE theory treats each MEC server as an expert and dynamically adapts to changes in server availability by considering data transfer and computation time. Unlike existing MoE models designed for offline tasks, ours is tailored for handling continuous streams of tasks in the MEC environment. We introduce an adaptive gating network in MEC to adaptively identify and route newly arrived tasks of unknown data distributions to available experts, enabling each expert to specialize in a specific type of tasks upon convergence. We derived the minimum number of experts required to match each task with a specialized, available expert. Our MoE approach consistently reduces the overall generalization error over time, unlike the traditional MEC approach. Interestingly, when the number of experts is sufficient to ensure convergence, adding more experts delays the convergence time and worsens the generalization error. Finally, we perform extensive experiments on real datasets in deep neural networks (DNNs) to verify our theoretical results.
• Abstract（参考訳）: モバイルエッジコンピューティング(MEC)ネットワークでは、モバイルユーザーは時間とともに多様な機械学習タスクを動的に生成する。 これらのタスクは通常、通信と計算効率を考慮して、最も近いエッジサーバにオフロードされる。 しかし、その運用は各サーバが特定のタスクに特化していることを保証するものではない。 オンラインタスクの継続学習(CL)性能を改善するため,MECネットワークにMixix-of-experts(MoE)理論を導入し,時間とともに一般化誤差が増大する中,MECの操作を省く。 我々のMOE理論は、各MECサーバを専門家として扱い、データ転送と計算時間を考慮して、サーバの可用性の変化に動的に適応する。 オフラインタスク用に設計された既存のMoEモデルとは異なり、私たちのモデルはMEC環境でのタスクの継続的なストリームを処理するために調整されています。 我々はMECに適応的なゲーティングネットワークを導入し、未知のデータ分布の新しく到着したタスクを、利用可能な専門家に適応的に特定し、ルートし、各専門家が収束に応じて特定のタスクを専門化できるようにする。 私たちは、各タスクを専門の、利用可能な専門家とマッチングするために必要な最低限の専門家を導き出しました。 私たちのMoEアプローチは、従来のMECアプローチとは異なり、時間とともに全体的な一般化エラーを一貫して低減します。 興味深いことに、専門家の数が収束を保証するのに十分であれば、より多くの専門家が収束時間を遅らせ、一般化エラーを悪化させる。 最後に、ディープニューラルネットワーク(DNN)の実際のデータセットに関する広範な実験を行い、理論的結果を検証する。

関連論文リスト

• HoME: Hierarchy of Multi-Gate Experts for Multi-Task Learning at Kuaishou [19.113649341888532]
  クアイショーのショートビデオサービスで学んだ実践的問題と教訓について紹介する。 業界では、広く使われているマルチタスクフレームワークはMixture-of-Experts(MoE)パラダイムである。
  論文  参考訳（メタデータ） (2024-08-10T04:25:48Z)
• Theory on Mixture-of-Experts in Continual Learning [72.42497633220547]
  継続学習(CL)は、時間とともに現れる新しいタスクに適応する能力のため、大きな注目を集めている。 モデルが新しいタスクに適応するにつれて、(古いタスクの)破滅的な忘れがCLの大きな問題として認識されるようになった。 MoEモデルは近年,ゲーティングネットワークを用いることで,CLの破滅的忘れを効果的に軽減することが示されている。
  論文  参考訳（メタデータ） (2024-06-24T08:29:58Z)
• Task-customized Masked AutoEncoder via Mixture of Cluster-conditional Experts [104.9871176044644]
  Masked Autoencoder (MAE) は,モデル事前学習において有望な結果が得られる自己教師型学習手法である。 我々は、新しいMAEベースの事前学習パラダイム、Mixture of Cluster-conditional Experts (MoCE)を提案する。 MoCEは、クラスタ条件ゲートを使用して、各専門家にセマンティックなイメージのみをトレーニングする。
  論文  参考訳（メタデータ） (2024-02-08T03:46:32Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• Pre-training Multi-task Contrastive Learning Models for Scientific Literature Understanding [52.723297744257536]
  事前学習言語モデル(LM)は、科学文献理解タスクにおいて有効であることを示す。 文献理解タスク間の共通知識共有を容易にするために,マルチタスクのコントラスト学習フレームワークであるSciMultを提案する。
  論文  参考訳（メタデータ） (2023-05-23T16:47:22Z)
• Network Anomaly Detection Using Federated Learning [0.483420384410068]
  我々は、効率的なネットワーク異常検出を可能にする堅牢でスケーラブルなフレームワークを導入する。 複数の参加者が共同でグローバルモデルをトレーニングするフェデレーション学習を活用します。 提案手法はUNSW-NB15データセットのベースライン機械学習手法よりも優れている。
  論文  参考訳（メタデータ） (2023-03-13T20:16:30Z)
• TAME: Task Agnostic Continual Learning using Multiple Experts [9.89894348908034]
  本稿では,タスクの同一性が分かっておらず,学習機械が観察からそれらを推測する必要がある,いわゆるタスク非依存の設定に焦点を当てる。 我々はTAME(Task-Agnostic continual learning using Multiple Experts)と呼ぶアルゴリズムを用いて,タスクエキスパートネットワーク間のデータ分散と切り替えを自動的にオンラインに検出する。 実験の結果,提案手法が連続学習データセットのベンチマークに有効であること,従来のタスク非依存手法よりも優れていること,さらにはトレーニングとテストの両方においてタスクの同一性を認める技術が示された。
  論文  参考訳（メタデータ） (2022-10-08T01:23:30Z)
• MoEC: Mixture of Expert Clusters [93.63738535295866]
  Sparsely Mixture of Experts (MoE)は、安価な計算オーバーヘッドを持つ有望なスケーリング能力のため、大きな関心を集めている。 MoEは密度の高い層をスパースの専門家に変換し、ゲートルーティングネットワークを使用して専門家を条件付きで活性化させる。 しかし、専門家の数が増加するにつれて、乱雑なパラメータを持つMoEはデータアロケーションの過度な調整とスパースに悩まされる。
  論文  参考訳（メタデータ） (2022-07-19T06:09:55Z)
• Dif-MAML: Decentralized Multi-Agent Meta-Learning [54.39661018886268]
  我々は,MAML や Dif-MAML と呼ばれる協調型マルチエージェントメタ学習アルゴリズムを提案する。 提案手法により, エージェントの集合が線形速度で合意に達し, 集約MAMLの定常点に収束できることを示す。 シミュレーションの結果は従来の非協調的な環境と比較して理論的な結果と優れた性能を示している。
  論文  参考訳（メタデータ） (2020-10-06T16:51:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。