論文の概要: FaaSMoE: A Serverless Framework for Multi-Tenant Mixture-of-Experts Serving

• arxiv url: http://arxiv.org/abs/2604.26881v1
• Date: Wed, 29 Apr 2026 16:47:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-30 15:59:36.499712
• Title: FaaSMoE: A Serverless Framework for Multi-Tenant Mixture-of-Experts Serving
• Title（参考訳）: FaaSMoE: マルチテナント混合サービングのためのサーバレスフレームワーク
• Authors: Minghe Wang, Trever Schirmer, Mohammadreza Malekabbasi, David Bermbach,
• Abstract要約: 本稿ではFunctional-a-Serviceプラットフォーム上に構築されたマルチテナントなMoEサービスアーキテクチャであるFMoEを提案する。 FMoEは、専門家をステートレスF関数としてデプロイすることで、MoEのコントロールプレーンと実行プレーンを分離する。 フルモデルベースラインと比較して、FMoEはリソースの3分の1以下を使用する。
• 参考スコア（独自算出の注目度）: 0.10120107161763668
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mixture-of-Experts (MoE) models offer high capacity with efficient inference cost by activating a small subset of expert models per input. However, deploying MoE models requires all experts to reside in memory, creating a gap between the resource used by activated experts and the provisioned resources. This underutilization is further pronounced in multi-tenant scenarios. In this paper, we propose FaaSMoE, a multi-tenant MoE serving architecture built on Function-as-a-Service (FaaS) platforms. FaaSMoE decouples the control and execution planes of MoE by deploying experts as stateless FaaS functions, enabling on-demand and scale-to-zero expert invocation across tenants. FaaSMoE further supports configurable expert granularity within functions, trading off per-expert elasticity for reduced invocation overhead. We implement a prototype with an open-source edge-oriented FaaS platform and evaluate it using Qwen1.5-moe-2.7B under multi-tenant workloads. Compared to a full-model baseline, FaaSMoE uses less than one third of the resources, demonstrating a practical and resource-efficient path towards scalable MoE serving in a multi-tenant environment.
• Abstract（参考訳）: Mixture-of-Experts (MoE) モデルは、入力毎に少数の専門家モデルのサブセットを活性化することにより、効率的な推論コストで高い能力を提供する。 しかし、MoEモデルをデプロイするには、すべての専門家がメモリに留まることが必要であり、アクティベートされた専門家が使用するリソースとプロビジョニングされたリソースの間にギャップが生じる。 この不利な利用はマルチテナントシナリオでさらに顕著である。 本稿では,FaaS(Function-as-a-Service)プラットフォーム上に構築されたマルチテナントなMoEサービスアーキテクチャであるFaaSMoEを提案する。 FaaSMoEは、専門家をステートレスなFaaS関数としてデプロイすることで、MoEのコントロールプレーンと実行プレーンを分離する。 FaaSMoEはさらに、関数内の設定可能な専門家の粒度をサポートし、専門家ごとの弾力性を取り除き、呼び出しオーバーヘッドを減らす。 オープンソースのエッジ指向FaaSプラットフォームでプロトタイプを実装し、マルチテナントワークロード下でQwen1.5-moe-2.7Bを用いて評価する。 フルモデルベースラインと比較して、FaaSMoEはリソースの3分の1未満を使用し、マルチテナント環境でのスケーラブルなMoEへの実践的でリソース効率のよい道を示す。

関連論文リスト

• Scaling Multi-Node Mixture-of-Experts Inference Using Expert Activation Patterns [10.028141800987548]
  スケールでのMoE推論は、専門家の負荷不均衡と非効率なトークンルーティングによってボトルネックとなる。 Llama 4 Maverick, DeepSeek V3-671B, Qwen3-230B-A22B など, SOTA のオープンソース MoE モデルについて検討した。 これらの知見から,ワークロード対応のマイクロバッチグループ化と専門家配置戦略を提案する。
  論文  参考訳（メタデータ） (2026-04-25T05:33:03Z)
• ReXMoE: Reusing Experts with Minimal Overhead in Mixture-of-Experts [25.46805026086543]
  既存のレイヤローカルアプローチを超えてルーティングを改善する新しいMoEアーキテクチャであるReXMoEについて説明する。 ReXMoEは、個々の専門家の能力を犠牲にすることなく、よりリッチな専門家の組み合わせを可能にする、階層単位の予算から専門家の次元を分離する。
  論文  参考訳（メタデータ） (2025-10-20T12:27:55Z)
• MoIIE: Mixture of Intra- and Inter-Modality Experts for Large Vision Language Models [52.876185634349575]
  我々は、モダリティ内およびモダリティ間エキスパート(MoIIE)の混合をLVLM(Large Vision-Language Models)に組み込むことを提案する。 それぞれのトークンに対して、専門家のルーティングはそのモダリティによってガイドされ、それぞれのモダリティの専門家と、モダリティ間のエキスパートの共有プールにトークンを指示する。 5.5B と 11.3B の活性化パラメータを持つ MoIIE モデルは,既存のオープンソース MoE-LLM ベースのマルチモーダルモデルの性能に適合するか,さらに上回っている。
  論文  参考訳（メタデータ） (2025-08-13T13:00:05Z)
• Scalable Multi-Domain Adaptation of Language Models using Modular Experts [10.393155077703653]
  MoDEは、モジュール化されたドメインの専門家による一般的なPLMを強化する、エキスパートの混成アーキテクチャである。 MoDEは完全なパラメータの微調整に匹敵する目標性能を達成し、保持性能は1.65%向上した。
  論文  参考訳（メタデータ） (2024-10-14T06:02:56Z)
• CCoE: A Compact and Efficient LLM Framework with Multi-Expert Collaboration for Resource-Limited Settings [7.235624908811974]
  大規模言語モデル(LLM)は、大規模なデータセットのトレーニングを通じて、さまざまなドメインで例外的なパフォーマンスを実現している。 CCoEアーキテクチャは、ドメイン固有の専門家をシームレスに統合したLLMに統合するモジュラーフレームワークである。 CCoEは最先端のパフォーマンスを実現し、マルチエキスパートデプロイメントのリソース要件を大幅に削減する。
  論文  参考訳（メタデータ） (2024-07-16T13:03:58Z)
• Multi-Head Mixture-of-Experts [100.60556163597946]
  MH-MoE(Multi-Head Mixture-of-Experts)を提案する。 MH-MoEは、他のSMoE最適化手法の実装と分離が容易であり、性能向上のために他のSMoEモデルとの統合が容易である。
  論文  参考訳（メタデータ） (2024-04-23T13:47:09Z)
• Efficient Deweather Mixture-of-Experts with Uncertainty-aware Feature-wise Linear Modulation [44.43376913419967]
  本稿では,専門家間での重み共有が可能なMixture-of-Experts(MoE)アーキテクチャを提案する。 MoFMEは、単一の共有専門家ブロック上で学習可能なアクティベーション変調を通じて、暗黙的に複数の専門家をインスタンス化する。 実験の結果,MoFMEは画像修復品質の基準線を0.1-0.2dBで上回ることがわかった。
  論文  参考訳（メタデータ） (2023-12-27T15:23:37Z)
• Omni-SMoLA: Boosting Generalist Multimodal Models with Soft Mixture of Low-rank Experts [74.40198929049959]
  大規模マルチモーダルモデル (LMM) は多くのタスクにまたがって優れた性能を示す。 ジェネラリストのLMMは、タスクの集合をチューニングする際に、しばしばパフォーマンスの劣化に悩まされる。 我々は,Omni-SMoLAを提案する。Omni-SMoLAはSoft MoEアプローチを用いて,多くのマルチモーダルな低ランクの専門家を混在させるアーキテクチャである。
  論文  参考訳（メタデータ） (2023-12-01T23:04:27Z)
• Task-Specific Expert Pruning for Sparse Mixture-of-Experts [105.20605021416276]
  Mixture-of-Experts (MoE) モデルは大規模な事前トレーニングには強力である。 MoEはクラウドやモバイル環境にデプロイするのは難しい。 本稿では,目標下流タスクの非専門的専門家を段階的に降ろす方法を提案する。
  論文  参考訳（メタデータ） (2022-06-01T07:09:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。