Fugu-MT 論文翻訳(概要): Server-Side Sparse Assignment for Federated Mixture-of-Experts

論文の概要: Server-Side Sparse Assignment for Federated Mixture-of-Experts

arxiv url: http://arxiv.org/abs/2611.07093v1
Date: Wed, 04 Nov 2026 19:57:11 GMT
ステータス: 翻訳完了
システム内更新日: 2026-11-06 21:50:50.442643
Title: Server-Side Sparse Assignment for Federated Mixture-of-Experts
Title（参考訳）: Federated Mixture-of-Expertsのためのサーバサイドスパースアサインメント
Abstract要約: 本稿では,サーバサイドのスパース・エキスパート・アサインメント・フレームワークを提案し,部分的な観察からクライアント固有の専門家関係を推定する。 S3$-MoEは1.31パーセント高く、クライアントあたり5ドルのエキスパートしかロードしない。
参考スコア（独自算出の注目度）: 11.645059926678082
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large language models (LLMs) are increasingly recognized for their remarkable capabilities; federated learning (FL) offers a promising framework for collaboratively fine-tuning LLMs on edge devices while achieving data privacy. However, edge devices are inherently heterogeneous: clients may exhibit diverse data distributions and resource constraints, including limited memory and computation budgets. Recent federated Mixture-of-Experts (MoE) approaches address these challenges by using sparse expert activation or partial expert loading. However, existing partial-expert methods rely on heuristic full-pool observations or prioritize system-wide load balance, without guarantees for recovering client-specific relevant experts from partial observations. We propose $S^3$-MoE, a server-side sparse expert assignment framework that estimates client-specific expert relevance from partial observations and refines assignments through an exploit--explore mechanism. We also establish relevance-estimation error and exact Top-$K$ recovery guarantees. Experiments using a CNN-based MoE on CIFAR-100 show that $S^3$-MoE recovers task-dependent client--expert preferences and reduces conflicts caused by correlated expert selection across clients. Compared with Full-20 FedAvg, which gives each client access to all 20 experts for local Top-5 routing, $S^3$-MoE achieves 1.31 percentage points higher mean final accuracy while loading only $5$ experts per client.
Abstract（参考訳）: 統合学習(FL)は、データプライバシを達成しつつ、エッジデバイス上で協調的にLLMを微調整する、有望なフレームワークを提供する。しかし、エッジデバイスは本質的に異質である:クライアントは、メモリや計算予算の制限を含む、多様なデータ分散とリソース制約を示すことができる。近年のMixerated Mixture-of-Experts (MoE) アプローチは、スパースエキスパートアクティベーションや部分エキスパートローディングを用いてこれらの課題に対処している。しかし、既存の部分専門的な手法は、ヒューリスティックなフルプール観測やシステム全体の負荷バランスの優先順位に頼っており、部分的な観察からクライアント固有の関連する専門家を回復させる保証はない。本稿では,サーバサイドのスパース専門家割当てフレームワークである$S^3$-MoEを提案する。また、妥当性推定誤差と正確なTop-$K$リカバリ保証を確立する。 CNNベースのMoE on CIFAR-100の実験では、$S^3$-MoEはタスク依存のクライアント-専門家の嗜好を回復し、クライアント間の相関した専門家選択による競合を減らす。 Full-20 FedAvgと比べ、各クライアントがローカルのTop-5ルーティングの20名全員にアクセスできるのに対し、$S^3$-MoEは1.31ポイント高い最終精度を達成し、クライアントあたり5ドルのエキスパートしかロードしない。

関連論文リスト

RAPTOR: Role-Aware Private Training for Mixture-of-Experts [68.5626338219096]
RAPTORはRole-Aware Private Trainingフレームワークである。 RAPTORは共有と専門家の最適化を交互に行い、各障害を直接ターゲットする。 GLUEタスク間でのSwitch TransformerとOLMoEの微調整およびDeepSeek-VL2-Tinyの実験では、標準のDPベースラインよりも一貫した利得を示している。
論文参考訳（メタデータ） (2026-09-04T23:16:12Z)
Slicing and Dicing: Configuring Optimal Mixtures of Experts [49.5613403644084]
本研究は,最大6.6Bのパラメータにまたがる2000以上の事前学習走行に関する最初の系統的研究である。私たちは、全体専門家、専門家の次元、単一層内の異種の専門家サイズ、共有専門家サイズ、ロードバランシングメカニズムを徹底的に変化させています。専門家の数え方と粒度に焦点を合わせ、その他の選択肢は最終品質に最小限の影響を与える。
論文参考訳（メタデータ） (2026-05-12T07:47:22Z)
Scaling Multi-Node Mixture-of-Experts Inference Using Expert Activation Patterns [10.028141800987548]
スケールでのMoE推論は、専門家の負荷不均衡と非効率なトークンルーティングによってボトルネックとなる。 Llama 4 Maverick, DeepSeek V3-671B, Qwen3-230B-A22B など, SOTA のオープンソース MoE モデルについて検討した。これらの知見から,ワークロード対応のマイクロバッチグループ化と専門家配置戦略を提案する。
論文参考訳（メタデータ） (2026-04-25T05:33:03Z)
$\infty$-MoE: Generalizing Mixture of Experts to Infinite Experts [43.075289015406355]
Mixture of Experts (MoE)はトークンごとにいくつかのフィードフォワードネットワーク(FFN)を選択し、計算コストとパフォーマンスの効果的なトレードオフを実現する。トークン毎にサンプリングされた連続値に基づいて,大きなFFNのパラメータの一部を選択可能な$infty$-MoEを提案する。 GPT-2 Small-based $infty$-MoE model, with 19M active and 186M total parameters, is a comparable performance to a dense GPT-2 Medium with 350M parameters。
論文参考訳（メタデータ） (2026-01-25T03:55:51Z)
HFedMoE: Resource-aware Heterogeneous Federated Learning with Mixture-of-Experts [26.55877320740609]
我々は,HFedMoEを提案する。HFedMoEは不均一なMoEベースのFLファインチューニングフレームワークで,各クライアントに専門家のサブセットをカスタマイズする。 HFedMoEは、微調整パフォーマンスへの貢献に基づいて、専門家の重要性を特定している。そして、情報ボトルネックの観点から専門家のサブセットを適応的に選択し、各クライアントのコンピューティング予算に適合させる。
論文参考訳（メタデータ） (2026-01-02T05:56:11Z)
FLEX-MoE: Federated Mixture-of-Experts with Load-balanced Expert Assignment [38.27527504479237]
Mixture-of-Experts (MoE)モデルは条件付き計算によってスケーラブルなニューラルネットワークを実現する。このアプローチでは、トレーニングフィードバックを通じて、ローカルデータセットのエキスパート適合度を定量化する、クライアント-専門家適合度スコアを導入している。 3つの異なるデータセットに関する包括的実験により、提案したFLEX-MoEの優れた性能を示す。
論文参考訳（メタデータ） (2025-12-28T20:32:13Z)
Dropping Experts, Recombining Neurons: Retraining-Free Pruning for Sparse Mixture-of-Experts LLMs [54.95810313530111]
DERNは、専門家のプルーニングと再構築のためのタスク非依存でトレーニングなしのフレームワークである。コモンセンス推論やMMLUベンチマークでは、50%のエキスパートスパシティでパフォーマンスを5%以上向上させる。
論文参考訳（メタデータ） (2025-09-12T16:09:39Z)
Token-Level Prompt Mixture with Parameter-Free Routing for Federated Domain Generalization [51.562474873972086]
Federated Domain Generalization (FedDG)は、異種データを持つ分散クライアントからグローバルに一般化可能なモデルを学ぶことを目的としている。近年の研究では、単一のグローバルなプロンプトを学習することで、FedDGの視覚言語モデル(VLM)を適応させる素早い学習が導入されている。本稿では,FedDGのためのパラメータフリールーティングフレームワークであるTRIPを提案する。
論文参考訳（メタデータ） (2025-04-29T11:06:03Z)
Unified Sparse Mixture of Experts [14.774596844618396]
SMOE(Sparse Mixture of Experts)モデルは、一定の計算オーバーヘッドを維持しながら、モデルのキャパシティをスケールする。本稿では,これらの制約に対処する統一スパース・ミックス・オブ・エキスパート(USMoE)フレームワークを提案する。
論文参考訳（メタデータ） (2025-03-29T07:15:12Z)
Generalization Error Analysis for Sparse Mixture-of-Experts: A Preliminary Study [65.11303133775857]
Mixture-of-Experts (MoE)計算アマルガメート予測 Sparse MoEは、限られた数、あるいは1つの専門家だけを選択的に扱うことで、経験的に保存され、時にはパフォーマンスが向上する一方で、オーバーヘッドを大幅に削減する。
論文参考訳（メタデータ） (2024-03-26T05:48:02Z)
MoEC: Mixture of Expert Clusters [93.63738535295866]
Sparsely Mixture of Experts (MoE)は、安価な計算オーバーヘッドを持つ有望なスケーリング能力のため、大きな関心を集めている。 MoEは密度の高い層をスパースの専門家に変換し、ゲートルーティングネットワークを使用して専門家を条件付きで活性化させる。しかし、専門家の数が増加するにつれて、乱雑なパラメータを持つMoEはデータアロケーションの過度な調整とスパースに悩まされる。
論文参考訳（メタデータ） (2022-07-19T06:09:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。