論文の概要: UB-SMoE: Universally Balanced Sparse Mixture-of-Experts for Resource-adaptive Federated Fine-tuning of Foundation Models

• arxiv url: http://arxiv.org/abs/2605.16690v1
• Date: Fri, 15 May 2026 23:06:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:46.911002
• Title: UB-SMoE: Universally Balanced Sparse Mixture-of-Experts for Resource-adaptive Federated Fine-tuning of Foundation Models
• Title（参考訳）: UB-SMoE:資源適応型ファインタニングのための普遍均衡スパース混合実験
• Authors: Van-Tuan Tran, Hong-Hanh Nguyen-Le, Marco Ruffini, Merim Dzaferagic,
• Abstract要約: エキスパート利用の不均衡とTop-Kルーティング問題に対処するために,Universally Balanced Sparse Mixture-of-Experts (UB-SMoE)を提案する。 UB-SMoEは、低リソースクライアントの計算コストを最大45.0%削減し、既存のヘテロジニアスなLoRA-rank手法に比べて8.7倍の性能向上を実現している。
• 参考スコア（独自算出の注目度）: 2.3099144596725565
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Heterogeneous LoRA-rank methods address system heterogeneity in federated fine-tuning of foundation models by assigning client-specific ranks based on computational capabilities. However, these methods achieve only marginal computational savings, as dense feed-forward computations dominate. Sparse Mixture-of-Experts (SMoE) provides a promising alternative through conditional computation, yet we identify that its naive application to heterogeneous federated settings introduces two critical discordances: (i) expert utilization imbalance and (ii) non-differentiability of Top-K routing. Our convergence analysis demonstrates that these discordances lead to degraded convergence, particularly for resource-constrained clients. To address these challenges, we propose Universally Balanced Sparse Mixture-of-Experts (UB-SMoE), which introduces Dynamic Modulated Routing (DMR) to rebalance expert utilization, and Universal Pseudo-Gradient (PG) to reconstruct learning signals for non-activated experts. These mechanisms form a self-reinforcing cycle that maintains expert viability across heterogeneous clients. Experiments on benchmarks show that UB-SMoE achieves up to $45.0\%$ computational reduction on low-resource clients while improving their performance by $8.7 \times$ compared to existing heterogeneous LoRA-rank methods.
• Abstract（参考訳）: 不均一なLoRAランク法は、計算能力に基づいてクライアント固有のランクを割り当てることにより、基礎モデルのファインチューニングにおけるシステム不均一性に対処する。 しかし、これらの手法は、高密度フィードフォワード計算が支配的であるため、限界計算の節約しか達成しない。 SMOE(Sparse Mixture-of-Experts)は条件付き計算を通じて有望な代替手段を提供するが、不均一なフェデレーション設定への単純適用は2つの重要な不一致をもたらす。 一 専門家利用不均衡及び (II)Top-Kルーティングの非微分可能性。 我々の収束分析は、これらの不一致が、特に資源制約のあるクライアントにおいて、劣化した収束をもたらすことを示す。 これらの課題に対処するために,エキスパート利用のバランスを改善するために動的変調ルーティング(DMR)を導入したUniversally Balanced Sparse Mixture-of-Experts (UB-SMoE) と,非アクティブなエキスパートのための学習信号を再構築するUniversal Pseudo-Gradient (PG) を提案する。 これらのメカニズムは、異種クライアント間の専門家の生存性を維持する自己強化サイクルを形成する。 ベンチマーク実験の結果、UB-SMoE は低リソースクライアントの計算コストを最大45.0 %削減し、既存のヘテロジニアスな LoRA-rank 法と比較して 8.7 \times$ に改善した。

関連論文リスト

• $φ$-Balancing for Mixture-of-Experts Training [20.061328126956028]
  Mixture-of-Experts (MoE)モデルは、そのスケーラビリティを完全に実現するために、バランスのとれた専門家の利用に依存します。 我々は,厳密な凸性,対称性,および予測されるルーティング分布の微分ポテンシャルを最小化することにより,集団レベルの専門家バランスを直接ターゲットとする原則的フレームワークである$-balancingを提案する。
  論文  参考訳（メタデータ） (2026-05-14T20:39:28Z)
• A Replicate-and-Quantize Strategy for Plug-and-Play Load Balancing of Sparse Mixture-of-Experts LLMs [64.8510381475827]
  SMOE(Sparse Mixture-of-Experts)アーキテクチャは、大規模言語モデルを効率的にスケールするためにますます使われている。 SMoEモデルは専門家間で厳しい負荷不均衡に悩まされることが多く、専門家のごく一部がほとんどのトークンを受け取り、他のモデルは未利用である。 推定中のエキスパートルーティングの体系的解析を行い, (i) 負荷不均衡が持続し, バッチサイズが大きくなる, (ii) 選択頻度が, 専門家の重要度を確実に反映しない, (iii) 専門家の全体負荷と重要性を, キャリブレーションセットを用いて推定できる,という3つの知見を同定する。
  論文  参考訳（メタデータ） (2026-02-23T15:11:16Z)
• Mitigating Reward Hacking in RLHF via Bayesian Non-negative Reward Modeling [49.41422138354821]
  非負の因子分析をBradley-Terry選好モデルに統合する原理的報酬モデリングフレームワークを提案する。 BNRMは、スパースで非負の潜在因子生成過程を通じて報酬を表す。 BNRMは報酬の過度な最適化を著しく軽減し、分布シフトによるロバスト性を改善し、強いベースラインよりも解釈可能な報酬分解をもたらすことを示す。
  論文  参考訳（メタデータ） (2026-02-11T08:14:11Z)
• Outcome-Grounded Advantage Reshaping for Fine-Grained Credit Assignment in Mathematical Reasoning [60.00161035836637]
  グループ相対政策最適化は、推論タスクのための有望な批判のない強化学習パラダイムとして登場した。 我々は,各トークンがモデルの最終回答にどの程度影響するかに基づいて,利益を再分配する,きめ細かい信用割当機構であるOutcome-grounded Advantage Reshaping (OAR)を紹介した。 OAR-Gは計算オーバーヘッドを無視して同等のゲインを達成し、どちらも強力なGRPOベースラインをはるかに上回っている。
  論文  参考訳（メタデータ） (2026-01-12T10:48:02Z)
• Enhanced-FQL($λ$), an Efficient and Interpretable RL with novel Fuzzy Eligibility Traces and Segmented Experience Replay [0.0]
  Enhanced-FQL($$)は、n-step fuzzy TDやfuzzyA($$)ベースラインと比較して、優れたサンプル効率と分散の低減を実現している。 フレームワーク固有の解釈可能性と計算効率と理論的収束保証が組み合わさって、安全クリティカルなアプリケーションに適している。
  論文  参考訳（メタデータ） (2026-01-07T20:59:18Z)
• Mixture of Ranks with Degradation-Aware Routing for One-Step Real-World Image Super-Resolution [76.66229730098759]
  実世界の画像超解像(Real-ISR)では、既存のアプローチは主に微調整された事前学習拡散モデルに依存している。 単一ステップ画像超解像のためのMixture-of-Ranks (MoR)アーキテクチャを提案する。 LoRAの各ランクを独立した専門家として扱う、きめ細かい専門家分割戦略を導入する。
  論文  参考訳（メタデータ） (2025-11-20T04:11:44Z)
• FLAME: Towards Federated Fine-Tuning Large Language Models Through Adaptive SMoE [21.860699562235776]
  FLAMEは、Sparse Mixture-of-Experts (SMoE)アーキテクチャに基づく新しい連邦学習フレームワークである。 グローバルな(圧縮されていない)LoRA行列を保持し、クライアントごとにアクティベートされた専門家の数を変えることで、クライアント側の適応性を達成する。 軽量な再スケーリング機構とアクティベーション対応アグリゲーションスキームによって、これらの課題に対処する。
  論文  参考訳（メタデータ） (2025-06-19T21:02:19Z)
• NDCG-Consistent Softmax Approximation with Accelerated Convergence [67.10365329542365]
  本稿では,ランキングの指標と直接一致した新たな損失定式化を提案する。 提案したRG損失を高効率な Alternating Least Squares (ALS) 最適化手法と統合する。 実世界のデータセットに対する実証的な評価は、我々のアプローチが同等または上位のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2025-06-11T06:59:17Z)
• Distributional Robustness and Regularization in Reinforcement Learning [62.23012916708608]
  経験値関数の新しい正規化器を導入し、ワッサーシュタイン分布のロバストな値関数を下限とすることを示す。 強化学習における$textitexternalな不確実性に対処するための実用的なツールとして正規化を使用することを提案する。
  論文  参考訳（メタデータ） (2020-03-05T19:56:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。