論文の概要: FedWeave: Rethinking the Unit of Specialization in Heterogeneous Federated MoE-LoRA

• arxiv url: http://arxiv.org/abs/2607.26618v1
• Date: Wed, 29 Jul 2026 08:47:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-30 21:06:25.583931
• Title: FedWeave: Rethinking the Unit of Specialization in Heterogeneous Federated MoE-LoRA
• Title（参考訳）: FedWeave: 不均一なフェデレーションMoE-LoRAの特殊化ユニットを再考
• Abstract要約: Federated PEFTは、LLMが生のサンプルを共有することなく、分散化されたプライベートデータに協調的に適応できるようにする。 既存のメソッドは通常、クライアントの粒度を専門とし、暗黙的にタスクコヒーレントなクライアントを仮定する。 非対称アグリゲーションを採用したフレームワークであるFedWeaveを提案し、ルータ最適化から専門家アグリゲーションを分離する。
• 参考スコア（独自算出の注目度）: 15.068543696107227
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated PEFT enables LLMs to collaboratively adapt to decentralized private data without sharing raw examples. However, task heterogeneity across clients can cause cross-task interference and gradient conflicts during aggregation. Federated MoE-LoRA addresses this challenge through specialized LoRA experts and conditional routing. Yet existing methods typically specialize at client granularity, implicitly assuming task-coherent clients. Our core insight is that experts need purity, namely pattern-coherent updates that preserve specialization, whereas routers need contrast, namely mixed-task observations that support expert comparison. We propose FedWeave, a framework that adopts asymmetric aggregation, separating expert aggregation from router optimization to meet these two requirements. FedWeave uses unsupervised prototype discovery to form local buckets and align them across clients, enabling prototype-level expert aggregation while retaining mixed-task client trajectories for router training. At inference, FedWeave performs sparse inference with one active expert while preserving nearly all soft-routing performance. Our theoretical analysis explains why asymmetric aggregation is advantageous: it controls expert convergence in stationarity through off-pattern contamination, identifies the consensus error induced by fragmented router trajectories, and bounds sparse-inference risk. On a heterogeneous multi-task benchmark with mainstream LLM backbones, FedWeave consistently outperforms strong baselines, while ablations verify the effectiveness of our design.
• Abstract（参考訳）: Federated PEFTは、LLMが生のサンプルを共有することなく、分散化されたプライベートデータに協調的に適応できるようにする。 しかし、クライアント間のタスクの不均一性は、集約中にクロスタスクの干渉と勾配の衝突を引き起こす可能性がある。 Federated MoE-LoRAはLoRAの専門家と条件付きルーティングを通じてこの問題に対処する。 しかし、既存のメソッドは通常、タスクコヒーレントなクライアントを暗黙的に仮定して、クライアントの粒度を専門にします。 私たちの中核的な洞察は、専門家には純粋さ、すなわち特殊化を維持するパターンコヒーレントな更新が必要ですが、ルータにはコントラスト、すなわち専門家の比較をサポートする混合タスクの観察が必要です。 非対称アグリゲーションを採用したフレームワークであるFedWeaveを提案し、これら2つの要件を満たすために、ルータ最適化から専門家アグリゲーションを分離する。 FedWeaveは、教師なしのプロトタイプディスカバリを使用して、ローカルバケットを形成し、クライアント間で調整することで、ルータトレーニング用の混合タスククライアントトラジェクトリを維持しながら、プロトタイプレベルのエキスパートアグリゲーションを可能にする。 推論では、FedWeaveは、1人のアクティブエキスパートとスパース推論を行い、ほぼすべてのソフトルーチンのパフォーマンスを保持します。 非対称アグリゲーションが有利な理由を理論的に説明し、オフパターン汚染による定常性のエキスパート収束を制御し、断片化されたルータ軌道によって引き起こされるコンセンサス誤差を特定し、スパース推論リスクを限定する。 メインストリームのLLMバックボーンを備えた異種マルチタスクベンチマークでは、FedWeaveは一貫して強力なベースラインを上回り、Ablationsは私たちの設計の有効性を検証します。

関連論文リスト

• Share First, Route What Remains: A Unified Framework for Token-Adaptive MoE Computation [49.8459545291965]
  Mixture-of-experts (MoE)モデルは、最近、一定数の完全なエキスパートをルーティングする以上の動きをしている。 我々は、この依存度を、わずかにリサイクルされたフィードフォワードの専門家をキーバリューチャネルに分解することで研究する。 トークン適応型MoE計算のための統一フレームワークであるUniF-MoEでインスタンス化する。
  論文  参考訳（メタデータ） (2026-08-11T02:40:58Z)
• OrderMoE: An expert similarity driven distributed edge MoE inference [46.66948323823587]
  本稿では,OrderMoEと呼ばれる,類似性に配慮したエキスパートアロケーションと分散デプロイメントフレームワークを紹介する。 推論レイテンシ、通信オーバヘッド、サーバのワークロード、推論品質のバランスを保ちながら、エッジMoE推論を高速化することを目指している。 実験の結果、OrderMoEは平均レイテンシ、テールレイテンシ、クロスサーバトラフィック、リモート専門家の呼び出し比率を著しく削減することがわかった。
  論文  参考訳（メタデータ） (2026-07-19T09:20:21Z)
• FRAME: Learning the Adaptation Domain with a Mixture of Fractional-Fourier Experts [0.0]
  本稿では,Frictional-Fourier Mixture of Expertsについて紹介する。 各専門家は、空間領域とフーリエ領域の間に連続的に補間する学習可能な分数-フーリエ順序を持つ。 順序は専門家ごとに1つのスカラーで、別々のチャープで訓練され、変換は$mathcalOdlog d)$-FFTサロゲートで計算される。
  論文  参考訳（メタデータ） (2026-06-30T20:39:55Z)
• ResMerge: Residual-based Spectral Merging of Large Language Models [52.65011413018957]
  本稿では,RL専門家のための残留スペクトルマージフレームワークResMergeを提案する。 本稿では,RL専門家のための残留スペクトルマージフレームワークResMergeを提案する。
  論文  参考訳（メタデータ） (2026-06-01T13:42:45Z)
• Multi-Domain Learning with Global Expert Mapping [102.62297074508147]
  Mixture-of-Experts (MoE)モデルは、入力を専門分野(専門家)にルーティングすることでスケーラブルなソリューションを提供する。 本稿では,学習ルータをグローバルスケジューラに置き換えるプランナー・コンパイラフレームワークであるGEMを提案する。 我々のプランナーは線形プログラミングの緩和に基づいて、データセットを専門家に分数的に割り当てる一方、コンパイラはこのソフトプランを決定論的でキャパシティを意識したマッピングに変換するために階層的なラウンドリングを適用する。 実験の結果、GEM-DINOはUODBベンチマークで最先端のパフォーマンスを達成し、表現不足のデータセットに顕著な利益をもたらし、タスク干渉をわずかに解決していることがわかった。
  論文  参考訳（メタデータ） (2026-04-20T21:09:34Z)
• Aggregation Alignment for Federated Learning with Mixture-of-Experts under Data Heterogeneity [27.791732281031695]
  大規模言語モデル(LLM)は、計算量を削減しつつモデルのキャパシティをスケールするために、Mixture-of-Experts (MoE)アーキテクチャを採用するようになっている。 これらのMoEベースのLPMを微調整するには、分散データとプライバシに敏感なデータにアクセスする必要があることが多いため、集中的な微調整は現実的ではない。 我々は、ルーティングの一貫性と専門的なセマンティックアライメントを共同で実施するフェデレーションアライメントアライメントアライメントフレームワークであるFedAlign-MoEを提案する。
  論文  参考訳（メタデータ） (2026-03-22T15:07:39Z)
• Phase-Aware Mixture of Experts for Agentic Reinforcement Learning [23.18318273534301]
  ポリシーネットワークにはMixture-of-Experts (MoE)アーキテクチャが採用される可能性がある。 MoEは異なるパラメータ(専門家)に異なるタスクを専門化させ、単純なタスクが全てのパラメータを支配できないようにする。 textbfPhase-Aware Mixture of Experts (PA-MoE)を提案する。 まず、RLの目的から遅延位相境界を直接学習し、位相カテゴリを事前に定義せずに、軽量のEmphphaseルータを特徴とする。 そして、フェーズルータは同じ専門家に時間的に一貫した割り当てを割り当て、専門家はフェーズ固有の専門知識を維持することができる。
  論文  参考訳（メタデータ） (2026-02-19T03:18:30Z)
• SAME: Stabilized Mixture-of-Experts for Multimodal Continual Instruction Tuning [83.66308307152808]
  マルチモーダル・インストラクション・チューニング(MCIT)のためのStAbilized Mixture-of-Experts(SAME)を提案する。 プロプライエタリは、サブスペースへのルーティングダイナミクスを分解し、タスク関連方向のみを更新することで、専門家の選択を安定化する。 また、トレーニング中に選択した専門家を凍結するためにアダプティブな専門家アクティベーションを導入し、冗長でクロスタスクな干渉を減らす。
  論文  参考訳（メタデータ） (2026-02-02T11:47:06Z)
• RouteMark: A Fingerprint for Intellectual Property Attribution in Routing-based Model Merging [69.2230254959204]
  我々は,統合されたMoEモデルにおけるIP保護のためのフレームワークであるRouteMarkを提案する。 我々の重要な洞察は、タスク固有の専門家は、探索入力の下で安定かつ独特なルーティング行動を示すことである。 属性と改ざん検出のために,類似性に基づくマッチングアルゴリズムを導入する。
  論文  参考訳（メタデータ） (2025-08-03T14:51:58Z)
• Token-Level Prompt Mixture with Parameter-Free Routing for Federated Domain Generalization [51.562474873972086]
  Federated Domain Generalization (FedDG)は、異種データを持つ分散クライアントからグローバルに一般化可能なモデルを学ぶことを目的としている。 近年の研究では、単一のグローバルなプロンプトを学習することで、FedDGの視覚言語モデル(VLM)を適応させる素早い学習が導入されている。 本稿では,FedDGのためのパラメータフリールーティングフレームワークであるTRIPを提案する。
  論文  参考訳（メタデータ） (2025-04-29T11:06:03Z)
• Predicting Multi-Agent Specialization via Task Parallelizability [8.465921582175426]
  タスクレギュラーやチームサイズに応じて、特殊化がパフォーマンスを改善することを予測したクローズドフォーム境界を示す。 反対のベンチマークを表す2つの標準MARLベンチマークでモデルを検証した。 Overcooked-AIにおける3つのフォローアップ実験は、このモデルがより複雑な空間的および資源的ボトルネックを持つ環境で動作することを示した。
  論文  参考訳（メタデータ） (2025-03-19T21:33:48Z)
• MoEC: Mixture of Expert Clusters [93.63738535295866]
  Sparsely Mixture of Experts (MoE)は、安価な計算オーバーヘッドを持つ有望なスケーリング能力のため、大きな関心を集めている。 MoEは密度の高い層をスパースの専門家に変換し、ゲートルーティングネットワークを使用して専門家を条件付きで活性化させる。 しかし、専門家の数が増加するにつれて、乱雑なパラメータを持つMoEはデータアロケーションの過度な調整とスパースに悩まされる。
  論文  参考訳（メタデータ） (2022-07-19T06:09:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。