論文の概要: Fisher-Routed Mixture of Experts for Federated Class-Incremental Learning

• arxiv url: http://arxiv.org/abs/2606.28835v1
• Date: Sat, 27 Jun 2026 09:45:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:15.702007
• Title: Fisher-Routed Mixture of Experts for Federated Class-Incremental Learning
• Title（参考訳）: フェデレーション・クラス・インクリメンタル・ラーニングのための魚介類と魚介類を混合した専門家の育成
• Abstract要約: Federated Learning (FL)は、有望な分散機械学習パラダイムとして登場した。 FLをクラスにインクリメンタルな学習シナリオに拡張することは、ユニークな課題をもたらす。 textbfFederated Class-Incremental Learning (textscFedFMX) のためのエキスパートのtextbfFisher-Routed textbfMitextbfXture を提案する。
• 参考スコア（独自算出の注目度）: 4.9788177236136635
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Learning (FL) emerged as a promising distributed machine learning paradigm. However, extending FL to the class incremental learning scenarios introduces unique challenges: 1) Capacity conflict and catastrophic forgetting from the shared model overloading, 2) Heterogeneity from Non-Independent and Identically Distributed (Non-IID) data, and 3) Synchronized class misalignment. In this paper, we propose \textbf{F}isher-Routed \textbf{M}i\textbf{X}ture of Experts for \textbf{Fed}erated Class-Incremental Learning (\textsc{FedFMX}), a novel framework to address these challenges via adaptive expert specialization across clients. The crucial insight is to route each sample to an expert subset that jointly optimizes knowledge acquisition and retention. Specifically, we introduce a Fisher-Routed Expert Scoring (FRES) module to estimate expert importance via Fisher-based stability cost and gradient-based plasticity gain. Then, we design an Adaptive Expert Selection (AES) module by quantifying marginal contributions for adaptive expert subset determination. Finally, by the routing-aware regularization (RAR), we achieve load balance and efficient FL training. We theoretically prove the $\mathcal{O}(T^{-1})$ convergence rate. Extensive experiments on multiple benchmarks compared with state-of-the-art methods demonstrate the superiority of \textsc{FedFMX}.
• Abstract（参考訳）: Federated Learning (FL)は、有望な分散機械学習パラダイムとして登場した。 しかし、FLをクラスにインクリメンタルな学習シナリオに拡張することは、ユニークな課題をもたらす。 1)共有モデル過負荷からの容量衝突と破滅的な忘れ忘れ。 2)非独立分散(非IID)データからの異種性と 3)同期クラスミスアライメント。 本稿では, クライアント間の適応的専門化を通じてこれらの課題に対処する新しいフレームワークである, \textbf{Fed}erated Class-Incremental Learning (\textsc{FedFMX}) のエキスパートの \textbf{F}isher-Routed \textbf{M}i\textbf{X}ture を提案する。 重要な洞察は、各サンプルを知識獲得と保持を共同で最適化する専門家サブセットにルーティングすることである。 具体的には,Fisher-Routed Expert Scoring (FRES) モジュールを導入し,Fisher-based stability cost と Gragient-based plasticity gain を用いて専門家の重要度を推定する。 そこで,適応的専門家選択(Adaptive Expert Selection, AES)モジュールを設計し,アダプティブ・エキスパート・サブセット決定のための限界貢献度を定量化する。 最後に、ルーティング対応正規化(RAR)により、負荷バランスと効率的なFLトレーニングを実現する。 理論的には$\mathcal{O}(T^{-1})$収束率を証明している。 複数のベンチマークに関する大規模な実験は、最先端の手法と比較して、 \textsc{FedFMX} の優位性を示している。

関連論文リスト

• VICAL: Vicinal Consistency Alignment for Long-Tailed Visual Recognition [32.48884030865545]
  VICALは、専門家の多様性を強制するのではなく、予測のばらつきを減らすことによって、ロングテール認識を改善するフレームワークである。 このアプローチは、自己一貫性学習とDeep Ensemble Distillationの2つの重要なコンポーネントで構成されています。 CIFAR-LT, ImageNet-LT, iist 2018 に関する我々の実験は、VICAL が常に最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2026-09-04T09:55:12Z)
• Mastering the Minority: An Uncertainty-guided Multi-Expert Framework for Challenging-tailed Sequence Learning [34.71004757894417]
  本稿では,Uncertainty-based Multi-Expert fusion Network (UME) フレームワークを提案し,マイノリティクラスを効果的にマスターする。 まず、パラメータ効率のモデリングにEnsemble LoRAを使用し、トレーニング可能なパラメータ数を著しく削減します。 トレーニング可能なパラメータを最大10.32%削減しながら、個々のカテゴリで最高のベースラインで最大17.97%のパフォーマンス向上を実現しています。
  論文  参考訳（メタデータ） (2026-03-16T13:34:56Z)
• How to Set the Learning Rate for Large-Scale Pre-training? [73.03133634525635]
  我々はこの調査を2つの異なる研究パラダイムであるフィッティングとトランスファーに定式化する。 フィッティングパラダイムでは,探索係数のスケーリング法則を導入し,O(n3) から O(n*C_D*C_) への探索複雑性を予測モデルにより効果的に低減する。 我々は、$Transferの原則をMixture of Experts (MoE)アーキテクチャに拡張し、モデル深さ、重量減衰、トークン水平線を含む適用範囲を広げる。
  論文  参考訳（メタデータ） (2026-01-08T15:55:13Z)
• FLEX-MoE: Federated Mixture-of-Experts with Load-balanced Expert Assignment [38.27527504479237]
  Mixture-of-Experts (MoE)モデルは条件付き計算によってスケーラブルなニューラルネットワークを実現する。 このアプローチでは、トレーニングフィードバックを通じて、ローカルデータセットのエキスパート適合度を定量化する、クライアント-専門家適合度スコアを導入している。 3つの異なるデータセットに関する包括的実験により、提案したFLEX-MoEの優れた性能を示す。
  論文  参考訳（メタデータ） (2025-12-28T20:32:13Z)
• Supervised Fine-Tuning or Contrastive Learning? Towards Better Multimodal LLM Reranking [56.46309219272326]
  大型言語モデル(LLM)では、教師付き微調整(SFT)による分類は、関連する(非関連)ペアに対して'yes' (resp. ''no')トークンを予測する。 この分散は中心的な疑問を提起する:どの目的がLLMベースのリランクに本質的に適しているか、どのメカニズムが違いの根底にあるのか? 我々はCLとSFTの総合的な比較と分析を行い、ユニバーサルマルチモーダル検索(UMR)を実験場とした。
  論文  参考訳（メタデータ） (2025-10-16T16:02:27Z)
• MMR1: Enhancing Multimodal Reasoning with Variance-Aware Sampling and Open Resources [113.33902847941941]
  VAS (Variance-Aware Sampling) は、Variance Promotion Score (VPS) によって導かれるデータ選択戦略である。 我々は、1.6MのCoT冷間開始データと15kのRLQAペアを含む大規模かつ慎重にキュレートされたリソースをリリースする。 数学的推論ベンチマークによる実験では、キュレートされたデータと提案されたVASの有効性が示されている。
  論文  参考訳（メタデータ） (2025-09-25T14:58:29Z)
• Sycophancy Mitigation Through Reinforcement Learning with Uncertainty-Aware Adaptive Reasoning Trajectories [58.988535279557546]
  適応推論トラジェクトリを用いたtextbf sycophancy Mitigation を提案する。 SMARTは,分布外の入力に対して強い性能を維持しながら,サイコファンティクスの挙動を著しく低下させることを示した。
  論文  参考訳（メタデータ） (2025-09-20T17:09:14Z)
• FedPref: Federated Learning Across Heterogeneous Multi-objective Preferences [2.519319150166215]
  Federated Learning(FL)は、トレーニングデータが分散デバイスによって所有され、共有できない設定のために開発された分散機械学習戦略である。 FLの現実的な設定への応用は、参加者間の不均一性に関連する新たな課題をもたらします。 この設定でパーソナライズされたFLを促進するために設計された最初のアルゴリズムであるFedPrefを提案する。
  論文  参考訳（メタデータ） (2025-01-23T12:12:59Z)
• Client-Centric Federated Adaptive Optimization [78.30827455292827]
  Federated Learning(FL)は、クライアントが独自のデータをプライベートに保ちながら、協調的にモデルをトレーニングする分散学習パラダイムである。 本稿では,新しいフェデレーション最適化手法のクラスであるフェデレーション中心適応最適化を提案する。
  論文  参考訳（メタデータ） (2025-01-17T04:00:50Z)
• Over-the-Air Fair Federated Learning via Multi-Objective Optimization [52.295563400314094]
  本稿では,公平なFLモデルを訓練するためのOTA-FFL(Over-the-air Fair Federated Learning Algorithm)を提案する。 OTA-FFLの公正性とロバストな性能に対する優位性を示す実験を行った。
  論文  参考訳（メタデータ） (2025-01-06T21:16:51Z)
• Learning Mixtures of Experts with EM: A Mirror Descent Perspective [28.48469221248906]
  古典的なMixtures of Experts(MoE)は、入力空間を含む機械学習モデルであり、各パーティションでトレーニングされた個別の"エキスパート"モデルである。 我々は,MoEモデルのトレーニングにおける期待最大化(EM)アルゴリズムの理論的保証について検討する。
  論文  参考訳（メタデータ） (2024-11-09T03:44:09Z)
• FedEGG: Federated Learning with Explicit Global Guidance [90.04705121816185]
  フェデレートラーニング(FL)は、そのプライバシー保護の性質から、多様なアプリケーションにとって大きな可能性を秘めている。 既存の手法は、最適化ベースのクライアント制約、適応的なクライアント選択、事前訓練されたモデルや合成データの使用によってこれらの課題に対処するのに役立つ。 我々はbftextFedEGGを提案する。bftextFedEGGは、よく定義された、容易に収束できる学習タスクを用いて、グローバルガイドタスクを構築する新しいFLアルゴリズムである。
  論文  参考訳（メタデータ） (2024-04-18T04:25:21Z)
• Disentangled Federated Learning for Tackling Attributes Skew via Invariant Aggregation and Diversity Transferring [104.19414150171472]
  属性は、クライアント間の一貫した最適化方向から、現在の連邦学習(FL)フレームワークを歪めます。 本稿では,ドメイン固有属性とクロス不変属性を2つの補足枝に分離するために,非絡み付きフェデレーション学習(DFL)を提案する。 実験により、DFLはSOTA FL法と比較して高い性能、より良い解釈可能性、より高速な収束率でFLを促進することが確認された。
  論文  参考訳（メタデータ） (2022-06-14T13:12:12Z)
• Efficient Split-Mix Federated Learning for On-Demand and In-Situ Customization [107.72786199113183]
  フェデレートラーニング(FL)は、複数の参加者が生データを共有せずに学習をコラボレーションするための分散ラーニングフレームワークを提供する。 本稿では, モデルサイズとロバスト性をその場でカスタマイズできる, 不均一な参加者のための新しいスプリット・ミクス・FL戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-18T04:58:34Z)
• On the Convergence of Heterogeneous Federated Learning with Arbitrary Adaptive Online Model Pruning [15.300983585090794]
  任意適応型オンラインモデルプルーニングを用いた異種FLアルゴリズムの一元化フレームワークを提案する。 特に、ある十分な条件下では、これらのアルゴリズムは一般的なスムーズなコスト関数に対して標準FLの定常点に収束する。 コンバージェンスに影響を与える2つの要因として,プルーニング誘導雑音と最小カバレッジ指数を照らす。
  論文  参考訳（メタデータ） (2022-01-27T20:43:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。