論文の概要: Conflict-Aware Federated Fine-Tuning of Large Language Models with Mixture-of-Experts

• arxiv url: http://arxiv.org/abs/2606.15625v1
• Date: Sun, 14 Jun 2026 06:22:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:33.761083
• Title: Conflict-Aware Federated Fine-Tuning of Large Language Models with Mixture-of-Experts
• Title（参考訳）: コンフリクト・アウェア・フェデレーションによる大言語モデルのミックス・オブ・エクササイズによる微調整
• Abstract要約: Mixture-of-Experts (MoE)はスパースアクティベーションによる効率的な微調整のためのスケーラブルな代替手段である。 FC-MoEは、MoEファインチューニングのための連合型コンフリクト認識フレームワークである。 信頼性の高いローカルアップデートの優先順位付けに重要な重み付け方式を採用し、グラディエンスコンセンサスプロジェクションを使用して、競合する更新を抑える。
• 参考スコア（独自算出の注目度）: 21.797282349662087
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The continuous scaling of large language models (LLMs) incurs prohibitive computational costs, making Mixture-of-Experts (MoE) a scalable alternative for efficient fine-tuning via sparse activation. While federated learning (FL) emerges as the paradigm for privacy-preserving collaborative optimization, integrating MoE into FL under data heterogeneity may trigger conflicting expert optimizations. Client-specific data distributions force same-indexed experts to optimize under inconsistent or even conflicting feature-label correlations. This mismatch induces destructive interference during aggregation, thus destabilizing the optimization trajectory and degrading model performance. To address this issue, we propose FC-MoE, a federated conflict-aware framework for MoE fine-tuning. It employs an importance aware weighting scheme to prioritize reliable local updates and utilizes gradient consensus projection to suppress conflicting updates, ensuring a stable global optimization path. Moreover, a local knowledge retention mechanism further preserves specialized client expertise by re-anchoring domain-specific residuals. Extensive experiments demonstrate that FC-MoE accelerates convergence and enhances both global and local model performance in non-IID federated environments.
• Abstract（参考訳）: 大規模言語モデル(LLM)の継続的スケーリングは、計算コストの禁止を招き、Mixture-of-Experts(MoE)はスパースアクティベーションによる効率的な微調整のためのスケーラブルな代替手段となる。 プライバシ保護による協調最適化のパラダイムとして、フェデレートラーニング(FL)が出現する一方で、データの不均一性の下で、MoEをFLに統合することは、矛盾する専門家の最適化を引き起こす可能性がある。 クライアント固有のデータ配信は、一貫性のない、あるいは矛盾する機能-ラベルの相関の下で、同一インデックスの専門家に最適化を強制する。 このミスマッチはアグリゲーション中の破壊的干渉を誘発し、最適化軌道と劣化モデルの性能を不安定にする。 この問題に対処するため, FC-MoEを提案する。 信頼性の高いローカル更新の優先順位付けに重要な重み付け方式を採用し、勾配コンセンサス予測を利用して競合する更新を抑え、安定したグローバル最適化パスを確保する。 さらに、局所的な知識保持機構は、ドメイン固有の残余を再編成することによって、特別なクライアントの専門知識をさらに保存する。 FC-MoEは,非IIDフェデレーション環境下での収束を加速し,グローバルモデルとローカルモデルの両方の性能を向上させる。

関連論文リスト

• AlignFed: Alignment-Aware Asynchronous Federated Fine-Tuning for Large Language Models in Heterogeneous Edge Environments [7.335282879368365]
  大規模言語モデル(LLM)は、自律運転、産業検査、パーソナライズされたIoTサービスなど、さまざまなシナリオに広くデプロイされている。 異種エッジ環境に適したLLMのための非同期フェデレーションファインチューニングフレームワークであるAlignFedを提案する。
  論文  参考訳（メタデータ） (2026-06-06T14:28:36Z)
• Aggregation Alignment for Federated Learning with Mixture-of-Experts under Data Heterogeneity [27.791732281031695]
  大規模言語モデル(LLM)は、計算量を削減しつつモデルのキャパシティをスケールするために、Mixture-of-Experts (MoE)アーキテクチャを採用するようになっている。 これらのMoEベースのLPMを微調整するには、分散データとプライバシに敏感なデータにアクセスする必要があることが多いため、集中的な微調整は現実的ではない。 我々は、ルーティングの一貫性と専門的なセマンティックアライメントを共同で実施するフェデレーションアライメントアライメントアライメントフレームワークであるFedAlign-MoEを提案する。
  論文  参考訳（メタデータ） (2026-03-22T15:07:39Z)
• FedEU: Evidential Uncertainty-Driven Federated Fine-Tuning of Vision Foundation Models for Remote Sensing Image Segmentation [40.79057922854245]
  フェデレートイメージセグメンテーション(RSIS)が注目されている。 我々は、明らかな不確実性によって駆動される微調整RSISモデルのためのフレームワークであるFedEUを紹介する。
  論文  参考訳（メタデータ） (2026-03-08T05:11:03Z)
• Adaptive Dual-Weighting Framework for Federated Learning via Out-of-Distribution Detection [53.45696787935487]
  Federated Learning (FL)は、大規模分散サービスノード間の協調的なモデルトレーニングを可能にする。 実世界のサービス指向デプロイメントでは、異種ユーザ、デバイス、アプリケーションシナリオによって生成されたデータは本質的にIIDではない。 FLoodは、オフ・オブ・ディストリビューション(OOD)検出にインスパイアされた新しいFLフレームワークである。
  論文  参考訳（メタデータ） (2026-02-01T05:54:59Z)
• CO-PFL: Contribution-Oriented Personalized Federated Learning for Heterogeneous Networks [51.43780477302533]
  コントリビューション指向型PFL(CO-PFL)は,グローバルアグリゲーションに対する各クライアントのコントリビューションを動的に推定するアルゴリズムである。 CO-PFLは、パーソナライズ精度、堅牢性、スケーラビリティ、収束安定性において、最先端の手法を一貫して超越している。
  論文  参考訳（メタデータ） (2025-10-23T05:10:06Z)
• Mitigating Catastrophic Forgetting with Adaptive Transformer Block Expansion in Federated Fine-Tuning [25.121545962121907]
  大規模言語モデル(LLM)のFedFT(Federated Fine-tuning)は、分散データ環境にモデルを適用するための有望なソリューションとして登場した。 適応型トランスフォーマーブロック拡張機構と動的トレーニング可能なブロック割り当て戦略を統合した新しいFedFTフレームワークであるFedBEを提案する。 その結果、FedBEは、下流タスクの精度を劣化させることなく、微調整後の一般タスクにおける12～74%の精度保持と1.9～3.1xのモデル収束促進比を実現していることがわかった。
  論文  参考訳（メタデータ） (2025-06-06T10:59:11Z)
• Adaptive Deadline and Batch Layered Synchronized Federated Learning [66.93447103966439]
  フェデレートラーニング(FL)は、データプライバシを保持しながら、分散エッジデバイス間で協調的なモデルトレーニングを可能にする。 我々は,レイヤワイドアグリゲーションのために,ラウンド単位の期限とユーザ固有のバッチサイズを共同で最適化する新しいフレームワークADEL-FLを提案する。
  論文  参考訳（メタデータ） (2025-05-29T19:59:18Z)
• Dynamic Regularized Sharpness Aware Minimization in Federated Learning: Approaching Global Consistency and Smooth Landscape [59.841889495864386]
  フェデレートラーニング(FL)では、グローバルサーバの協調の下で、ローカルクライアントのクラスタがチェアリングされる。 クライアントは自身のオプティマに過度に適合する傾向にあり、グローバルな目標から非常に逸脱する。 tt Family FedSMOOは、グローバルな目的に対する局所的な最適性を保証するために動的正規化器を採用する。 理論解析により, tt Family FedSMOO は, 低境界一般化による高速$mathcalO (1/T)$収束率を達成することが示された。
  論文  参考訳（メタデータ） (2023-05-19T10:47:44Z)
• FedSkip: Combatting Statistical Heterogeneity with Federated Skip Aggregation [95.85026305874824]
  我々はFedSkipと呼ばれるデータ駆動型アプローチを導入し、フェデレーション平均化を定期的にスキップし、ローカルモデルをクロスデバイスに分散することで、クライアントの最適化を改善する。 我々は、FedSkipがはるかに高い精度、より良いアグリゲーション効率、競合する通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行う。
  論文  参考訳（メタデータ） (2022-12-14T13:57:01Z)
• Disentangled Federated Learning for Tackling Attributes Skew via Invariant Aggregation and Diversity Transferring [104.19414150171472]
  属性は、クライアント間の一貫した最適化方向から、現在の連邦学習(FL)フレームワークを歪めます。 本稿では,ドメイン固有属性とクロス不変属性を2つの補足枝に分離するために,非絡み付きフェデレーション学習(DFL)を提案する。 実験により、DFLはSOTA FL法と比較して高い性能、より良い解釈可能性、より高速な収束率でFLを促進することが確認された。
  論文  参考訳（メタデータ） (2022-06-14T13:12:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。