論文の概要: Task-Aware Federated Fine-Tuning for MoE-based Large Language Models

• arxiv url: http://arxiv.org/abs/2609.13395v1
• Date: Fri, 11 Sep 2026 18:04:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:05.289996
• Title: Task-Aware Federated Fine-Tuning for MoE-based Large Language Models
• Title（参考訳）: MoEに基づく大規模言語モデルのためのタスク対応ファインチューニング
• Abstract要約: Mixture-of-Experts (MoE) はLarge Language Models (LLM) の広く採用されているアーキテクチャである。 FedTAR は MoE ベースの LLM のためのタスク対応ファインチューニング手法である。
• 参考スコア（独自算出の注目度）: 6.888069460182529
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mixture-of-Experts (MoE) has become a widely adopted architecture for Large Language Models (LLMs), as it improves model capacity while limiting computational overhead through sparse expert activation. This property makes MoE-based LLMs particularly attractive for resource-constrained distributed environments. However, federated fine-tuning of MoE-based LLMs remains challenging under heterogeneous client data. Since clients often correspond to different task preferences, directly aggregating their local updates may weaken expert specialization and introduce conflicting update directions on shared experts. To address these challenges, we propose FedTAR, a task-aware federated fine-tuning method for MoE-based LLMs. FedTAR establishes the association between local updates and task preference via routing outputs. Specifically, we apply Singular Value Decomposition (SVD) to both routing features and local updates to extract low-dimensional task coordinates and update directions. Based on the task coordinates, FedTAR performs intra-cluster aggregation among clients with similar task preferences and inter-cluster aggregation across different task groups. The aggregated update is then reconstructed through the learned task-to-update mapping, ensuring that the final update remains aligned with task-specific optimization directions. In this way, FedTAR preserves expert specialization and mitigates destructive interference among heterogeneous clients. We evaluate FedTAR on four benchmark tasks under different non-IID settings. Experimental results demonstrate that FedTAR consistently outperforms strong federated fine-tuning baselines and achieves state-of-the-art performance.
• Abstract（参考訳）: Mixture-of-Experts (MoE) は、エキスパートアクティベーションのスパースにより計算オーバーヘッドを制限しながら、モデルのキャパシティを向上させるため、Large Language Models (LLMs) の広く採用されているアーキテクチャとなっている。 この性質は、資源制約された分散環境において、特にMoEベースのLLMを魅力的にしている。 しかし, ヘテロジニアスなクライアントデータの下では, MoE をベースとした LLM のファインチューニングは依然として困難である。 クライアントは、しばしば異なるタスクの好みに対応するため、ローカル更新を直接集約することは、専門家の専門性を弱め、共有専門家に矛盾する更新指示を導入する可能性がある。 これらの課題に対処するため、我々は、MoEベースのLLMのためのタスク対応のフェデレーションファインチューニング手法であるFedTARを提案する。 FedTARは、ルーティング出力によるローカル更新とタスク優先の関係を確立する。 具体的には、ルーティング機能と局所更新の両方にSingular Value Decomposition (SVD)を適用し、低次元のタスク座標を抽出し、方向を更新する。 タスク座標に基づいて、FedTARは、同様のタスク嗜好を持つクライアント間でクラスタ内アグリゲーションを実行し、異なるタスクグループ間でクラスタ間アグリゲーションを行う。 集約された更新は、学習したタスクから更新までのマッピングを通じて再構築され、最終更新がタスク固有の最適化方向と一致し続けることを保証する。 このように、FedTARは専門家の専門性を保ち、異種クライアント間の破壊的干渉を緩和する。 非IID設定の異なる4つのベンチマークタスクでFedTARを評価する。 実験結果から,FedTARは強いフェデレートされた微調整ベースラインを一貫して上回り,最先端の性能を達成することが示された。

関連論文リスト

• FedTaste: Topology-Aware Structural Transfer for Multimodal Federated Learning with Missing Modalities [7.015345209610299]
  FedTasteはマルチモーダルフェデレートラーニングにおけるトポロジを考慮した構造伝達のためのパラメータ効率のよいフレームワークである。 モダリティを欠くクライアントに適応するために,モダリティ適応型構造プロンプトを導入する。 このように、FedTasteはクライアント間で共有セマンティック構造を保持しながら、明示的なモダリティ計算を避けます。
  論文  参考訳（メタデータ） (2026-07-25T15:11:58Z)
• CP-MoE: Consistency-Preserving Mixture-of-Experts for Continual Learning [16.033361968793162]
  大型言語モデル (LLM) と視覚言語モデル (VLM) における連続学習の大きな障害は、依然として破滅的な忘れ方である。 CP-MoEは、タスク固有の初期更新をキャプチャし、安定した専門家への統合をガイドする、一貫した専門家を中心に構築された継続的学習フレームワークである。 CP-MoE を LLM と VLM をベースとした MoE モデルを用いて一様および多モード連続学習ベンチマークで検証する。
  論文  参考訳（メタデータ） (2026-05-18T06:31:14Z)
• Replacing Parameters with Preferences: Federated Alignment of Heterogeneous Vision-Language Models [63.70401095689976]
  VLM(Vision-Language Models)は、医療や金融といったプライバシに敏感な分野において大きな可能性を秘めている。 ヘテロジニアスVLMのためのGRPOとMixture-of-Rewardsを組み合わせた協調アライメントフレームワークであるMoRを提案する。 MoRは、一般化とクロスクライアント適応性において、フェデレートされたアライメントベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-05-05T07:02:50Z)
• Multi-Domain Learning with Global Expert Mapping [102.62297074508147]
  Mixture-of-Experts (MoE)モデルは、入力を専門分野(専門家)にルーティングすることでスケーラブルなソリューションを提供する。 本稿では,学習ルータをグローバルスケジューラに置き換えるプランナー・コンパイラフレームワークであるGEMを提案する。 我々のプランナーは線形プログラミングの緩和に基づいて、データセットを専門家に分数的に割り当てる一方、コンパイラはこのソフトプランを決定論的でキャパシティを意識したマッピングに変換するために階層的なラウンドリングを適用する。 実験の結果、GEM-DINOはUODBベンチマークで最先端のパフォーマンスを達成し、表現不足のデータセットに顕著な利益をもたらし、タスク干渉をわずかに解決していることがわかった。
  論文  参考訳（メタデータ） (2026-04-20T21:09:34Z)
• Aggregation Alignment for Federated Learning with Mixture-of-Experts under Data Heterogeneity [27.791732281031695]
  大規模言語モデル(LLM)は、計算量を削減しつつモデルのキャパシティをスケールするために、Mixture-of-Experts (MoE)アーキテクチャを採用するようになっている。 これらのMoEベースのLPMを微調整するには、分散データとプライバシに敏感なデータにアクセスする必要があることが多いため、集中的な微調整は現実的ではない。 我々は、ルーティングの一貫性と専門的なセマンティックアライメントを共同で実施するフェデレーションアライメントアライメントアライメントフレームワークであるFedAlign-MoEを提案する。
  論文  参考訳（メタデータ） (2026-03-22T15:07:39Z)
• FeDecider: An LLM-Based Framework for Federated Cross-Domain Recommendation [75.50721642765994]
  大規模言語モデル(LLM)ベースのレコメンデーションモデルは、素晴らしいパフォーマンスを示している。 We propose a LLM-based framework for Federated cross- domain recommendation, FeDecider。 多様なデータセットにわたる大規模な実験により、提案したFeDeciderの有効性が検証された。
  論文  参考訳（メタデータ） (2026-02-17T21:42:28Z)
• Replacing Parameters with Preferences: Federated Alignment of Heterogeneous Vision-Language Models [63.70401095689976]
  パラメータを好みに置き換えることは、よりスケーラブルでプライバシに保護される未来を表している、と私たちは主張する。 ヘテロジニアスVLMのためのGRPOとMixture-of-Rewardsを用いた協調アライメントフレームワークであるMoRを提案する。 MoRは、一般化、堅牢性、およびクロスクライアント適応性において、連邦化されたアライメントベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-01-31T03:11:51Z)
• AR-MOT: Autoregressive Multi-object Tracking [56.09738000988466]
  本稿では,大規模言語モデル(LLM)フレームワーク内のシーケンス生成タスクとしてMOTを定式化する,新しい自己回帰パラダイムを提案する。 この設計により、タスク固有のヘッドを必要とせずに、フレキシブルなシーケンス構成によって構造化された結果を出力できる。 地域レベルの視覚知覚を高めるために,事前訓練された検出器に基づくオブジェクト・トケナイザを導入する。
  論文  参考訳（メタデータ） (2026-01-05T09:17:28Z)
• Towards Unified Modeling in Federated Multi-Task Learning via Subspace Decoupling [23.642760378344335]
  Federated Multi-Task Learning (FMTL) は、複数のクライアントがローカルデータを交換することなく異種タスクを実行できる。 既存のFMTLメソッドのほとんどは、各クライアント用にパーソナライズされたモデルを構築することに集中しており、複数の異種タスクの集約を統一モデルにサポートできない。 マルチタスクモデル統合に特化して設計された更新構造対応アグリゲーション手法であるFedDEAを提案する。
  論文  参考訳（メタデータ） (2025-05-30T03:53:21Z)
• Personalized Federated Fine-Tuning for LLMs via Data-Driven Heterogeneous Model Architectures [23.45003063073793]
  フェデレートラーニング(FL)は、生データにアクセスすることなく、大規模言語モデルの協調的な微調整を可能にする。 既存のファインチューニングへのアプローチは通常、一様モデルアーキテクチャを採用する。 データ駆動の異種モデルアーキテクチャを実現する軽量なパーソナライズFLフレームワークであるFedAMoLEを提案する。
  論文  参考訳（メタデータ） (2024-11-28T13:20:38Z)
• FedGradNorm: Personalized Federated Gradient-Normalized Multi-Task Learning [50.756991828015316]
  マルチタスク学習(MTL)は、1つの共有ネットワークで複数のタスクを同時に学習する新しいフレームワークである。 本稿では,異なるタスク間の学習速度のバランスをとるために,動的重み付け法を用いてノルムの正規化を行うFedGradNormを提案する。
  論文  参考訳（メタデータ） (2022-03-24T17:43:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。