論文の概要: MoE Router-Guided Clustering for Heterogeneous Federated Instruction Tuning

• arxiv url: http://arxiv.org/abs/2608.15311v1
• Date: Sat, 15 Aug 2026 16:35:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.2565
• Title: MoE Router-Guided Clustering for Heterogeneous Federated Instruction Tuning
• Title（参考訳）: 不均一フェデレーションインストラクションチューニングのためのMoEルータガイドクラスタリング
• Abstract要約: フェデレートされた命令の微調整により、大規模言語モデルは、データ共有を必要とせずに、分散化されたプライバシに敏感なデータに適応できる。 ルーティング対応でパーソナライズされた命令の微調整フレームワークであるClientMorpherを提案する。 ClientMorpherは、従来のフェデレーション平均化やローカルトレーニングと比較して、パーソナライズされたパフォーマンスを継続的に改善することを示す。
• 参考スコア（独自算出の注目度）: 1.3094700798343546
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Federated instruction fine-tuning enables Large Language Models (LLMs) to adapt to decentralized, privacy-sensitive data without requiring data sharing. Recent Mixture-of-Experts (MoE) LLMs are particularly attractive for federated learning because their sparse activation reduces computation and communication while scaling model capacity. However, existing federated MoE methods primarily focus on parameter aggregation and personalization, overlooking the routing behavior of MoE models as a source of information for client collaboration. Under heterogeneous instruction distributions, indiscriminate aggregation can lead to negative transfer, highlighting the need to identify which clients should collaborate during federated optimization. We propose ClientMorpher, a routing-aware, personalized federated instruction fine-tuning framework that leverages routing signatures from pretrained MoE models to organize client collaboration prior to aggregation. We investigate two complementary clustering strategies: ClientMorpher-C, which directly clusters clients using expert activation profiles, and ClientMorpher-E, which first clusters experts based on their cross-client usage signatures and then derives client collaboration groups. We evaluate ClientMorpher for federated instruction fine-tuning on the Databricks Dolly-15K dataset, using pathological and Dirichlet-based heterogeneous client distributions across multiple instruction-following tasks. Experimental results show that routing-aware collaboration consistently improves personalized performance compared to conventional federated averaging and local training, while maintaining the same communication cost. Furthermore, our study shows that client-centric and expert-centric clustering provides an effective and scalable approach for personalized federated instruction fine-tuning of sparse MoE LLMs.
• Abstract（参考訳）: フェデレートされた命令の微調整により、大言語モデル(LLM)は、データ共有を必要とせずに、分散化されたプライバシに敏感なデータに適応できる。 近年のMixture-of-Experts (MoE) LLMは,モデルのキャパシティをスケーリングしながら,その疎活性化によって計算と通信が減少するため,フェデレーション学習において特に魅力的である。 しかし、既存の連合MoE手法は、主にパラメータアグリゲーションとパーソナライズに焦点を合わせ、MoEモデルのルーティング動作をクライアント協調のための情報源として見下ろしている。 不均一な命令分布の下では、非差別的な集約は負の転送を引き起こす可能性がある。 我々は、事前学習したMoEモデルからのルーティングシグネチャを利用して、アグリゲーションの前にクライアントの協調を組織する、ルーティング対応でパーソナライズされた命令の微調整フレームワークであるClientMorpherを提案する。 クライアントをアクティベーションプロファイルを使って直接クラスタ化するClientMorpher-Cと、クライアントのクロスクライアント利用シグネチャに基づいて最初に専門家をクラスタ化するClientMorpher-Eの2つの補完的なクラスタリング戦略を検討する。 我々は,複数の命令追従タスクにまたがる病的およびディリクレに基づく異種クライアント分布を用いて,Databricks Dolly-15Kデータセット上でのファインタニングのためのClientMorpherを評価する。 実験結果から,ルーティング・アウェア・コラボレーションは,従来のフェデレーション平均化やローカルトレーニングに比べて,同一の通信コストを維持しつつ,パーソナライズされたパフォーマンスを継続的に向上させることが示された。 さらに,本研究では,クライアント中心で専門家中心のクラスタリングが,スパースMOE LLMのパーソナライズされた命令の微調整に有効かつスケーラブルなアプローチを提供することを示す。

関連論文リスト

• Replacing Parameters with Preferences: Federated Alignment of Heterogeneous Vision-Language Models [63.70401095689976]
  VLM(Vision-Language Models)は、医療や金融といったプライバシに敏感な分野において大きな可能性を秘めている。 ヘテロジニアスVLMのためのGRPOとMixture-of-Rewardsを組み合わせた協調アライメントフレームワークであるMoRを提案する。 MoRは、一般化とクロスクライアント適応性において、フェデレートされたアライメントベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-05-05T07:02:50Z)
• Aggregation Alignment for Federated Learning with Mixture-of-Experts under Data Heterogeneity [27.791732281031695]
  大規模言語モデル(LLM)は、計算量を削減しつつモデルのキャパシティをスケールするために、Mixture-of-Experts (MoE)アーキテクチャを採用するようになっている。 これらのMoEベースのLPMを微調整するには、分散データとプライバシに敏感なデータにアクセスする必要があることが多いため、集中的な微調整は現実的ではない。 我々は、ルーティングの一貫性と専門的なセマンティックアライメントを共同で実施するフェデレーションアライメントアライメントアライメントフレームワークであるFedAlign-MoEを提案する。
  論文  参考訳（メタデータ） (2026-03-22T15:07:39Z)
• Replacing Parameters with Preferences: Federated Alignment of Heterogeneous Vision-Language Models [63.70401095689976]
  パラメータを好みに置き換えることは、よりスケーラブルでプライバシに保護される未来を表している、と私たちは主張する。 ヘテロジニアスVLMのためのGRPOとMixture-of-Rewardsを用いた協調アライメントフレームワークであるMoRを提案する。 MoRは、一般化、堅牢性、およびクロスクライアント適応性において、連邦化されたアライメントベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-01-31T03:11:51Z)
• One-Shot Hierarchical Federated Clustering [51.490181220883905]
  本稿では,効率的な階層型クラスタリングフレームワークを提案する。 クライアント-エンドの分散探索とサーバ-エンドの分散アグリゲーションを実行する。 クライアント間の複雑なクラスタ分布を効率的に探索できることが判明した。
  論文  参考訳（メタデータ） (2026-01-10T02:58:33Z)
• Federated Multi-Task Clustering [44.73672172790804]
  本稿では,Federated Multi-Task Clustering(FMTC)という新しいフレームワークを提案する。 クライアント側パーソナライズされたクラスタリングモジュールとサーバ側テンソル相関モジュールの2つの主要コンポーネントで構成されている。 乗算器の交互方向法に基づく,効率的なプライバシ保護分散アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2025-12-28T12:02:32Z)
• Towards Federated Clustering: A Client-wise Private Graph Aggregation Framework [57.04850867402913]
  フェデレーションクラスタリングは、分散化されたラベルのないデータからパターンを抽出する課題に対処する。 本研究では,プライバシ保護のための知識共有媒体として,局所構造グラフを革新的に活用する新しいアルゴリズムSPP-FGCを提案する。 我々のフレームワークは最先端のパフォーマンスを実現し、認証可能なプライバシー保証を維持しつつ、フェデレーションベースラインよりも最大10%(NMI)のクラスタリング精度を向上させる。
  論文  参考訳（メタデータ） (2025-11-14T03:05:22Z)
• FedMoE-DA: Federated Mixture of Experts via Domain Aware Fine-grained Aggregation [22.281467168796645]
  Federated Learning(FL)は、複数のクライアントがプライベートデータを共有せずにモデルをトレーニングできる、コラボレーティブな機械学習アプローチである。 我々は、新しいドメイン認識、きめ細かい集約戦略を取り入れた新しいFLモデルトレーニングフレームワークであるFedMoE-DAを提案し、ロバスト性、パーソナライズ性、通信効率を同時に向上する。
  論文  参考訳（メタデータ） (2024-11-04T14:29:04Z)
• A Bayesian Framework for Clustered Federated Learning [14.426129993432193]
  連邦学習(FL)の主な課題の1つは、非独立で同一に分散された(非IID)クライアントデータを扱うことである。 本稿では、クライアントをクラスタに関連付けるクラスタ化FLのための統一ベイズフレームワークを提案する。 この作業は、クライアントとクラスタの関連に関する洞察を提供し、新しい方法でクライアントの知識共有を可能にする。
  論文  参考訳（メタデータ） (2024-10-20T19:11:24Z)
• Towards Federated RLHF with Aggregated Client Preference for LLMs [16.97734775088073]
  人間のフィードバックによる強化学習(RLHF)は、ユーザの好みデータを用いた事前訓練された大規模言語モデル(LLM)を微調整する。 プライバシー上の懸念から、ユーザーは機密性の高い好みデータを共有するのを嫌がるかもしれない。 我々は,様々な現実世界のユーザから大規模な嗜好収集を可能にする,フェデレートラーニング(FL)技術を活用することを提案する。
  論文  参考訳（メタデータ） (2024-07-03T12:02:24Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• Efficient Distribution Similarity Identification in Clustered Federated Learning via Principal Angles Between Client Data Subspaces [59.33965805898736]
  クラスタ学習は、クライアントをクラスタにグループ化することで、有望な結果をもたらすことが示されている。 既存のFLアルゴリズムは基本的に、クライアントを同様のディストリビューションでグループ化しようとしている。 以前のFLアルゴリズムは、訓練中に間接的に類似性を試みていた。
  論文  参考訳（メタデータ） (2022-09-21T17:37:54Z)
• On the Convergence of Clustered Federated Learning [57.934295064030636]
  統合学習システムでは、例えばモバイルデバイスや組織参加者といったクライアントは通常、個人の好みや行動パターンが異なる。 本稿では,クライアントグループと各クライアントを統一最適化フレームワークで活用する,新しい重み付きクライアントベースクラスタリングFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-02-13T02:39:19Z)
• Federated Learning with Taskonomy for Non-IID Data [0.0]
  タスクノミーによる連合学習を導入する。 ワンオフプロセスでは、サーバーはクライアントに事前に訓練された(そして微調整可能な)エンコーダを提供し、データを遅延表現に圧縮し、データの署名をサーバーに送信します。 サーバは、マニホールド学習を通じてクライアント間のタスク関連性を学び、フェデレーション平均化の一般化を実行する。
  論文  参考訳（メタデータ） (2021-03-29T20:47:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。