論文の概要: DistMoE: Private-data Rehearsal-free Routing in Mixture-of-Experts for Distributed Instruction Tuning

• arxiv url: http://arxiv.org/abs/2608.09907v1
• Date: Mon, 10 Aug 2026 17:52:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:37.405919
• Title: DistMoE: Private-data Rehearsal-free Routing in Mixture-of-Experts for Distributed Instruction Tuning
• Title（参考訳）: DistMoE:分散インストラクションチューニングのためのMixture-of-Expertsにおけるプライベートデータリハーサルフリールーティング
• Abstract要約: 本研究では,分散ビジュアルインストラクションチューニングのためのMix-of-Experts(MoE)アプローチであるDistMoEを提案する。 言語デコーダの各レイヤでは、クライアント固有のプライベートFFN専門家によって公開フィードフォワードネットワーク(FFN)が強化される。 DistMoEは、フレキシブルな専門家の再利用、効果的なドメイン適応、競争性能を実現する。
• 参考スコア（独自算出の注目度）: 27.08807417410507
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal Large Language Models (MLLMs) have shown strong multimodal instruction-following ability, but adapting them to diverse visual-language domains typically assumes centralized data access and costly joint training. This is restrictive when data is distributed across private, domain-specific, or permission-limited clients. To this end, we propose DistMoE, a mixture-of-experts (MoE) approach for distributed visual instruction tuning. In each layer of the language decoder it augments the public feedforward network (FFN) with a client-specific private FFN expert, with the goal to acquire domain-specific knowledge. However, independent expert training causes the private FFNs to learn representation of different scale and magnitudes, making merging the experts difficult. To reduce client-specific drift, we introduce a public-anchored expert composition stage that updates only routers and lightweight private projection adapters on a mix of local client data and public data, via an isotropic regularization loss, therefore making it cross-client rehearsal-free composition. During inference, DistMoE performs modular routing over public and private experts, enabling token-wise domain composition without explicit domain labels. Experiments across diverse visual-language benchmarks show that DistMoE enables flexible expert reuse, effective domain adaptation, and competitive performance while preserving modular control over client-specific knowledge. Codes are available at https://github.com/mainaksingha01/DistMoE.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)は、強力なマルチモーダル命令追従能力を示すが、様々な視覚言語領域に適応させることは、典型的には集中的なデータアクセスとコストのかかる共同訓練を前提としている。 これは、データがプライベート、ドメイン固有、あるいはパーミッション限定のクライアントに分散される場合に制限される。 そこで本研究では,分散ビジュアルインストラクションチューニングのためのMix-of-Experts(MoE)アプローチであるDistMoEを提案する。 言語デコーダの各レイヤでは、パブリックフィードフォワードネットワーク(FFN)をクライアント固有のプライベートFFNエキスパートで拡張し、ドメイン固有の知識を取得することを目標としている。 しかし、独立した専門家の訓練により、民間のFFNは異なるスケールと大きさの表現を学ぶことができ、専門家の合併が困難になる。 クライアント固有のドリフトを低減するため,ローカルクライアントデータとパブリックデータの混在したルータと軽量なプライベートプロジェクションアダプタのみを異方性正規化損失により更新し,クロスクライアントなリハーサル不要なコンポジションを実現する。 推論中、DistMoEはパブリックとプライベートのエキスパートに対してモジュラールーティングを実行し、明示的なドメインラベルなしでトークン単位のドメイン合成を可能にする。 さまざまなビジュアル言語ベンチマークの実験により、DistMoEはフレキシブルな専門家の再利用、効果的なドメイン適応、競合するパフォーマンスを実現し、クライアント固有の知識をモジュール的に制御できることを示した。 コードはhttps://github.com/mainaksingha01/DistMoE.comで入手できる。

関連論文リスト

• Share First, Route What Remains: A Unified Framework for Token-Adaptive MoE Computation [49.8459545291965]
  Mixture-of-experts (MoE)モデルは、最近、一定数の完全なエキスパートをルーティングする以上の動きをしている。 我々は、この依存度を、わずかにリサイクルされたフィードフォワードの専門家をキーバリューチャネルに分解することで研究する。 トークン適応型MoE計算のための統一フレームワークであるUniF-MoEでインスタンス化する。
  論文  参考訳（メタデータ） (2026-08-11T02:40:58Z)
• MetaMoE: Diversity-Aware Proxy Selection for Privacy-Preserving Mixture-of-Experts Unification [33.68395507474701]
  独立に訓練されたドメインの専門家を単一のMoEに統一する,プライバシー保護フレームワークであるMetaMoEを提案する。 プロキシは、プライベートデータの分布を近似し、ルータ学習を監督するために使用されます。 コンピュータビジョンと自然言語処理ベンチマークの実験は、MetaMoEが最近のプライバシー保護のMoE統一手法を一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2026-05-14T02:48:23Z)
• Multi-Domain Learning with Global Expert Mapping [102.62297074508147]
  Mixture-of-Experts (MoE)モデルは、入力を専門分野(専門家)にルーティングすることでスケーラブルなソリューションを提供する。 本稿では,学習ルータをグローバルスケジューラに置き換えるプランナー・コンパイラフレームワークであるGEMを提案する。 我々のプランナーは線形プログラミングの緩和に基づいて、データセットを専門家に分数的に割り当てる一方、コンパイラはこのソフトプランを決定論的でキャパシティを意識したマッピングに変換するために階層的なラウンドリングを適用する。 実験の結果、GEM-DINOはUODBベンチマークで最先端のパフォーマンスを達成し、表現不足のデータセットに顕著な利益をもたらし、タスク干渉をわずかに解決していることがわかった。
  論文  参考訳（メタデータ） (2026-04-20T21:09:34Z)
• Aggregation Alignment for Federated Learning with Mixture-of-Experts under Data Heterogeneity [27.791732281031695]
  大規模言語モデル(LLM)は、計算量を削減しつつモデルのキャパシティをスケールするために、Mixture-of-Experts (MoE)アーキテクチャを採用するようになっている。 これらのMoEベースのLPMを微調整するには、分散データとプライバシに敏感なデータにアクセスする必要があることが多いため、集中的な微調整は現実的ではない。 我々は、ルーティングの一貫性と専門的なセマンティックアライメントを共同で実施するフェデレーションアライメントアライメントアライメントフレームワークであるFedAlign-MoEを提案する。
  論文  参考訳（メタデータ） (2026-03-22T15:07:39Z)
• FeDecider: An LLM-Based Framework for Federated Cross-Domain Recommendation [75.50721642765994]
  大規模言語モデル(LLM)ベースのレコメンデーションモデルは、素晴らしいパフォーマンスを示している。 We propose a LLM-based framework for Federated cross- domain recommendation, FeDecider。 多様なデータセットにわたる大規模な実験により、提案したFeDeciderの有効性が検証された。
  論文  参考訳（メタデータ） (2026-02-17T21:42:28Z)
• FLEx: Personalized Federated Learning for Mixture-of-Experts LLMs via Expert Grafting [40.23842164423827]
  大規模言語モデル(LLM)のフェデレーション・インストラクションチューニングは、クライアント間の重要なデータ不均一性によって問題となる。 我々は,事前学習したMOEベースのLLMを効率よくパーソナライズするための新しいフレームワークであるFLExを提案する。 パーソナライズのために,動的疎度を活用して事前訓練した専門家の選抜されたコンポーネントからクライアント固有の専門家を構築する,新しい専門家グラフト機構を導入する。
  論文  参考訳（メタデータ） (2025-06-01T11:24:43Z)
• Token-Level Prompt Mixture with Parameter-Free Routing for Federated Domain Generalization [51.562474873972086]
  Federated Domain Generalization (FedDG)は、異種データを持つ分散クライアントからグローバルに一般化可能なモデルを学ぶことを目的としている。 近年の研究では、単一のグローバルなプロンプトを学習することで、FedDGの視覚言語モデル(VLM)を適応させる素早い学習が導入されている。 本稿では,FedDGのためのパラメータフリールーティングフレームワークであるTRIPを提案する。
  論文  参考訳（メタデータ） (2025-04-29T11:06:03Z)
• FedMoE-DA: Federated Mixture of Experts via Domain Aware Fine-grained Aggregation [22.281467168796645]
  Federated Learning(FL)は、複数のクライアントがプライベートデータを共有せずにモデルをトレーニングできる、コラボレーティブな機械学習アプローチである。 我々は、新しいドメイン認識、きめ細かい集約戦略を取り入れた新しいFLモデルトレーニングフレームワークであるFedMoE-DAを提案し、ロバスト性、パーソナライズ性、通信効率を同時に向上する。
  論文  参考訳（メタデータ） (2024-11-04T14:29:04Z)
• Mixture of Experts Made Personalized: Federated Prompt Learning for Vision-Language Models [7.810284483002312]
  フェデレート・プロンプト学習は,CLIP-like Vision-Language Model's (VLM's) によるファシリテート学習による堅牢な表現学習能力により,フェデレーション・プロンプト学習の恩恵を受ける。 現在のフェデレートされたプロンプト学習手法は、通常、従来のFLパラダイムに制限されており、参加するクライアントは通常、サーバから単一のグローバル集約モデルしかダウンロードできない。 適応確率の個人化混合(pFedMoAP)を提案する。これは、エキスパートの混合レンズ(MoE)を通して、迅速な学習プロセスをパーソナライズする新しいFLフレームワークである。
  論文  参考訳（メタデータ） (2024-10-14T03:05:12Z)
• Federated Domain-Specific Knowledge Transfer on Large Language Models Using Synthetic Data [53.70870879858533]
  フェデレートされたドメイン固有の知識伝達フレームワークを紹介する。 クライアントのデータプライバシを保護しながら、LLMからSLMへのドメイン固有の知識転送を可能にする。 提案されたFDKTフレームワークは、プライバシー予算が10未満のSLMのタスクパフォーマンスを約5%改善する。
  論文  参考訳（メタデータ） (2024-05-23T06:14:35Z)
• Learning to Specialize: Joint Gating-Expert Training for Adaptive MoEs in Decentralized Settings [41.98633628526484]
  Mixture-of-Experts (MoEs)は、コンポーネントのサブセットを動的に活性化することでスケーラビリティを実現する。 推論コストとデータヘテロジニティにより、ゲーティング関数と専門家の協調トレーニングがドメイン固有の専門知識を割り当てる方法について検討する。
  論文  参考訳（メタデータ） (2023-06-14T15:47:52Z)
• Federated Multi-Target Domain Adaptation [99.93375364579484]
  フェデレートされた学習手法により、プライバシを保護しながら、分散ユーザデータ上で機械学習モデルをトレーニングすることが可能になります。 分散クライアントデータがラベル付けされず、集中型ラベル付きデータセットがサーバ上で利用可能となる、より実用的なシナリオを考えます。 本稿では,新しい課題に対処する効果的なDualAdapt法を提案する。
  論文  参考訳（メタデータ） (2021-08-17T17:53:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。