論文の概要: MedMix: Specialization-Consistent Federated Sparse MoEs under Modality Heterogeneity

• arxiv url: http://arxiv.org/abs/2608.13911v1
• Date: Fri, 14 Aug 2026 03:30:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-17 20:14:29.257437
• Title: MedMix: Specialization-Consistent Federated Sparse MoEs under Modality Heterogeneity
• Title（参考訳）: MedMix: Modality Heterogeneityの下でのスペシャライゼーション-一貫性のあるフェデレーションスパースMoE
• Abstract要約: 我々は,連合型マルチモーダルスパースMoEのセマンティックアライメントフレームワークであるMedMixを提案する。 クライアント側では、MedMixは専門家の選択をガイドするためにModality-context-awareルーティングを使用する。 クライアント全体では、コンセンサス誘導ルーティングアライメントを使用して、共有モダリティパターンのためのサーバ側のコンセンサスアンカーを構築する。
• 参考スコア（独自算出の注目度）: 31.994546596018285
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated multimodal medical AI faces modality heterogeneity at both the client and sample levels: clients may systematically lack access to specific modality types, while individual records within the same client may contain different partial modality subsets. Sparse Mixture-of-Experts (MoE) architectures are a promising remedy for modality-adaptive computation, but their use in federated learning is fragile under cross-client modality heterogeneity, where locally learned routing policies can diverge across clients and drive experts toward incompatible specializations. Different clients may assign the same observed modality configuration to different experts, or train similarly indexed experts on different missing-modality configurations, causing standard aggregation to misalign or overwrite the expert specialization that sparse MoEs are intended to learn. To address this challenge, we propose MedMix, a semantic-alignment framework for federated multimodal sparse MoEs that coordinates cross-client routing and expert specialization using modality context. At the client side, MedMix uses modality-context-aware routing to guide expert selection using each token's modality identity, position, and incompleteness context. Across clients, it uses consensus-guided routing alignment to construct server-side consensus anchors for shared modality patterns and align local routing distributions across clients. Complementing these routing mechanisms, client-adaptive expert aggregation leverages client-specific modality-pattern prototypes to match and aggregate functionally similar experts across clients. Experiments on real-world multimodal medical datasets show that MedMix achieves the best average F1 across diverse modality heterogeneity and modality incompleteness settings, with especially clear gains under severe heterogeneity.
• Abstract（参考訳）: フェデレートされたマルチモーダル医療AIは、クライアントとサンプルの両方のレベルでモダリティの不均一性に直面している:クライアントは、特定のモダリティタイプへのアクセスを体系的に欠いている一方で、同一クライアント内の個々のレコードは、異なる部分的なモダリティサブセットを含む可能性がある。 Sparse Mixture-of-Experts (MoE) アーキテクチャは、モダリティ適応型計算のための有望な治療法であるが、フェデレーテッドラーニングにおけるそれらの使用は、クライアント間でばらばらになり、非互換な特殊化に向けて専門家を駆り立てることができる、クロスクライアントなモダリティの不均一性の下で脆弱である。 異なるクライアントは、異なる専門家に同じ観察されたモダリティ構成を割り当てたり、異なるモダリティ構成について同様にインデックス付けされた専門家を訓練したりすることができる。 この課題に対処するため、我々はMedMixを提案する。MedMixは多モードスパースMoEのセマンティックアライメントフレームワークで、クロスクライアントルーティングを協調し、モダリティコンテキストを用いたエキスパートスペシャライゼーションを行う。 クライアント側では、MedMixはModality-context-awareルーティングを使用して、各トークンのModality ID、位置、不完全性コンテキストを使用して、専門家の選択をガイドする。 クライアント全体では、コンセンサス誘導ルーティングアライメントを使用して、共有モダリティパターンのためのサーバ側のコンセンサスアンカーを構築し、クライアント間のローカルルーティング分布を調整する。 これらのルーティングメカニズムを補完する、クライアント適応型エキスパートアグリゲーションは、クライアント固有のモダリティパターンのプロトタイプを活用して、クライアント全体で機能的に類似した専門家をマッチングし集約する。 実世界のマルチモーダル医療データセットの実験により、MedMixは多種多様なモダリティの不均一性と不完全性設定にまたがる最高の平均F1を達成することが示された。

関連論文リスト

• Share First, Route What Remains: A Unified Framework for Token-Adaptive MoE Computation [49.8459545291965]
  Mixture-of-experts (MoE)モデルは、最近、一定数の完全なエキスパートをルーティングする以上の動きをしている。 我々は、この依存度を、わずかにリサイクルされたフィードフォワードの専門家をキーバリューチャネルに分解することで研究する。 トークン適応型MoE計算のための統一フレームワークであるUniF-MoEでインスタンス化する。
  論文  参考訳（メタデータ） (2026-08-11T02:40:58Z)
• DistMoE: Private-data Rehearsal-free Routing in Mixture-of-Experts for Distributed Instruction Tuning [27.08807417410507]
  本研究では,分散ビジュアルインストラクションチューニングのためのMix-of-Experts(MoE)アプローチであるDistMoEを提案する。 言語デコーダの各レイヤでは、クライアント固有のプライベートFFN専門家によって公開フィードフォワードネットワーク(FFN)が強化される。 DistMoEは、フレキシブルな専門家の再利用、効果的なドメイン適応、競争性能を実現する。
  論文  参考訳（メタデータ） (2026-08-10T17:52:14Z)
• FedTaste: Topology-Aware Structural Transfer for Multimodal Federated Learning with Missing Modalities [7.015345209610299]
  FedTasteはマルチモーダルフェデレートラーニングにおけるトポロジを考慮した構造伝達のためのパラメータ効率のよいフレームワークである。 モダリティを欠くクライアントに適応するために,モダリティ適応型構造プロンプトを導入する。 このように、FedTasteはクライアント間で共有セマンティック構造を保持しながら、明示的なモダリティ計算を避けます。
  論文  参考訳（メタデータ） (2026-07-25T15:11:58Z)
• Multi-level context Modeling for consistent expert selection in Mixture-of-Experts [3.4913929232937604]
  Mixture-of-Experts (MoE)は、トークンを少数の専門家にルーティングすることで、Transformerモデルの効率的なスケーリングを可能にする。 既存のルータは通常、浅いあるいは孤立したトークン表現に対して専門家の選択を条件にしている。 階層間セマンティックアグリゲーションと局所トークンレベルの相互作用から補完的な信号を統合することでコンテキスト認識表現を構築するフレームワークであるMulti-level Context Fusion MOEを提案する。
  論文  参考訳（メタデータ） (2026-07-17T18:22:42Z)
• FedSPM: Routing-Enabled Federated Learning under Dual Heterogeneity via Semiparametric Mixture [14.751907622686423]
  本稿では、クライアント固有の潜在コンポーネントを使用して各クライアントを表すルーティング可能な半パラメトリック混合フレームワークであるFedSPMを提案する。 制御されたベンチマークと実世界の医療データによる実験では、二重不均一性の下でのルーティングと予測が一貫した改善が示されている。
  論文  参考訳（メタデータ） (2026-07-05T02:31:39Z)
• Replacing Parameters with Preferences: Federated Alignment of Heterogeneous Vision-Language Models [63.70401095689976]
  VLM(Vision-Language Models)は、医療や金融といったプライバシに敏感な分野において大きな可能性を秘めている。 ヘテロジニアスVLMのためのGRPOとMixture-of-Rewardsを組み合わせた協調アライメントフレームワークであるMoRを提案する。 MoRは、一般化とクロスクライアント適応性において、フェデレートされたアライメントベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-05-05T07:02:50Z)
• Aggregation Alignment for Federated Learning with Mixture-of-Experts under Data Heterogeneity [27.791732281031695]
  大規模言語モデル(LLM)は、計算量を削減しつつモデルのキャパシティをスケールするために、Mixture-of-Experts (MoE)アーキテクチャを採用するようになっている。 これらのMoEベースのLPMを微調整するには、分散データとプライバシに敏感なデータにアクセスする必要があることが多いため、集中的な微調整は現実的ではない。 我々は、ルーティングの一貫性と専門的なセマンティックアライメントを共同で実施するフェデレーションアライメントアライメントアライメントフレームワークであるFedAlign-MoEを提案する。
  論文  参考訳（メタデータ） (2026-03-22T15:07:39Z)
• One-Shot Hierarchical Federated Clustering [51.490181220883905]
  本稿では,効率的な階層型クラスタリングフレームワークを提案する。 クライアント-エンドの分散探索とサーバ-エンドの分散アグリゲーションを実行する。 クライアント間の複雑なクラスタ分布を効率的に探索できることが判明した。
  論文  参考訳（メタデータ） (2026-01-10T02:58:33Z)
• Token-Level LLM Collaboration via FusionRoute [60.72307345997823]
  FusionRouteはトークンレベルのマルチLLMコラボレーションフレームワークである。 各デコーディングステップで最も適した専門家を選択し、選択した専門家の次のTokenディストリビューションを洗練または修正する補完ロジットをコントリビュートする。 シーケンスレベルのコラボレーションとトークンレベルのコラボレーション、モデルマージ、ダイレクト微調整の両方に優れています。
  論文  参考訳（メタデータ） (2026-01-08T16:53:16Z)
• RouteMark: A Fingerprint for Intellectual Property Attribution in Routing-based Model Merging [69.2230254959204]
  我々は,統合されたMoEモデルにおけるIP保護のためのフレームワークであるRouteMarkを提案する。 我々の重要な洞察は、タスク固有の専門家は、探索入力の下で安定かつ独特なルーティング行動を示すことである。 属性と改ざん検出のために,類似性に基づくマッチングアルゴリズムを導入する。
  論文  参考訳（メタデータ） (2025-08-03T14:51:58Z)
• Token-Level Prompt Mixture with Parameter-Free Routing for Federated Domain Generalization [51.562474873972086]
  Federated Domain Generalization (FedDG)は、異種データを持つ分散クライアントからグローバルに一般化可能なモデルを学ぶことを目的としている。 近年の研究では、単一のグローバルなプロンプトを学習することで、FedDGの視覚言語モデル(VLM)を適応させる素早い学習が導入されている。 本稿では,FedDGのためのパラメータフリールーティングフレームワークであるTRIPを提案する。
  論文  参考訳（メタデータ） (2025-04-29T11:06:03Z)
• Personalized Federated Collaborative Filtering: A Variational AutoEncoder Approach [49.63614966954833]
  Federated Collaborative Filtering (FedCF)は、プライバシを保護する新しいレコメンデーションフレームワークの開発に焦点を当てた新興分野である。 既存のFedCFメソッドは通常、分散協調フィルタリング(CF)アルゴリズムとプライバシ保護メカニズムを組み合わせて、パーソナライズされた情報をユーザ埋め込みベクタに保存する。 本稿では,ユーザのパーソナライズされた情報を潜在変数とニューラルモデルに同時に保存することで,新たなパーソナライズされたFedCF手法を提案する。
  論文  参考訳（メタデータ） (2024-08-16T05:49:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。