論文の概要: MetaMoE: Diversity-Aware Proxy Selection for Privacy-Preserving Mixture-of-Experts Unification

• arxiv url: http://arxiv.org/abs/2605.14289v1
• Date: Thu, 14 May 2026 02:48:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-15 21:45:34.587851
• Title: MetaMoE: Diversity-Aware Proxy Selection for Privacy-Preserving Mixture-of-Experts Unification
• Title（参考訳）: MetaMoE: プライバシ保護のための多様性を意識したプロキシ選択
• Authors: Weisen Jiang, Shuhao Chen, Sinno Jialin Pan,
• Abstract要約: 独立に訓練されたドメインの専門家を単一のMoEに統一する,プライバシー保護フレームワークであるMetaMoEを提案する。 プロキシは、プライベートデータの分布を近似し、ルータ学習を監督するために使用されます。 コンピュータビジョンと自然言語処理ベンチマークの実験は、MetaMoEが最近のプライバシー保護のMoE統一手法を一貫して上回っていることを示している。
• 参考スコア（独自算出の注目度）: 33.68395507474701
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mixture-of-Experts (MoE) models scale capacity by combining specialized experts, but most existing approaches assume centralized access to training data. In practice, data are distributed across clients and cannot be shared due to privacy constraints, making unified MoE training challenging. We propose MetaMoE, a privacy-preserving framework that unifies independently trained, domain-specialized experts into a single MoE using public proxy data as surrogates for inaccessible private data. Central to MetaMoE is diversity-aware proxy selection, which selects client-domain-relevant and diverse samples from public data to effectively approximate private data distributions and supervise router learning. These proxies are further used to align expert training, improving expert coordination at unification time, while a context-aware router enhances expert selection across heterogeneous inputs. Experiments on computer vision and natural language processing benchmarks demonstrate that MetaMoE consistently outperforms recent privacy-preserving MoE unification methods. Code is available at https://github.com/ws-jiang/MetaMoE.
• Abstract（参考訳）: Mixture-of-Experts (MoE)は、専門の専門家を組み合わせることで、キャパシティをスケールするが、既存のほとんどのアプローチでは、トレーニングデータへの集中的なアクセスを前提としている。 実際には、データはクライアント間で分散され、プライバシの制約により共有できないため、統一されたMoEトレーニングが困難になる。 我々は、独立に訓練されたドメインの専門家を単一のMoEに統一したプライバシー保護フレームワークであるMetaMoEを提案し、公開プロキシデータをアクセス不能なプライベートデータのサロゲートとして利用する。 MetaMoEの中心は多様性を意識したプロキシ選択であり、パブリックデータからクライアントドメイン関連および多様なサンプルを選択して、プライベートデータの分散を効果的に近似し、ルータ学習を監督する。 これらのプロキシは、専門家のトレーニングの整合、統一時の専門家のコーディネーションの改善、コンテキスト対応ルータによる異種入力のエキスパート選択の強化にさらに使用される。 コンピュータビジョンと自然言語処理ベンチマークの実験は、MetaMoEが最近のプライバシー保護のMoE統一手法を一貫して上回っていることを示している。 コードはhttps://github.com/ws-jiang/MetaMoE.comで入手できる。

関連論文リスト

• ALIGN-FL: Architecture-independent Learning through Invariant Generative component sharing in Federated Learning [4.073149631618324]
  本稿では分散学習の新たなアプローチであるALIGN-FLを提案する。 我々のフレームワークは、完全なモデルパラメータを交換する代わりに、クライアント間で生成機能のみを転送することで、プライバシ保護学習を可能にします。
  論文  参考訳（メタデータ） (2025-12-15T13:35:27Z)
• FlexOlmo: Open Language Models for Flexible Data Use [197.48622286060504]
  我々は、データ共有なしで分散トレーニングをサポートする新しい言語モデル(LM)であるFlexOlmoを紹介します。 FlexOlmoはエキスパートの混成アーキテクチャを採用しており、各専門家はクローズドデータセットで独立して訓練される。 我々は、公開データで訓練された一般専門家と、他のデータ所有者から独立した訓練を受けた専門家とを効果的に組み合わせることができることを示す。
  論文  参考訳（メタデータ） (2025-07-09T16:54:21Z)
• PM-MOE: Mixture of Experts on Private Model Parameters for Personalized Federated Learning [14.681194790227085]
  フェデレーテッド・ラーニング(FL)は、プライバシー保護と協調学習能力で広く注目を集めている。 パーソナライズド・フェデレーション(Personalized Federated Learning)は、モデルをグローバルな共有部分とローカルなプライベート部分に分割することで、この問題に対処する。 本稿では、パーソナライズされたモジュールとエネルギーベースのパーソナライズされたモジュールを組み合わせたPM-MoEアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2025-02-01T07:20:21Z)
• Detecting Training Data of Large Language Models via Expectation Maximization [62.28028046993391]
  本稿では,予測最大化アルゴリズムを用いて,メンバーシップスコアとプレフィックススコアを反復的に洗練する新しいメンバーシップ推論手法EM-MIAを紹介する。 EM-MIAはWikiMIAで最先端の結果を得る。
  論文  参考訳（メタデータ） (2024-10-10T03:31:16Z)
• On-Device Collaborative Language Modeling via a Mixture of Generalists and Specialists [34.018740224268576]
  CoMiGSは、少ないデータでデバイス上でプライベートな学習を容易にする新しいアプローチである。 さまざまな専門家をローカライズしながら、ユーザ間でジェネラリストの専門家のバランスをとる。 トークン生成毎に,CoMiGSは一般的な知識とパーソナライズされた知識のバランスを効果的に表す。
  論文  参考訳（メタデータ） (2024-09-20T22:34:37Z)
• FedMoE: Personalized Federated Learning via Heterogeneous Mixture of Experts [4.412721048192925]
  我々は、データ不均一性に対処するための効率的パーソナライズされたFederated LearningフレームワークであるFedMoEを紹介する。 FedMoEは2つの微調整段階から構成されており、第1段階では、観測されたアクティベーションパターンに基づいて探索を行うことで問題を単純化する。 第2段階では、これらのサブモデルはさらなるトレーニングのためにクライアントに配布され、サーバ集約のために返される。
  論文  参考訳（メタデータ） (2024-08-21T03:16:12Z)
• Federated Face Forgery Detection Learning with Personalized Representation [63.90408023506508]
  ディープジェネレータ技術は、区別がつかない高品質のフェイクビデオを制作し、深刻な社会的脅威をもたらす可能性がある。 従来の偽造検出手法は、データを直接集中的に訓練する。 本稿では,個人化表現を用いた新しいフェデレーション顔偽造検出学習を提案する。
  論文  参考訳（メタデータ） (2024-06-17T02:20:30Z)
• Task-customized Masked AutoEncoder via Mixture of Cluster-conditional Experts [104.9871176044644]
  Masked Autoencoder (MAE) は,モデル事前学習において有望な結果が得られる自己教師型学習手法である。 我々は、新しいMAEベースの事前学習パラダイム、Mixture of Cluster-conditional Experts (MoCE)を提案する。 MoCEは、クラスタ条件ゲートを使用して、各専門家にセマンティックなイメージのみをトレーニングする。
  論文  参考訳（メタデータ） (2024-02-08T03:46:32Z)
• Multi-Center Federated Learning [62.57229809407692]
  本稿では,フェデレート学習のための新しい多中心集約機構を提案する。 非IIDユーザデータから複数のグローバルモデルを学び、同時にユーザとセンタ間の最適なマッチングを導出する。 ベンチマークデータセットによる実験結果から,本手法はいくつかの一般的なフェデレーション学習法より優れていることが示された。
  論文  参考訳（メタデータ） (2020-05-03T09:14:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。