論文の概要: Mixture of Predefined Experts: Maximizing Data Usage on Vertical Federated Learning
- arxiv url: http://arxiv.org/abs/2602.12708v1
- Date: Fri, 13 Feb 2026 08:21:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-16 23:37:53.89042
- Title: Mixture of Predefined Experts: Maximizing Data Usage on Vertical Federated Learning
- Title(参考訳): 事前定義されたエキスパートの混在:垂直的フェデレーション学習におけるデータ利用の最大化
- Authors: Jon Irureta, Gorka Azkune, Jon Imaz, Aizea Lojo, Javier Fernandez-Marques,
- Abstract要約: Split-MoPEは、Split Learningと専門的なMixture of Predefined Expertsアーキテクチャを統合する新しいフレームワークである。
MoPEは、事前定義された専門家を使用して、特定のデータアライメントを処理し、トレーニングと推論の両方におけるデータ使用量を効果的に最大化する。
トレーニング済みエンコーダをターゲットデータドメインに利用することにより、Split-MoPEは単一の通信ラウンドで最先端のパフォーマンスを達成する。
- 参考スコア(独自算出の注目度): 4.1346825639910785
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vertical Federated Learning (VFL) has emerged as a critical paradigm for collaborative model training in privacy-sensitive domains such as finance and healthcare. However, most existing VFL frameworks rely on the idealized assumption of full sample alignment across participants, a premise that rarely holds in real-world scenarios. To bridge this gap, this work introduces Split-MoPE, a novel framework that integrates Split Learning with a specialized Mixture of Predefined Experts (MoPE) architecture. Unlike standard Mixture of Experts (MoE), where routing is learned dynamically, MoPE uses predefined experts to process specific data alignments, effectively maximizing data usage during both training and inference without requiring full sample overlap. By leveraging pretrained encoders for target data domains, Split-MoPE achieves state-of-the-art performance in a single communication round, significantly reducing the communication footprint compared to multi-round end-to-end training. Furthermore, unlike existing proposals that address sample misalignment, this novel architecture provides inherent robustness against malicious or noisy participants and offers per-sample interpretability by quantifying each collaborator's contribution to each prediction. Extensive evaluations on vision (CIFAR-10/100) and tabular (Breast Cancer Wisconsin) datasets demonstrate that Split-MoPE consistently outperforms state-of-the-art systems such as LASER and Vertical SplitNN, particularly in challenging scenarios with high data missingness.
- Abstract(参考訳): Vertical Federated Learning (VFL) は、金融や医療といったプライバシーに敏感な領域における協調モデルトレーニングにおいて、重要なパラダイムとして登場した。
しかし、既存のほとんどのVFLフレームワークは参加者間の完全なサンプルアライメントという理想的な仮定に依存している。
このギャップを埋めるために、この研究はSplit-MoPEを導入している。Split Learningと専用のMixture of Predefined Experts (MoPE)アーキテクチャを統合する新しいフレームワークである。
ルーティングを動的に学習する標準的なMixture of Experts(MoE)とは異なり、MoPEは事前に定義された専門家を使用して特定のデータアライメントを処理する。
Split-MoPEは、事前学習したエンコーダをターゲットデータドメインに利用することにより、単一の通信ラウンドにおける最先端のパフォーマンスを実現し、マルチラウンドエンドツーエンドトレーニングと比較して通信フットプリントを著しく削減する。
さらに、サンプルのミスアライメントに対処する既存の提案とは異なり、この新しいアーキテクチャは、悪意のある、または騒々しい参加者に対して固有の堅牢性を提供し、それぞれの予測に対する共同作業者の貢献を定量化することによって、サンプルごとの解釈性を提供する。
ビジョン(CIFAR-10/100)とタブ状(Breast Cancer Wisconsin)データセットの大規模な評価は、特にデータ不足の困難なシナリオにおいて、Split-MoPEがLASERやVertical SplitNNのような最先端システムより一貫して優れていることを示している。
関連論文リスト
- Personalized Subgraph Federated Learning with Differentiable Auxiliary Projections [15.488985833084408]
補助投影を用いたフェデレーション学習(FedAux)を紹介する。
FedAuxはパーソナライズされたサブグラフFLフレームワークで、生のデータやノードの埋め込みを共有することなく、均一に分散されたローカルモデルを調整、比較、集約することを学ぶ。
多様なグラフベンチマークによる実証的な評価は、FedAuxが精度とパーソナライズ性能の両方で既存のベースラインを大幅に上回っていることを示している。
論文 参考訳(メタデータ) (2025-05-29T09:17:49Z) - A Novel Algorithm for Personalized Federated Learning: Knowledge Distillation with Weighted Combination Loss [0.0]
pFedKD-WCLは知識蒸留と二段階最適化を統合し、非IID課題に対処する。
我々は,MNISTデータセットと非IID合成データセットを用いたpFedKD-WCLを,多相ロジスティック回帰モデルと多層パーセプトロンモデルを用いて評価した。
論文 参考訳(メタデータ) (2025-04-06T23:22:03Z) - Hybrid-Regularized Magnitude Pruning for Robust Federated Learning under Covariate Shift [2.298932494750101]
クライアント側トレーニング分布の不整合がフェデレート学習モデルの性能を著しく低下させることを示す。
本稿では,ニューラルネットワークの疎結合性,冗長性,堅牢性を改善するために,フラニングとクライアントトレーニングの正規化を組み合わせた新しいFLフレームワークを提案する。
論文 参考訳(メタデータ) (2024-12-19T16:22:37Z) - Leveraging Foundation Models for Multi-modal Federated Learning with Incomplete Modality [41.79433449873368]
我々は、事前学習完了(FedMVP)を用いた新しいマルチモーダル・コントラスト学習法、フェデレーション・マルチモーダル・コントラストVeトレーニングを提案する。
FedMVPは、大規模な事前トレーニングモデルを統合して、フェデレーショントレーニングを強化する。
実世界の2つの画像テキスト分類データセットよりも優れた性能を示す。
論文 参考訳(メタデータ) (2024-06-16T19:18:06Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-22T02:12:08Z) - Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。
FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。
PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文 参考訳(メタデータ) (2023-05-01T20:04:46Z) - Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。
このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。
本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
論文 参考訳(メタデータ) (2023-02-24T08:41:19Z) - DRFLM: Distributionally Robust Federated Learning with Inter-client
Noise via Local Mixup [58.894901088797376]
連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。
上記の2つの課題を同時に解決するための一般的な枠組みを提案する。
我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
論文 参考訳(メタデータ) (2022-04-16T08:08:29Z) - Efficient Split-Mix Federated Learning for On-Demand and In-Situ
Customization [107.72786199113183]
フェデレートラーニング(FL)は、複数の参加者が生データを共有せずに学習をコラボレーションするための分散ラーニングフレームワークを提供する。
本稿では, モデルサイズとロバスト性をその場でカスタマイズできる, 不均一な参加者のための新しいスプリット・ミクス・FL戦略を提案する。
論文 参考訳(メタデータ) (2022-03-18T04:58:34Z) - DiVA: Diverse Visual Feature Aggregation for Deep Metric Learning [83.48587570246231]
視覚的類似性は多くのコンピュータビジョンアプリケーションにおいて重要な役割を果たす。
ディープ・メトリック・ラーニング(DML)は、そのような類似性を学ぶための強力なフレームワークである。
我々は,概念的に異なるデータ関係を対象とする複数の補完学習タスクを提案し,研究する。
我々は、訓練信号を集約する単一モデルを学び、その結果、強力な一般化と最先端のパフォーマンスが得られる。
論文 参考訳(メタデータ) (2020-04-28T12:26:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。