論文の概要: VFedMH: Vertical Federated Learning for Training Multiple Heterogeneous
Models
- arxiv url: http://arxiv.org/abs/2310.13367v2
- Date: Thu, 8 Feb 2024 08:24:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-09 18:58:54.984450
- Title: VFedMH: Vertical Federated Learning for Training Multiple Heterogeneous
Models
- Title(参考訳): VFedMH:多重不均一モデルの訓練のための垂直フェデレーション学習
- Authors: Shuo Wang and Keke Gai and Jing Yu and Liehuang Zhu and Kim-Kwang
Raymond Choo and Bin Xiao
- Abstract要約: 本稿では,複数の異種モデル(VFedMH)を学習するための垂直フェデレーション学習という新しい手法を提案する。
被験者の局所的な埋め込み値を保護するために,軽量なブラインド・ファクターに基づく埋め込み保護手法を提案する。
実験により、VFedMHは、不均一な最適化で複数の異種モデルを同時に訓練し、モデル性能の最近の手法より優れていることを示す。
- 参考スコア(独自算出の注目度): 53.30484242706966
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vertical federated learning has garnered significant attention as it allows
clients to train machine learning models collaboratively without sharing local
data, which protects the client's local private data. However, existing VFL
methods face challenges when dealing with heterogeneous local models among
participants, which affects optimization convergence and generalization. To
address this challenge, this paper proposes a novel approach called Vertical
federated learning for training multiple Heterogeneous models (VFedMH). VFedMH
focuses on aggregating the local embeddings of each participant's knowledge
during forward propagation. To protect the participants' local embedding
values, we propose an embedding protection method based on lightweight blinding
factors. In particular, participants obtain local embedding using local
heterogeneous models. Then the passive party, who owns only features of the
sample, injects the blinding factor into the local embedding and sends it to
the active party. The active party aggregates local embeddings to obtain global
knowledge embeddings and sends them to passive parties. The passive parties
then utilize the global embeddings to propagate forward on their local
heterogeneous networks. However, the passive party does not own the sample
labels, so the local model gradient cannot be calculated locally. To overcome
this limitation, the active party assists the passive party in computing its
local heterogeneous model gradients. Then, each participant trains their local
model using the heterogeneous model gradients. The objective is to minimize the
loss value of their respective local heterogeneous models. Extensive
experiments are conducted to demonstrate that VFedMH can simultaneously train
multiple heterogeneous models with heterogeneous optimization and outperform
some recent methods in model performance.
- Abstract(参考訳): 垂直フェデレーション学習は、クライアントがローカルデータを共有せずに機械学習モデルを協調的にトレーニングすることを可能にし、クライアントのローカルプライベートデータを保護するため、大きな注目を集めている。
しかしながら、既存のVFL法は、最適化収束と一般化に影響を与える参加者間の異種局所モデルを扱う際に、課題に直面している。
そこで本研究では,複数の異種モデル(VFedMH)を学習するための垂直連合学習という新しい手法を提案する。
VFedMHは、前方伝播中に各参加者の知識の局所的な埋め込みを集約することに焦点を当てている。
参加者の局所埋め込み値を保護するため,軽量ブラインド係数に基づく埋め込み保護手法を提案する。
特に、参加者は局所的異種モデルを用いて局所的な埋め込みを得る。
次に、サンプルの特徴のみを所有する受動的パーティは、盲目要因をローカル埋め込みに注入し、アクティブなパーティに送る。
アクティブパーティは、グローバルな知識埋め込みを得るためにローカル埋め込みを集約し、受動的パーティーに送信する。
受動的パーティは、グローバル埋め込みを利用して、ローカルな異種ネットワーク上で前進する。
しかし、パッシブパーティはサンプルラベルを所有していないため、局所モデル勾配を局所的に計算することはできない。
この制限を克服するために、アクティブパーティは、局所的不均質なモデルの勾配を計算する受動的パーティを支援する。
そして、各参加者は異種モデル勾配を用いて局所モデルを訓練する。
目的は各局所異種モデルの損失値を最小限にすることである。
VFedMHは、不均一な最適化で複数の異種モデルを同時に訓練し、モデル性能の最近の手法より優れることを示した。
関連論文リスト
- Vertical Federated Learning Hybrid Local Pre-training [4.31644387824845]
垂直フェデレート学習(VFL)のための新しいVFLハイブリッド局所事前学習(VFLHLP)手法を提案する。
VFLHLPはまず、参加者のローカルデータに基づいて、ローカルネットワークを事前訓練する。
そして、これらの事前学習ネットワークを使用して、ラベル付きパーティのサブモデルを調整するか、あるいは、アライメントされたデータ上で下流のフェデレーション学習中に、他のパーティの表現学習を強化する。
論文 参考訳(メタデータ) (2024-05-20T08:57:39Z) - FedDistill: Global Model Distillation for Local Model De-Biasing in Non-IID Federated Learning [10.641875933652647]
フェデレートラーニング(FL)は、協調機械学習を可能にする新しいアプローチである。
FLは、クライアント間で均一に分散されていない(非ID)データのために、課題に直面します。
本稿では,グローバルモデルからローカルモデルへの知識伝達を促進するフレームワークであるFedDistillを紹介する。
論文 参考訳(メタデータ) (2024-04-14T10:23:30Z) - pFedMoE: Data-Level Personalization with Mixture of Experts for
Model-Heterogeneous Personalized Federated Learning [35.72303739409116]
そこで本研究では,Mixture of Experts (pFedMoE) 法を用いたモデルヘテロジニアスなフェデレート学習を提案する。
共有同種小特徴抽出器と、各クライアントの局所異種大モデルに対するローカルゲーティングネットワークを割り当てる。
全体として、pFedMoEは局所モデルのパーソナライズをきめ細かいデータレベルで強化する。
論文 参考訳(メタデータ) (2024-02-02T12:09:20Z) - Federated Learning via Input-Output Collaborative Distillation [40.38454921071808]
Federated Learning(FL)は、個別に保持されたプライベートデータを共有せずに、分散ローカルノードが協調的に中央モデルをトレーニングする機械学習パラダイムである。
直接入力と出力空間を利用した局所-中央協調蒸留に基づくデータフリーFLフレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-22T07:05:13Z) - pFedES: Model Heterogeneous Personalized Federated Learning with Feature
Extractor Sharing [19.403843478569303]
特徴抽出器の共有に基づくモデル・ヘテロジニアス・パーソナライズされたフェデレーション学習手法を提案する。
これは、各クライアントの異種局所モデルに小さな同種特徴抽出器を組み込む。
テスト精度は1.61%向上し、通信コストと計算コストをそれぞれ99.6%と82.9%削減した。
論文 参考訳(メタデータ) (2023-11-12T15:43:39Z) - Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。
FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。
そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
論文 参考訳(メタデータ) (2023-11-12T11:01:10Z) - Improving Heterogeneous Model Reuse by Density Estimation [105.97036205113258]
本稿では,異なる参加者の個人データを用いてモデルを学習することを目的とした多人数学習について検討する。
モデルの再利用は、各パーティーのためにローカルモデルがトレーニングされていると仮定して、マルチパーティの学習にとって有望なソリューションである。
論文 参考訳(メタデータ) (2023-05-23T09:46:54Z) - Integrating Local Real Data with Global Gradient Prototypes for
Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。
データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。
本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
論文 参考訳(メタデータ) (2023-01-25T03:18:10Z) - Federated and Generalized Person Re-identification through Domain and
Feature Hallucinating [88.77196261300699]
人物再識別(re-ID)におけるフェデレーションドメイン一般化(FedDG)の問題について検討する。
一般化された局所的・グローバルなモデルを学ぶための多様な特徴を創出する手法として,DFH (Domain and Feature Hallucinating) を提案する。
提案手法は4つの大規模re-IDベンチマークにおいてFedDGの最先端性能を実現する。
論文 参考訳(メタデータ) (2022-03-05T09:15:13Z) - FedH2L: Federated Learning with Model and Statistical Heterogeneity [75.61234545520611]
フェデレートラーニング(FL)は、分散参加者が個々のデータのプライバシを犠牲にすることなく、強力なグローバルモデルを集合的に学習することを可能にする。
我々はFedH2Lを導入し、これはモデルアーキテクチャに非依存であり、参加者間で異なるデータ分散に対して堅牢である。
パラメータや勾配を共有するアプローチとは対照的に、FedH2Lは相互蒸留に依存し、参加者間で共有シードセットの後方のみを分散的に交換する。
論文 参考訳(メタデータ) (2021-01-27T10:10:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。