論文の概要: VFedMH: Vertical Federated Learning for Training Multi-party Heterogeneous Models

• arxiv url: http://arxiv.org/abs/2310.13367v1
• Date: Fri, 20 Oct 2023 09:22:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-23 23:46:51.061527
• Title: VFedMH: Vertical Federated Learning for Training Multi-party Heterogeneous Models
• Title（参考訳）: VFedMH:多人数不均一モデルの訓練のための垂直的フェデレーション学習
• Authors: Shuo Wang and Keke Gai and Jing Yu and Liehuang Zhu
• Abstract要約: 本稿では,VFedMH(Vertical Federated Learning for Training Multi-Parties Heterogeneous Model)を提案する。 VFedMHでは、サンプルのラベルと特徴を持つアクティブパーティが、局所的な埋め込みを安全に集約し、グローバルな知識埋め込みを得る。 サンプルの特徴しか持たない受動的参加者は、グローバルな埋め込みを利用して、局所的な異種ネットワークを前進させる。
• 参考スコア（独自算出の注目度）: 22.729329722914663
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vertical Federated Learning (VFL) has gained increasing attention as a novel training paradigm that integrates sample alignment and feature union. However, existing VFL methods face challenges when dealing with heterogeneous local models among participants, which affects optimization convergence and generalization. To address this issue, this paper proposes a novel approach called Vertical Federated learning for training Multi-parties Heterogeneous models (VFedMH). VFedMH focuses on aggregating the embeddings of each participant's knowledge instead of intermediate results during forward propagation. The active party, who possesses labels and features of the sample, in VFedMH securely aggregates local embeddings to obtain global knowledge embeddings, and sends them to passive parties. The passive parties, who own only features of the sample, then utilize the global embeddings to propagate forward on their local heterogeneous networks. However, the passive party does not own the labels, so the local model gradient cannot be calculated locally. To overcome this limitation, the active party assists the passive party in computing its local heterogeneous model gradients. Then, each participant trains their local model using the heterogeneous model gradients. The objective is to minimize the loss value of their respective local heterogeneous models. Additionally, the paper provides a theoretical analysis of VFedMH's convergence performance. Extensive experiments are conducted to demonstrate that VFedMH can simultaneously train multiple heterogeneous models with heterogeneous optimization and outperform some recent methods in model performance.
• Abstract（参考訳）: Vertical Federated Learning (VFL)は、サンプルアライメントとフィーチャーユニオンを統合する新しいトレーニングパラダイムとして注目を集めている。 しかしながら、既存のVFL法は、最適化収束と一般化に影響を与える参加者間の異種局所モデルを扱う際に、課題に直面している。 この問題に対処するため,本稿では,VFedMH(Vertical Federated Learning for Training Multi-Parties Heterogeneous Model)を提案する。 VFedMHは、前方伝播中の中間結果ではなく、各参加者の知識の埋め込みを集約することに焦点を当てている。 VFedMHでは、サンプルのラベルと特徴を持つアクティブパーティが、グローバルな知識埋め込みを得るために、ローカル埋め込みを安全に集約し、受動的当事者に送信する。 サンプルの特徴しか持たない受動的参加者は、グローバルな埋め込みを利用して、局所的な異種ネットワークを前進させる。 しかし、受動的パーティはラベルを所有しないので、局所的なモデルの勾配を局所的に計算することはできない。 この制限を克服するために、アクティブパーティは、局所的不均質なモデルの勾配を計算する受動的パーティを支援する。 そして、各参加者は異種モデル勾配を用いて局所モデルを訓練する。 目的は各局所異種モデルの損失値を最小限にすることである。 さらに,VFedMHの収束性能に関する理論的解析を行った。 VFedMHは、不均一な最適化で複数の異種モデルを同時に訓練し、モデル性能の最近の手法より優れることを示した。

関連論文リスト

• Vertical Federated Learning Hybrid Local Pre-training [4.31644387824845]
  垂直フェデレート学習(VFL)のための新しいVFLハイブリッド局所事前学習(VFLHLP)手法を提案する。 VFLHLPはまず、参加者のローカルデータに基づいて、ローカルネットワークを事前訓練する。 そして、これらの事前学習ネットワークを使用して、ラベル付きパーティのサブモデルを調整するか、あるいは、アライメントされたデータ上で下流のフェデレーション学習中に、他のパーティの表現学習を強化する。
  論文  参考訳（メタデータ） (2024-05-20T08:57:39Z)
• FedDistill: Global Model Distillation for Local Model De-Biasing in Non-IID Federated Learning [10.641875933652647]
  フェデレートラーニング(FL)は、協調機械学習を可能にする新しいアプローチである。 FLは、クライアント間で均一に分散されていない(非ID)データのために、課題に直面します。 本稿では,グローバルモデルからローカルモデルへの知識伝達を促進するフレームワークであるFedDistillを紹介する。
  論文  参考訳（メタデータ） (2024-04-14T10:23:30Z)
• pFedMoE: Data-Level Personalization with Mixture of Experts for Model-Heterogeneous Personalized Federated Learning [35.72303739409116]
  そこで本研究では,Mixture of Experts (pFedMoE) 法を用いたモデルヘテロジニアスなフェデレート学習を提案する。 共有同種小特徴抽出器と、各クライアントの局所異種大モデルに対するローカルゲーティングネットワークを割り当てる。 全体として、pFedMoEは局所モデルのパーソナライズをきめ細かいデータレベルで強化する。
  論文  参考訳（メタデータ） (2024-02-02T12:09:20Z)
• Federated Learning via Input-Output Collaborative Distillation [40.38454921071808]
  Federated Learning(FL)は、個別に保持されたプライベートデータを共有せずに、分散ローカルノードが協調的に中央モデルをトレーニングする機械学習パラダイムである。 直接入力と出力空間を利用した局所-中央協調蒸留に基づくデータフリーFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T07:05:13Z)
• pFedES: Model Heterogeneous Personalized Federated Learning with Feature Extractor Sharing [19.403843478569303]
  特徴抽出器の共有に基づくモデル・ヘテロジニアス・パーソナライズされたフェデレーション学習手法を提案する。 これは、各クライアントの異種局所モデルに小さな同種特徴抽出器を組み込む。 テスト精度は1.61%向上し、通信コストと計算コストをそれぞれ99.6%と82.9%削減した。
  論文  参考訳（メタデータ） (2023-11-12T15:43:39Z)
• Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
  フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。 FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。 そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-11-12T11:01:10Z)
• Improving Heterogeneous Model Reuse by Density Estimation [105.97036205113258]
  本稿では,異なる参加者の個人データを用いてモデルを学習することを目的とした多人数学習について検討する。 モデルの再利用は、各パーティーのためにローカルモデルがトレーニングされていると仮定して、マルチパーティの学習にとって有望なソリューションである。
  論文  参考訳（メタデータ） (2023-05-23T09:46:54Z)
• Integrating Local Real Data with Global Gradient Prototypes for Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
  フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。 データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。 本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
  論文  参考訳（メタデータ） (2023-01-25T03:18:10Z)
• Federated and Generalized Person Re-identification through Domain and Feature Hallucinating [88.77196261300699]
  人物再識別(re-ID)におけるフェデレーションドメイン一般化(FedDG)の問題について検討する。 一般化された局所的・グローバルなモデルを学ぶための多様な特徴を創出する手法として,DFH (Domain and Feature Hallucinating) を提案する。 提案手法は4つの大規模re-IDベンチマークにおいてFedDGの最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-03-05T09:15:13Z)
• FedH2L: Federated Learning with Model and Statistical Heterogeneity [75.61234545520611]
  フェデレートラーニング(FL)は、分散参加者が個々のデータのプライバシを犠牲にすることなく、強力なグローバルモデルを集合的に学習することを可能にする。 我々はFedH2Lを導入し、これはモデルアーキテクチャに非依存であり、参加者間で異なるデータ分散に対して堅牢である。 パラメータや勾配を共有するアプローチとは対照的に、FedH2Lは相互蒸留に依存し、参加者間で共有シードセットの後方のみを分散的に交換する。
  論文  参考訳（メタデータ） (2021-01-27T10:10:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。