論文の概要: Vertical Federated Learning Hybrid Local Pre-training

• arxiv url: http://arxiv.org/abs/2405.11884v2
• Date: Tue, 21 May 2024 07:46:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-22 15:26:53.241195
• Title: Vertical Federated Learning Hybrid Local Pre-training
• Title（参考訳）: 鉛直的フェデレーション学習 ハイブリッドローカル事前学習
• Authors: Wenguo Li, Xinling Guo, Xu Jiao, Tiancheng Huang, Xiaoran Yan, Yao Yang,
• Abstract要約: 垂直フェデレート学習(VFL)のための新しいVFLハイブリッド局所事前学習(VFLHLP)手法を提案する。 VFLHLPはまず、参加者のローカルデータに基づいて、ローカルネットワークを事前訓練する。 そして、これらの事前学習ネットワークを使用して、ラベル付きパーティのサブモデルを調整するか、あるいは、アライメントされたデータ上で下流のフェデレーション学習中に、他のパーティの表現学習を強化する。
• 参考スコア（独自算出の注目度）: 4.31644387824845
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vertical Federated Learning (VFL), which has a broad range of real-world applications, has received much attention in both academia and industry. Enterprises aspire to exploit more valuable features of the same users from diverse departments to boost their model prediction skills. VFL addresses this demand and concurrently secures individual parties from exposing their raw data. However, conventional VFL encounters a bottleneck as it only leverages aligned samples, whose size shrinks with more parties involved, resulting in data scarcity and the waste of unaligned data. To address this problem, we propose a novel VFL Hybrid Local Pre-training (VFLHLP) approach. VFLHLP first pre-trains local networks on the local data of participating parties. Then it utilizes these pre-trained networks to adjust the sub-model for the labeled party or enhance representation learning for other parties during downstream federated learning on aligned data, boosting the performance of federated models. The experimental results on real-world advertising datasets, demonstrate that our approach achieves the best performance over baseline methods by large margins. The ablation study further illustrates the contribution of each technique in VFLHLP to its overall performance.
• Abstract（参考訳）: 現実世界の応用範囲の広い垂直的フェデレートラーニング(VFL)は、アカデミックと産業の両方で多くの注目を集めている。 企業は、モデルの予測スキルを高めるために、さまざまな部門から同じユーザのより価値のある機能を活用しようとしている。 VFLはこの要求に対処し、個々のパーティが生データを公開しないことを同時に保証します。 しかしながら、従来のVFLは、より多くの関係者が関与してサイズが縮小し、データ不足と不整合データの無駄が生じるような整合したサンプルのみを活用するため、ボトルネックに直面している。 この問題に対処するために,新しいVFL Hybrid Local Pre-training (VFLHLP) アプローチを提案する。 VFLHLPはまず、参加者のローカルデータに基づいて、ローカルネットワークを事前訓練する。 そして、これらの事前学習ネットワークを利用してラベル付きパーティーのサブモデルを調整するか、下流のフェデレーション学習中に他のパーティーの表現学習を強化することで、フェデレーション付きモデルの性能を高める。 実世界の広告データセットの実験結果から,本手法がベースライン手法よりも大きなマージンで最高の性能を達成することを示す。 アブレーション研究は、VFLHLPにおける各テクニックの全体的な性能への貢献をさらに示している。

関連論文リスト

• FedAli: Personalized Federated Learning with Aligned Prototypes through Optimal Transport [9.683642138601464]
  フェデレートラーニング(FL)は、生データを共有することなく、複数のデバイス間で協調してパーソナライズされたモデルトレーニングを可能にする。 入力埋め込みを学習可能なプロトタイプに近づけるPrototypesレイヤのアライメントを導入する。 我々はFedAliを異種センサによる人間の活動認識と視覚ベンチマークのデータセットで評価し、既存のFL戦略よりも優れていることを示した。
  論文  参考訳（メタデータ） (2024-11-15T21:35:21Z)
• De-VertiFL: A Solution for Decentralized Vertical Federated Learning [7.877130417748362]
  この研究は、分散VFL設定でモデルをトレーニングするための新しいソリューションであるDe-VertiFLを紹介している。 De-VertiFLは、新しいネットワークアーキテクチャディストリビューション、革新的な知識交換スキーム、分散フェデレーショントレーニングプロセスを導入することで貢献する。 その結果、De-VertiFLは一般的にF1スコアのパフォーマンスにおいて最先端のメソッドを上回り、分散化とプライバシ保護のフレームワークを維持していることがわかった。
  論文  参考訳（メタデータ） (2024-10-08T15:31:10Z)
• Distributionally Robust Alignment for Medical Federated Vision-Language Pre-training Under Data Heterogeneity [4.84693589377679]
  医用ビジョン言語事前学習のためのFedDRA(Federated Distributionally Robust Alignment)を提案する。 FedDRAは異種条件下で頑健な視覚言語アライメントを実現する。 また,本手法は様々な医学的事前訓練法にも適している。
  論文  参考訳（メタデータ） (2024-04-05T01:17:25Z)
• Contrastive encoder pre-training-based clustered federated learning for heterogeneous data [17.580390632874046]
  フェデレートラーニング(FL)は、分散クライアントがデータのプライバシを保持しながら、グローバルモデルを協調的にトレーニングすることを可能にする。 本稿では,モデル収束とFLシステム全体の性能を改善するために,CP-CFL(Contrative Pre-training-based Clustered Federated Learning)を提案する。
  論文  参考訳（メタデータ） (2023-11-28T05:44:26Z)
• VFedMH: Vertical Federated Learning for Training Multiple Heterogeneous Models [53.30484242706966]
  本稿では,複数の異種モデル(VFedMH)を学習するための垂直フェデレーション学習という新しい手法を提案する。 被験者の局所的な埋め込み値を保護するために,軽量なブラインド・ファクターに基づく埋め込み保護手法を提案する。 実験により、VFedMHは、不均一な最適化で複数の異種モデルを同時に訓練し、モデル性能の最近の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-20T09:22:51Z)
• Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
  我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。 提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
  論文  参考訳（メタデータ） (2023-07-12T16:28:21Z)
• DPP-based Client Selection for Federated Learning with Non-IID Data [97.1195165400568]
  本稿では,統合学習(FL)のコミュニケーションボトルネックに対処するクライアント選択(CS)手法を提案する。 まず、FLにおけるCSの効果を分析し、各学習ラウンドにおけるトレーニングデータセットの多様化に参加者を適切に選択することで、FLトレーニングを加速させることができることを示す。 我々は、データプロファイリングと決定点プロセス(DPP)サンプリング技術を活用し、DPPに基づく参加者選択(FL-DP$3$S)によるフェデレートラーニング(Federated Learning)と呼ばれるアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2023-03-30T13:14:54Z)
• Integrating Local Real Data with Global Gradient Prototypes for Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
  フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。 データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。 本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
  論文  参考訳（メタデータ） (2023-01-25T03:18:10Z)
• Vertical Semi-Federated Learning for Efficient Online Advertising [50.18284051956359]
  VFLの実践的な産業的応用を実現するために,Semi-VFL (Vertical Semi-Federated Learning) を提案する。 サンプル空間全体に適用可能な推論効率のよいシングルパーティ学生モデルを構築した。 新しい表現蒸留法は、重なり合うデータと非重なり合うデータの両方について、パーティ間の特徴相関を抽出するように設計されている。
  論文  参考訳（メタデータ） (2022-09-30T17:59:27Z)
• FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
  フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。 我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。 そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
  論文  参考訳（メタデータ） (2022-07-20T04:55:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。