Fugu-MT 論文翻訳(概要): Vertical Federated Learning Hybrid Local Pre-training

論文の概要: Vertical Federated Learning Hybrid Local Pre-training

arxiv url: http://arxiv.org/abs/2405.11884v2
Date: Tue, 21 May 2024 07:46:03 GMT
ステータス: 処理完了
システム内更新日: 2024-05-22 15:26:53.241195
Title: Vertical Federated Learning Hybrid Local Pre-training
Title（参考訳）: 鉛直的フェデレーション学習ハイブリッドローカル事前学習
Authors: Wenguo Li, Xinling Guo, Xu Jiao, Tiancheng Huang, Xiaoran Yan, Yao Yang,
Abstract要約: 垂直フェデレート学習(VFL)のための新しいVFLハイブリッド局所事前学習(VFLHLP)手法を提案する。 VFLHLPはまず、参加者のローカルデータに基づいて、ローカルネットワークを事前訓練する。そして、これらの事前学習ネットワークを使用して、ラベル付きパーティのサブモデルを調整するか、あるいは、アライメントされたデータ上で下流のフェデレーション学習中に、他のパーティの表現学習を強化する。
参考スコア（独自算出の注目度）: 4.31644387824845
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Vertical Federated Learning (VFL), which has a broad range of real-world applications, has received much attention in both academia and industry. Enterprises aspire to exploit more valuable features of the same users from diverse departments to boost their model prediction skills. VFL addresses this demand and concurrently secures individual parties from exposing their raw data. However, conventional VFL encounters a bottleneck as it only leverages aligned samples, whose size shrinks with more parties involved, resulting in data scarcity and the waste of unaligned data. To address this problem, we propose a novel VFL Hybrid Local Pre-training (VFLHLP) approach. VFLHLP first pre-trains local networks on the local data of participating parties. Then it utilizes these pre-trained networks to adjust the sub-model for the labeled party or enhance representation learning for other parties during downstream federated learning on aligned data, boosting the performance of federated models. The experimental results on real-world advertising datasets, demonstrate that our approach achieves the best performance over baseline methods by large margins. The ablation study further illustrates the contribution of each technique in VFLHLP to its overall performance.
Abstract（参考訳）: 現実世界の応用範囲の広い垂直的フェデレートラーニング(VFL)は、アカデミックと産業の両方で多くの注目を集めている。企業は、モデルの予測スキルを高めるために、さまざまな部門から同じユーザのより価値のある機能を活用しようとしている。 VFLはこの要求に対処し、個々のパーティが生データを公開しないことを同時に保証します。しかしながら、従来のVFLは、より多くの関係者が関与してサイズが縮小し、データ不足と不整合データの無駄が生じるような整合したサンプルのみを活用するため、ボトルネックに直面している。この問題に対処するために,新しいVFL Hybrid Local Pre-training (VFLHLP) アプローチを提案する。 VFLHLPはまず、参加者のローカルデータに基づいて、ローカルネットワークを事前訓練する。そして、これらの事前学習ネットワークを利用してラベル付きパーティーのサブモデルを調整するか、下流のフェデレーション学習中に他のパーティーの表現学習を強化することで、フェデレーション付きモデルの性能を高める。実世界の広告データセットの実験結果から,本手法がベースライン手法よりも大きなマージンで最高の性能を達成することを示す。アブレーション研究は、VFLHLPにおける各テクニックの全体的な性能への貢献をさらに示している。

関連論文リスト

Multi-level Personalized Federated Learning on Heterogeneous and Long-Tailed Data [10.64629029156029]
マルチレベル・パーソナライズド・フェデレーション・ラーニング(MuPFL)という革新的パーソナライズド・パーソナライズド・ラーニング・フレームワークを導入する。 MuPFLは3つの重要なモジュールを統合している: Biased Activation Value Dropout (BAVD), Adaptive Cluster-based Model Update (ACMU), Prior Knowledge-assisted Fine-tuning (PKCF)。様々な実世界のデータセットの実験では、MuPFLは極端に非i.d.と長い尾の条件下であっても、最先端のベースラインを一貫して上回っている。
論文参考訳（メタデータ） (2024-05-10T11:52:53Z)
Align as Ideal: Cross-Modal Alignment Binding for Federated Medical Vision-Language Pre-training [3.249954379196379]
視覚言語による事前訓練には大規模なマルチモーダルデータが必要であるため、特に医学的応用において障害となる。 We propose a Federated Align as IDeal (FedAID) framework to bind local client with an ideal crossmodal alignment。実世界のデータセットを用いた実験では,効率的なフェデレーション型マルチモーダル学習の促進に成功している。
論文参考訳（メタデータ） (2024-04-05T01:17:25Z)
Contrastive encoder pre-training-based clustered federated learning for heterogeneous data [17.580390632874046]
フェデレートラーニング(FL)は、分散クライアントがデータのプライバシを保持しながら、グローバルモデルを協調的にトレーニングすることを可能にする。本稿では,モデル収束とFLシステム全体の性能を改善するために,CP-CFL(Contrative Pre-training-based Clustered Federated Learning)を提案する。
論文参考訳（メタデータ） (2023-11-28T05:44:26Z)
VFedMH: Vertical Federated Learning for Training Multiple Heterogeneous Models [53.30484242706966]
本稿では,複数の異種モデル(VFedMH)を学習するための垂直フェデレーション学習という新しい手法を提案する。被験者の局所的な埋め込み値を保護するために,軽量なブラインド・ファクターに基づく埋め込み保護手法を提案する。実験により、VFedMHは、不均一な最適化で複数の異種モデルを同時に訓練し、モデル性能の最近の手法より優れていることを示す。
論文参考訳（メタデータ） (2023-10-20T09:22:51Z)
Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
論文参考訳（メタデータ） (2023-07-12T16:28:21Z)
Benchmarking FedAvg and FedCurv for Image Classification Tasks [1.376408511310322]
本稿では,同じフェデレーションネットワークにおけるデータの統計的不均一性の問題に焦点をあてる。 FedAvg、FedProx、Federated Curvature(FedCurv)など、いくつかのフェデレートラーニングアルゴリズムがすでに提案されている。この研究の副産物として、FLコミュニティからのさらなる比較を容易にするために使用したデータセットの非IIDバージョンをリリースします。
論文参考訳（メタデータ） (2023-03-31T10:13:01Z)
DPP-based Client Selection for Federated Learning with Non-IID Data [97.1195165400568]
本稿では,統合学習(FL)のコミュニケーションボトルネックに対処するクライアント選択(CS)手法を提案する。まず、FLにおけるCSの効果を分析し、各学習ラウンドにおけるトレーニングデータセットの多様化に参加者を適切に選択することで、FLトレーニングを加速させることができることを示す。我々は、データプロファイリングと決定点プロセス(DPP)サンプリング技術を活用し、DPPに基づく参加者選択(FL-DP$3$S)によるフェデレートラーニング(Federated Learning)と呼ばれるアルゴリズムを開発する。
論文参考訳（メタデータ） (2023-03-30T13:14:54Z)
Integrating Local Real Data with Global Gradient Prototypes for Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
論文参考訳（メタデータ） (2023-01-25T03:18:10Z)
Vertical Semi-Federated Learning for Efficient Online Advertising [50.18284051956359]
VFLの実践的な産業的応用を実現するために,Semi-VFL (Vertical Semi-Federated Learning) を提案する。サンプル空間全体に適用可能な推論効率のよいシングルパーティ学生モデルを構築した。新しい表現蒸留法は、重なり合うデータと非重なり合うデータの両方について、パーティ間の特徴相関を抽出するように設計されている。
論文参考訳（メタデータ） (2022-09-30T17:59:27Z)
FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文参考訳（メタデータ） (2022-07-20T04:55:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。