論文の概要: Towards Active Participant-Centric Vertical Federated Learning: Some Representations May Be All You Need
- arxiv url: http://arxiv.org/abs/2410.17648v1
- Date: Wed, 23 Oct 2024 08:07:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-24 13:55:22.161484
- Title: Towards Active Participant-Centric Vertical Federated Learning: Some Representations May Be All You Need
- Title(参考訳): 積極的参加型垂直的フェデレーション学習を目指して
- Authors: Jon Irureta, Jon Imaz, Aizea Lojo, Marco González, Iñigo Perona,
- Abstract要約: VFL(Vertical Federated Learning)に新たなシンプルなアプローチを導入する。
Active Participant-Centric VFLは、アクティブな参加者が非協力的な方法で推論を行うことを可能にする。
この方法は、教師なし表現学習と知識蒸留を統合し、従来のVFL法に匹敵する精度を実現する。
- 参考スコア(独自算出の注目度): 0.0
- License:
- Abstract: Vertical Federated Learning (VFL) enables collaborative model training across different participants with distinct features and common samples, while preserving data privacy. Existing VFL methodologies often struggle with realistic data partitions, typically incurring high communication costs and significant operational complexity. In this work, we introduce a novel simplified approach to VFL, Active Participant-Centric VFL (APC-VFL), that, to the best of our knowledge, is the first to require only a single communication round between participants, and allows the active participant to do inference in a non collaborative fashion. This method integrates unsupervised representation learning with knowledge distillation to achieve comparable accuracy to traditional VFL methods based on vertical split learning in classical settings, reducing required communication rounds by up to $4200\times$, while being more flexible. Our approach also shows improvements compared to non-federated local models, as well as a comparable VFL proposal, VFedTrans, offering an efficient and flexible solution for collaborative learning.
- Abstract(参考訳): Vertical Federated Learning (VFL)は、データプライバシを保ちながら、異なる機能と一般的なサンプルを持つ、さまざまな参加者間で協調的なモデルトレーニングを可能にする。
既存のVFL方法論は、しばしば現実的なデータ分割に苦しむ。
本稿では,VFL(Active Participant-Centric VFL, APC-VFL)に対する新たな簡易なアプローチを提案する。
この手法は、教師なし表現学習と知識蒸留を統合し、古典的な環境下での垂直分割学習に基づく従来のVFL法と同等の精度を達成し、必要な通信ラウンドを最大4200\times$に削減し、より柔軟である。
当社のアプローチでは,非フェデレートなローカルモデルと同等のVFL提案であるVFedTransによる,協調学習のための効率的かつ柔軟なソリューションも提供しています。
関連論文リスト
- Vertical Federated Learning Hybrid Local Pre-training [4.31644387824845]
垂直フェデレート学習(VFL)のための新しいVFLハイブリッド局所事前学習(VFLHLP)手法を提案する。
VFLHLPはまず、参加者のローカルデータに基づいて、ローカルネットワークを事前訓練する。
そして、これらの事前学習ネットワークを使用して、ラベル付きパーティのサブモデルを調整するか、あるいは、アライメントされたデータ上で下流のフェデレーション学習中に、他のパーティの表現学習を強化する。
論文 参考訳(メタデータ) (2024-05-20T08:57:39Z) - A Survey on Efficient Federated Learning Methods for Foundation Model Training [62.473245910234304]
フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。
Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。
FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
論文 参考訳(メタデータ) (2024-01-09T10:22:23Z) - Unlocking the Potential of Prompt-Tuning in Bridging Generalized and
Personalized Federated Learning [49.72857433721424]
Vision Transformer (ViT) と Visual Prompt Tuning (VPT) は、様々なコンピュータビジョンタスクの効率を改善して最先端のパフォーマンスを実現する。
本稿では,GFL(Generalized FL)とPFL(Personalized FL)を組み合わせた新しいアルゴリズムSGPTを提案する。
論文 参考訳(メタデータ) (2023-10-27T17:22:09Z) - VFLAIR: A Research Library and Benchmark for Vertical Federated Learning [14.878602173713686]
垂直学習(VFL)は、同じグループのユーザの異なる特徴を持つ参加者が、生のデータやモデルパラメータを公開せずに協調トレーニングを達成できるようにする、協調トレーニングパラダイムとして登場した。
近年、VFLは研究の可能性や現実世界の応用に大きな注目を集めているが、様々な種類のデータ推論やバックドア攻撃の防衛など、依然として重大な課題に直面している。
我々は、様々なモデル、データセット、プロトコルによるVFLトレーニングと、攻撃と防御戦略の総合的な評価のための標準化されたモジュールをサポートする、フェデレーションで軽量なVFLフレームワークであるVFLAIRを提案する。
論文 参考訳(メタデータ) (2023-10-15T13:18:31Z) - Vertical Semi-Federated Learning for Efficient Online Advertising [50.18284051956359]
VFLの実践的な産業的応用を実現するために,Semi-VFL (Vertical Semi-Federated Learning) を提案する。
サンプル空間全体に適用可能な推論効率のよいシングルパーティ学生モデルを構築した。
新しい表現蒸留法は、重なり合うデータと非重なり合うデータの両方について、パーティ間の特徴相関を抽出するように設計されている。
論文 参考訳(メタデータ) (2022-09-30T17:59:27Z) - Improving Privacy-Preserving Vertical Federated Learning by Efficient Communication with ADMM [62.62684911017472]
フェデレートラーニング(FL)により、デバイスは共有モデルを共同でトレーニングし、トレーニングデータをプライバシ目的でローカルに保つことができる。
マルチヘッド(VIM)を備えたVFLフレームワークを導入し、各クライアントの別々のコントリビューションを考慮に入れます。
VIMは最先端技術に比べて性能が著しく向上し、収束が速い。
論文 参考訳(メタデータ) (2022-07-20T23:14:33Z) - EFMVFL: An Efficient and Flexible Multi-party Vertical Federated
Learning without a Third Party [7.873139977724476]
フェデレートラーニング(Federated Learning)は、複数の参加者が、ローカルデータを開示することなく、共同でモデリングを行うことを可能にする。
EFMVFLと呼ばれるサードパーティを使わずに新しいVFLフレームワークを提案する。
私たちのフレームワークはセキュアで、より効率的で、複数の参加者に拡張が容易です。
論文 参考訳(メタデータ) (2022-01-17T07:06:21Z) - Achieving Model Fairness in Vertical Federated Learning [47.8598060954355]
垂直連合学習(VFL)は、複数の企業が重複しない機能を保有して、プライベートデータやモデルパラメータを開示することなく、機械学習モデルを強化することを可能にする。
VFLは公平性の問題に悩まされており、すなわち、学習されたモデルはセンシティブな属性を持つグループに対して不公平に差別的である可能性がある。
この問題に対処するための公平なVFLフレームワークを提案する。
論文 参考訳(メタデータ) (2021-09-17T04:40:11Z) - Practical One-Shot Federated Learning for Cross-Silo Setting [114.76232507580067]
ワンショット・フェデレーション・ラーニングは、クロスサイロ環境でフェデレーション・ラーニングを適用するための有望なアプローチである。
本稿では,FedKTという,実践的なワンショットフェデレーション学習アルゴリズムを提案する。
知識伝達技術を利用することで、FedKTは任意の分類モデルに適用でき、フレキシブルに差分プライバシー保証を達成できる。
論文 参考訳(メタデータ) (2020-10-02T14:09:10Z) - Multi-Participant Multi-Class Vertical Federated Learning [16.75182305714081]
本稿では,多人数VFL問題に対する多人数多人数垂直フェデレート学習(MMVFL)フレームワークを提案する。
MMVFLは、所有者から他のVFL参加者へのラベルの共有をプライバシー保護の方法で行うことができる。
実世界のデータセットを用いた実験結果から,MMVFLは複数のVFL参加者間でラベル情報を効果的に共有し,既存手法のマルチクラス分類性能と一致させることができることがわかった。
論文 参考訳(メタデータ) (2020-01-30T02:39:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。