論文の概要: De-VertiFL: A Solution for Decentralized Vertical Federated Learning
- arxiv url: http://arxiv.org/abs/2410.06127v1
- Date: Tue, 8 Oct 2024 15:31:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-01 11:00:50.273333
- Title: De-VertiFL: A Solution for Decentralized Vertical Federated Learning
- Title（参考訳）: De-VertiFL: 分散垂直学習のためのソリューション
- Authors: Alberto Huertas Celdrán, Chao Feng, Sabyasachi Banik, Gerome Bovet, Gregorio Martinez Perez, Burkhard Stiller,
- Abstract要約: この研究は、分散VFL設定でモデルをトレーニングするための新しいソリューションであるDe-VertiFLを紹介している。
De-VertiFLは、新しいネットワークアーキテクチャディストリビューション、革新的な知識交換スキーム、分散フェデレーショントレーニングプロセスを導入することで貢献する。
その結果、De-VertiFLは一般的にF1スコアのパフォーマンスにおいて最先端のメソッドを上回り、分散化とプライバシ保護のフレームワークを維持していることがわかった。
- 参考スコア（独自算出の注目度）: 7.877130417748362
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Federated Learning (FL), introduced in 2016, was designed to enhance data privacy in collaborative model training environments. Among the FL paradigm, horizontal FL, where clients share the same set of features but different data samples, has been extensively studied in both centralized and decentralized settings. In contrast, Vertical Federated Learning (VFL), which is crucial in real-world decentralized scenarios where clients possess different, yet sensitive, data about the same entity, remains underexplored. Thus, this work introduces De-VertiFL, a novel solution for training models in a decentralized VFL setting. De-VertiFL contributes by introducing a new network architecture distribution, an innovative knowledge exchange scheme, and a distributed federated training process. Specifically, De-VertiFL enables the sharing of hidden layer outputs among federation clients, allowing participants to benefit from intermediate computations, thereby improving learning efficiency. De-VertiFL has been evaluated using a variety of well-known datasets, including both image and tabular data, across binary and multiclass classification tasks. The results demonstrate that De-VertiFL generally surpasses state-of-the-art methods in F1-score performance, while maintaining a decentralized and privacy-preserving framework.
- Abstract（参考訳）: 2016年に導入されたフェデレートラーニング(FL)は、コラボレーティブモデルトレーニング環境におけるデータのプライバシを高めるために設計された。
FLパラダイムの中では、クライアントが同じ機能と異なるデータサンプルを共有する水平FLが、集中型と分散型の両方で広く研究されている。
対照的に、クライアントが異なるが機密性の高い同一エンティティに関するデータを保有する現実世界の分散シナリオにおいて重要なVertical Federated Learning(VFL)は、いまだ過小評価されている。
そこで本研究では、分散VFL設定でモデルをトレーニングするための新しいソリューションであるDe-VertiFLを紹介した。
De-VertiFLは、新しいネットワークアーキテクチャディストリビューション、革新的な知識交換スキーム、分散フェデレーショントレーニングプロセスを導入することで貢献する。
具体的には、De-VertiFLは、フェデレーションクライアント間で隠れた層出力の共有を可能にし、参加者は中間計算の恩恵を受け、学習効率が向上する。
De-VertiFLは、バイナリとマルチクラスの分類タスクにおいて、画像データと表データの両方を含む、よく知られたデータセットを使用して評価されている。
その結果、De-VertiFLは一般的にF1スコアのパフォーマンスにおいて最先端のメソッドを上回り、分散化とプライバシ保護のフレームワークを維持していることがわかった。
関連論文リスト
- Vertical Federated Learning Hybrid Local Pre-training [4.31644387824845]
垂直フェデレート学習(VFL)のための新しいVFLハイブリッド局所事前学習(VFLHLP)手法を提案する。
VFLHLPはまず、参加者のローカルデータに基づいて、ローカルネットワークを事前訓練する。
そして、これらの事前学習ネットワークを使用して、ラベル付きパーティのサブモデルを調整するか、あるいは、アライメントされたデータ上で下流のフェデレーション学習中に、他のパーティの表現学習を強化する。
論文 参考訳（メタデータ） (2024-05-20T08:57:39Z) - Decoupled Vertical Federated Learning for Practical Training on
Vertically Partitioned Data [9.84489449520821]
本稿では,垂直的フェデレート学習(VFL)に対するブロックワイズ学習手法を提案する。
VFLでは、ホストクライアントがエンティティごとにデータラベルを所有し、すべてのゲストクライアントから中間的なローカル表現に基づいて最終表現を学習する。
分割ニューラルネットワークをトレーニングするためにDVFLを実装し、様々な分類データセット上でモデル性能がVFLに匹敵することを示す。
論文 参考訳（メタデータ） (2024-03-06T17:23:28Z) - A Survey on Efficient Federated Learning Methods for Foundation Model Training [62.473245910234304]
フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。
Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。
FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
論文 参考訳（メタデータ） (2024-01-09T10:22:23Z) - PFL-GAN: When Client Heterogeneity Meets Generative Models in
Personalized Federated Learning [55.930403371398114]
パーソナライズドラーニング(PFL)のための新しいGAN(Generative Adversarial Network)の共有と集約戦略を提案する。
PFL-GANは、異なるシナリオにおけるクライアントの不均一性に対処する。より具体的には、まずクライアント間の類似性を学び、次に重み付けされた協調データアグリゲーションを開発する。
いくつかのよく知られたデータセットに対する厳密な実験による実験結果は、PFL-GANの有効性を示している。
論文 参考訳（メタデータ） (2023-08-23T22:38:35Z) - Towards More Suitable Personalization in Federated Learning via
Decentralized Partial Model Training [67.67045085186797]
既存のシステムのほとんどは、中央のFLサーバが失敗した場合、大きな通信負荷に直面しなければならない。
共有パラメータと個人パラメータを交互に更新することで、ディープモデルの「右」をパーソナライズする。
共有パラメータアグリゲーションプロセスをさらに促進するために、ローカルシャープネス最小化を統合するDFedを提案する。
論文 参考訳（メタデータ） (2023-05-24T13:52:18Z) - Stochastic Clustered Federated Learning [21.811496586350653]
本稿では,一般の非IID問題に対する新しいクラスタ化フェデレーション学習手法であるStoCFLを提案する。
詳細は、StoCFLは、任意の割合のクライアント参加と新しく加入したクライアントをサポートする柔軟なCFLフレームワークを実装しています。
その結果,StoCFLはクラスタ数の不明な場合でも,有望なクラスタ結果が得られることがわかった。
論文 参考訳（メタデータ） (2023-03-02T01:39:16Z) - Vertical Federated Learning: A Structured Literature Review [0.0]
フェデレートラーニング(FL)は、データプライバシのメリットを付加した、有望な分散ラーニングパラダイムとして登場した。
本稿では,VFLにおける最先端のアプローチを論じる構造化文献レビューを行う。
論文 参考訳（メタデータ） (2022-12-01T16:16:41Z) - Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。
FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。
SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。
本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文 参考訳（メタデータ） (2022-11-20T10:49:22Z) - Vertical Semi-Federated Learning for Efficient Online Advertising [50.18284051956359]
VFLの実践的な産業的応用を実現するために,Semi-VFL (Vertical Semi-Federated Learning) を提案する。
サンプル空間全体に適用可能な推論効率のよいシングルパーティ学生モデルを構築した。
新しい表現蒸留法は、重なり合うデータと非重なり合うデータの両方について、パーティ間の特徴相関を抽出するように設計されている。
論文 参考訳（メタデータ） (2022-09-30T17:59:27Z) - FairVFL: A Fair Vertical Federated Learning Framework with Contrastive
Adversarial Learning [102.92349569788028]
本稿では,VFLモデルの公平性を改善するために,FairVFL( Fair vertical federated learning framework)を提案する。
FairVFLの中核となる考え方は、分散化された機能フィールドに基づいたサンプルの統一的で公正な表現を、プライバシ保護の方法で学習することである。
ユーザのプライバシ保護のために,サーバ内の統一表現からプライベート情報を除去する対向学習手法を提案する。
論文 参考訳（メタデータ） (2022-06-07T11:43:32Z) - SSFL: Tackling Label Deficiency in Federated Learning via Personalized
Self-Supervision [34.38856587032084]
Federated Learning(FL)は、MLトレーニングエコシステムを、クラウド上の集中的な設定から、エッジデバイス上での分散トレーニングへと変えようとしている。
本稿では,自己教師型・パーソナライズド・フェデレーション・ラーニング・フレームワークである,自己教師型フェデレーション・ラーニング(SSFL)を提案する。
FLにおける教師なし学習と教師なし学習との評価精度の差は小さく,合理的であることを示す。
論文 参考訳（メタデータ） (2021-10-06T02:58:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。