論文の概要: A Hybrid Self-Supervised Learning Framework for Vertical Federated
Learning
- arxiv url: http://arxiv.org/abs/2208.08934v2
- Date: Thu, 8 Jun 2023 10:05:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-09 20:40:47.340324
- Title: A Hybrid Self-Supervised Learning Framework for Vertical Federated
Learning
- Title（参考訳）: 垂直的フェデレーション学習のためのハイブリッド自己監督学習フレームワーク
- Authors: Yuanqin He, Yan Kang, Xinyuan Zhao, Jiahuan Luo, Lixin Fan, Yuxing
Han, Qiang Yang
- Abstract要約: 我々はFedHSSLという,Federated Hybrid Self-Supervised Learningフレームワークを提案する。
我々はFedHSSLメソッドがベースラインよりも大きなマージンで優れていることを実証的に実証した。
ラベルリークに関するFedHSSLの詳細な分析を行い、既存の自己監督型VFL作品ではめったに研究されていない。
- 参考スコア（独自算出の注目度）: 18.82819245937653
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vertical federated learning (VFL), a variant of Federated Learning (FL), has
recently drawn increasing attention as the VFL matches the enterprises' demands
of leveraging more valuable features to achieve better model performance.
However, conventional VFL methods may run into data deficiency as they exploit
only aligned and labeled samples (belonging to different parties), leaving
often the majority of unaligned and unlabeled samples unused. The data
deficiency hampers the effort of the federation.
In this work, we propose a Federated Hybrid Self-Supervised Learning
framework, named FedHSSL, that utilizes cross-party views (i.e., dispersed
features) of samples aligned among parties and local views (i.e., augmentation)
of unaligned samples within each party to improve the representation learning
capability of the VFL joint model. FedHSSL further exploits invariant features
across parties to boost the performance of the joint model through partial
model aggregation. FedHSSL, as a framework, can work with various
representative SSL methods. We empirically demonstrate that FedHSSL methods
outperform baselines by large margins. We provide an in-depth analysis of
FedHSSL regarding label leakage, which is rarely investigated in existing
self-supervised VFL works. The experimental results show that, with proper
protection, FedHSSL achieves the best privacy-utility trade-off against the
state-of-the-art label inference attack compared with baselines. Code is
available at \url{https://github.com/jorghyq2016/FedHSSL}.
- Abstract（参考訳）: 連邦学習(FFL)の亜種である垂直連合学習(VFL)が最近注目を集めている。VFLは、より価値ある機能を活用してより良いモデルパフォーマンスを実現するという企業の要求に合致するからだ。
しかしながら、従来のVFLメソッドは、整列されたサンプルとラベル付きサンプルのみを利用するため、データ不足に陥り、多くの場合、整列されていないサンプルとラベル付けされていないサンプルの大半が未使用のままである。
データ不足は連邦の努力を妨げます。
本稿では,FedHSSLと呼ばれるフェデレートハイブリッド・セルフ・スーパーバイザラーニング・フレームワークを提案する。このフレームワークは,パーティ間で整列されたサンプルのパーティ・ビュー(分散特徴)と,各パーティ内の不整合サンプルのローカル・ビュー(拡張)を利用して,VFL関節モデルの表現学習能力を向上させる。
FedHSSLは、部分的なモデルアグリゲーションを通じてジョイントモデルのパフォーマンスを高めるために、パーティ間での不変機能をさらに活用する。
FedHSSLはフレームワークとして、さまざまな代表的なSSLメソッドで動作する。
我々はFedHSSLメソッドがベースラインよりも大きなマージンで優れていることを実証的に示す。
我々は,既存の自己教師付きvfl作業ではほとんど調査されないラベル漏洩に関するfedsslの詳細な解析を行う。
実験の結果、適切な保護により、FedHSSLは、ベースラインと比較して最先端のラベル推論攻撃に対して、最高のプライバシーユーティリティトレードオフを達成することが示された。
コードは \url{https://github.com/jorghyq2016/fedhssl} で入手できる。
関連論文リスト
- Vertical Federated Learning Hybrid Local Pre-training [4.31644387824845]
垂直フェデレート学習(VFL)のための新しいVFLハイブリッド局所事前学習(VFLHLP)手法を提案する。
VFLHLPはまず、参加者のローカルデータに基づいて、ローカルネットワークを事前訓練する。
そして、これらの事前学習ネットワークを使用して、ラベル付きパーティのサブモデルを調整するか、あるいは、アライメントされたデータ上で下流のフェデレーション学習中に、他のパーティの表現学習を強化する。
論文 参考訳（メタデータ） (2024-05-20T08:57:39Z) - Stochastic Clustered Federated Learning [21.811496586350653]
本稿では,一般の非IID問題に対する新しいクラスタ化フェデレーション学習手法であるStoCFLを提案する。
詳細は、StoCFLは、任意の割合のクライアント参加と新しく加入したクライアントをサポートする柔軟なCFLフレームワークを実装しています。
その結果,StoCFLはクラスタ数の不明な場合でも,有望なクラスタ結果が得られることがわかった。
論文 参考訳（メタデータ） (2023-03-02T01:39:16Z) - FedABC: Targeting Fair Competition in Personalized Federated Learning [76.9646903596757]
フェデレートラーニングは、クライアントのローカルプライベートデータにアクセスすることなく、モデルを協調的にトレーニングすることを目的としている。
我々はFedABCと呼ばれるバイナリ分類によるFederated Averagingと呼ばれる新規で汎用的なPFLフレームワークを提案する。
特に、各クライアントに1対1のトレーニング戦略を採用して、クラス間の不公平な競争を軽減する。
論文 参考訳（メタデータ） (2023-02-15T03:42:59Z) - Vertical Semi-Federated Learning for Efficient Online Advertising [50.18284051956359]
VFLの実践的な産業的応用を実現するために,Semi-VFL (Vertical Semi-Federated Learning) を提案する。
サンプル空間全体に適用可能な推論効率のよいシングルパーティ学生モデルを構築した。
新しい表現蒸留法は、重なり合うデータと非重なり合うデータの両方について、パーティ間の特徴相関を抽出するように設計されている。
論文 参考訳（メタデータ） (2022-09-30T17:59:27Z) - Federated Zero-Shot Learning for Visual Recognition [55.65879596326147]
本稿では,Federated Zero-Shot Learning FedZSLフレームワークを提案する。
FedZSLは、エッジデバイス上の分散データから中心的なモデルを学ぶ。
FedZSLの有効性と堅牢性は、3つのゼロショットベンチマークデータセットで実施された広範な実験によって実証された。
論文 参考訳（メタデータ） (2022-09-05T14:49:34Z) - Semi-supervised Learning with Deterministic Labeling and Large Margin
Projection [25.398314796157933]
ラベル付きデータの集中度と多様性は、半教師付き学習(SSL)の性能に非常に影響を与える
本研究は,OCF構造に基づいて認識される最小の安定かつ最も分散したデータに対して,カーネル化された大規模マージン計量を学習することを目的とする。
OLFに基づくSSLモデルの精度と性能の安定性は, ベースライン法に比べて大幅に向上した。
論文 参考訳（メタデータ） (2022-08-17T04:09:35Z) - BlindFL: Vertical Federated Machine Learning without Peeking into Your
Data [20.048695060411774]
垂直連合学習(VFL)は、さまざまな参加者のプライベートデータに基づいてMLモデルを構築する場合を記述している。
本稿では,VFLトレーニングと推論のための新しいフレームワークであるBlindFLを紹介する。
BlindFLは、堅牢なプライバシー保証を達成しつつ、多様なデータセットやモデルを効率的にサポートする。
論文 参考訳（メタデータ） (2022-06-16T07:26:50Z) - A Strong Baseline for Semi-Supervised Incremental Few-Shot Learning [54.617688468341704]
少ないショット学習は、限られたトレーニングサンプルを持つ新しいクラスに一般化するモデルを学ぶことを目的としている。
本研究では,(1)信頼できない擬似ラベルによる基本クラスと新クラスのあいまいさを緩和する高度に設計されたメタトレーニングアルゴリズム,(2)ラベルの少ないデータとラベルなしデータを用いて基礎知識を保ちながら,新クラスの識別的特徴を学習するモデル適応機構を提案する。
論文 参考訳（メタデータ） (2021-10-21T13:25:52Z) - Trash to Treasure: Harvesting OOD Data with Cross-Modal Matching for
Open-Set Semi-Supervised Learning [101.28281124670647]
オープンセット半教師付き学習(Open-set SSL)では、ラベルなしデータにOOD(Out-of-distribution)サンプルを含む、難しいが実用的なシナリオを調査する。
我々は、OODデータの存在を効果的に活用し、特徴学習を増強する新しいトレーニングメカニズムを提案する。
我々のアプローチは、オープンセットSSLのパフォーマンスを大幅に向上させ、最先端技術よりも大きなマージンで性能を向上します。
論文 参考訳（メタデータ） (2021-08-12T09:14:44Z) - Adversarial Feature Hallucination Networks for Few-Shot Learning [84.31660118264514]
Adversarial Feature Hallucination Networks (AFHN) は条件付き Wasserstein Generative Adversarial Network (cWGAN) に基づいている。
合成された特徴の識別性と多様性を促進するために、2つの新規レギュレータがAFHNに組み込まれている。
論文 参考訳（メタデータ） (2020-03-30T02:43:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。