論文の概要: A Hybrid Self-Supervised Learning Framework for Vertical Federated Learning

• arxiv url: http://arxiv.org/abs/2208.08934v1
• Date: Thu, 18 Aug 2022 16:15:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-19 13:58:20.805234
• Title: A Hybrid Self-Supervised Learning Framework for Vertical Federated Learning
• Title（参考訳）: 垂直的フェデレーション学習のためのハイブリッド自己監督学習フレームワーク
• Authors: Yuanqin He, Yan Kang, Jiahuan Luo, Lixin Fan, Qiang Yang
• Abstract要約: フェデレーション・ラーニング(FL)は、データプライバシを保護しながら、独立したパーティが共同で機械学習(ML)モデルを構築することを可能にする。 従来の垂直連合学習(VFL)は、ラベルで整列したサンプルしか利用できないため、データ不足に陥る可能性がある。 本稿では,FedHSSLと命名されたFederated Hybrid Self-Supervised Learningフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 14.008415333848802
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning (FL) enables independent parties to collaboratively build machine learning (ML) models while protecting data privacy. Vertical federated learning (VFL), a variant of FL, has recently drawn increasing attention as the VFL matches the enterprises' demands of leveraging more valuable features to achieve better model performance without jeopardizing data privacy. However, conventional VFL may run into data deficiency as it is only able to exploit aligned samples (belonging to different parties) with labels, leaving often the majority of unaligned and unlabeled samples unused. The data deficiency hampers the effort of the federation. In this work, we propose a Federated Hybrid Self-Supervised Learning framework, coined FedHSSL, to utilize all available data (including unaligned and unlabeled samples) of participants to train the joint VFL model. The core idea of FedHSSL is to utilize cross-party views (i.e., dispersed features) of samples aligned among parties and local views (i.e., augmentations) of samples within each party to improve the representation learning capability of the joint VFL model through SSL (e.g., SimSiam). FedHSSL further exploits generic features shared among parties to boost the performance of the joint model through partial model aggregation. We empirically demonstrate that our FedHSSL achieves significant performance gains compared with baseline methods, especially when the number of labeled samples is small. We provide an in-depth analysis of FedHSSL regarding privacy leakage, which is rarely discussed in existing self-supervised VFL works. We investigate the protection mechanism for FedHSSL. The results show our protection can thwart the state-of-the-art label inference attack.
• Abstract（参考訳）: フェデレートラーニング(FL)は、データプライバシを保護しながら、独立して機械学習(ML)モデルを構築することを可能にする。 flの変種であるvertical federated learning(vfl)は最近、vflがデータプライバシを損なうことなくよりよいモデルパフォーマンスを達成するために、より価値のある機能を活用するという企業の要求に合致するため、注目を集めている。 しかしながら、従来のVFLは、ラベル付きの整列したサンプル(パーティによって異なる)しか利用できないため、データ不足に陥る可能性がある。 データ不足は連邦の努力を妨げます。 本研究では,federated hybrid self-supervised learning framework(federated hybrid self-supervised learning framework,federssl)を提案する。 FedHSSLの中核となる考え方は、SSL(例えばSimSiam)を通じて共同VFLモデルの表現学習能力を改善するために、パーティ間で整列されたサンプルのパーティビュー(すなわち分散した特徴)と各パーティ内のサンプルのローカルビュー(すなわち拡張)を利用することである。 fedhsslはさらに、パーティ間で共有される汎用機能を活用して、部分的モデル集約によるジョイントモデルのパフォーマンスを高めている。 我々はFedHSSLが,特にラベル付きサンプルの数が少ない場合に,ベースライン法と比較して大きな性能向上を達成できることを実証的に実証した。 プライバシー漏洩に関するFedHSSLの詳細な分析を行うが、既存の自己管理型VFL作品ではめったに議論されていない。 我々はFedHSSLの保護機構について検討する。 その結果,我々の保護が最先端のラベル推論攻撃を妨害できることが示されている。

関連論文リスト

• Vertical Federated Learning Hybrid Local Pre-training [4.31644387824845]
  垂直フェデレート学習(VFL)のための新しいVFLハイブリッド局所事前学習(VFLHLP)手法を提案する。 VFLHLPはまず、参加者のローカルデータに基づいて、ローカルネットワークを事前訓練する。 そして、これらの事前学習ネットワークを使用して、ラベル付きパーティのサブモデルを調整するか、あるいは、アライメントされたデータ上で下流のフェデレーション学習中に、他のパーティの表現学習を強化する。
  論文  参考訳（メタデータ） (2024-05-20T08:57:39Z)
• Stochastic Clustered Federated Learning [21.811496586350653]
  本稿では,一般の非IID問題に対する新しいクラスタ化フェデレーション学習手法であるStoCFLを提案する。 詳細は、StoCFLは、任意の割合のクライアント参加と新しく加入したクライアントをサポートする柔軟なCFLフレームワークを実装しています。 その結果,StoCFLはクラスタ数の不明な場合でも,有望なクラスタ結果が得られることがわかった。
  論文  参考訳（メタデータ） (2023-03-02T01:39:16Z)
• FedABC: Targeting Fair Competition in Personalized Federated Learning [76.9646903596757]
  フェデレートラーニングは、クライアントのローカルプライベートデータにアクセスすることなく、モデルを協調的にトレーニングすることを目的としている。 我々はFedABCと呼ばれるバイナリ分類によるFederated Averagingと呼ばれる新規で汎用的なPFLフレームワークを提案する。 特に、各クライアントに1対1のトレーニング戦略を採用して、クラス間の不公平な競争を軽減する。
  論文  参考訳（メタデータ） (2023-02-15T03:42:59Z)
• Vertical Semi-Federated Learning for Efficient Online Advertising [50.18284051956359]
  VFLの実践的な産業的応用を実現するために,Semi-VFL (Vertical Semi-Federated Learning) を提案する。 サンプル空間全体に適用可能な推論効率のよいシングルパーティ学生モデルを構築した。 新しい表現蒸留法は、重なり合うデータと非重なり合うデータの両方について、パーティ間の特徴相関を抽出するように設計されている。
  論文  参考訳（メタデータ） (2022-09-30T17:59:27Z)
• Federated Zero-Shot Learning for Visual Recognition [55.65879596326147]
  本稿では,Federated Zero-Shot Learning FedZSLフレームワークを提案する。 FedZSLは、エッジデバイス上の分散データから中心的なモデルを学ぶ。 FedZSLの有効性と堅牢性は、3つのゼロショットベンチマークデータセットで実施された広範な実験によって実証された。
  論文  参考訳（メタデータ） (2022-09-05T14:49:34Z)
• Semi-supervised Learning with Deterministic Labeling and Large Margin Projection [25.398314796157933]
  ラベル付きデータの集中度と多様性は、半教師付き学習(SSL)の性能に非常に影響を与える 本研究は,OCF構造に基づいて認識される最小の安定かつ最も分散したデータに対して,カーネル化された大規模マージン計量を学習することを目的とする。 OLFに基づくSSLモデルの精度と性能の安定性は, ベースライン法に比べて大幅に向上した。
  論文  参考訳（メタデータ） (2022-08-17T04:09:35Z)
• BlindFL: Vertical Federated Machine Learning without Peeking into Your Data [20.048695060411774]
  垂直連合学習(VFL)は、さまざまな参加者のプライベートデータに基づいてMLモデルを構築する場合を記述している。 本稿では,VFLトレーニングと推論のための新しいフレームワークであるBlindFLを紹介する。 BlindFLは、堅牢なプライバシー保証を達成しつつ、多様なデータセットやモデルを効率的にサポートする。
  論文  参考訳（メタデータ） (2022-06-16T07:26:50Z)
• A Strong Baseline for Semi-Supervised Incremental Few-Shot Learning [54.617688468341704]
  少ないショット学習は、限られたトレーニングサンプルを持つ新しいクラスに一般化するモデルを学ぶことを目的としている。 本研究では,(1)信頼できない擬似ラベルによる基本クラスと新クラスのあいまいさを緩和する高度に設計されたメタトレーニングアルゴリズム,(2)ラベルの少ないデータとラベルなしデータを用いて基礎知識を保ちながら,新クラスの識別的特徴を学習するモデル適応機構を提案する。
  論文  参考訳（メタデータ） (2021-10-21T13:25:52Z)
• Trash to Treasure: Harvesting OOD Data with Cross-Modal Matching for Open-Set Semi-Supervised Learning [101.28281124670647]
  オープンセット半教師付き学習(Open-set SSL)では、ラベルなしデータにOOD(Out-of-distribution)サンプルを含む、難しいが実用的なシナリオを調査する。 我々は、OODデータの存在を効果的に活用し、特徴学習を増強する新しいトレーニングメカニズムを提案する。 我々のアプローチは、オープンセットSSLのパフォーマンスを大幅に向上させ、最先端技術よりも大きなマージンで性能を向上します。
  論文  参考訳（メタデータ） (2021-08-12T09:14:44Z)
• Adversarial Feature Hallucination Networks for Few-Shot Learning [84.31660118264514]
  Adversarial Feature Hallucination Networks (AFHN) は条件付き Wasserstein Generative Adversarial Network (cWGAN) に基づいている。 合成された特徴の識別性と多様性を促進するために、2つの新規レギュレータがAFHNに組み込まれている。
  論文  参考訳（メタデータ） (2020-03-30T02:43:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。