論文の概要: A Vertical Federated Learning Framework for Horizontally Partitioned
Labels
- arxiv url: http://arxiv.org/abs/2106.10056v1
- Date: Fri, 18 Jun 2021 11:10:11 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-21 14:19:39.650858
- Title: A Vertical Federated Learning Framework for Horizontally Partitioned
Labels
- Title（参考訳）: 水平分割ラベルのための垂直的フェデレーション学習フレームワーク
- Authors: Wensheng Xia, Ying Li, Lan Zhang, Zhonghai Wu, Xiaoyong Yuan
- Abstract要約: 既存の垂直連合学習法の多くは、少なくとも一方が全てのデータサンプルのラベルの完全なセットを保持しているという強い仮定を持っている。
既存の垂直統合学習手法は部分ラベルしか利用できないため、エンドツーエンドのバックプロパゲーションにおいてモデル更新が不十分になる可能性がある。
本稿では,すべての水平分割ラベルをフル活用してニューラルネットワークをプライバシ保護でトレーニングする,Cascade Vertical Federated Learning (CVFL) という,新しい縦型フェデレーション学習フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 12.433809611989155
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vertical federated learning is a collaborative machine learning framework to
train deep leaning models on vertically partitioned data with
privacy-preservation. It attracts much attention both from academia and
industry. Unfortunately, applying most existing vertical federated learning
methods in real-world applications still faces two daunting challenges. First,
most existing vertical federated learning methods have a strong assumption that
at least one party holds the complete set of labels of all data samples, while
this assumption is not satisfied in many practical scenarios, where labels are
horizontally partitioned and the parties only hold partial labels. Existing
vertical federated learning methods can only utilize partial labels, which may
lead to inadequate model update in end-to-end backpropagation. Second,
computational and communication resources vary in parties. Some parties with
limited computational and communication resources will become the stragglers
and slow down the convergence of training. Such straggler problem will be
exaggerated in the scenarios of horizontally partitioned labels in vertical
federated learning. To address these challenges, we propose a novel vertical
federated learning framework named Cascade Vertical Federated Learning (CVFL)
to fully utilize all horizontally partitioned labels to train neural networks
with privacy-preservation. To mitigate the straggler problem, we design a novel
optimization objective which can increase straggler's contribution to the
trained models. We conduct a series of qualitative experiments to rigorously
verify the effectiveness of CVFL. It is demonstrated that CVFL can achieve
comparable performance (e.g., accuracy for classification tasks) with
centralized training. The new optimization objective can further mitigate the
straggler problem comparing with only using the asynchronous aggregation
mechanism during training.
- Abstract（参考訳）: 垂直フェデレーション学習は、垂直に分割されたデータに対して、プライバシ保護を備えたディープラーニングモデルをトレーニングするための、協調的な機械学習フレームワークである。
学界と産業の両方から注目を集めている。
残念ながら、既存の垂直連合学習手法を現実世界のアプリケーションに適用することは、2つの困難な課題に直面している。
第一に、既存のほとんどの垂直連合学習手法は、少なくとも一方が全てのデータサンプルのラベルの完全なセットを持っているという強い仮定を持ち、一方、この仮定は、ラベルが水平に分割され、当事者が部分的なラベルのみを保持する多くの現実的なシナリオでは満たされていない。
既存の垂直連合学習法は部分ラベルのみを利用することができ、エンドツーエンドのバックプロパゲーションにおいて不適切なモデル更新につながる可能性がある。
第二に、計算資源と通信資源は当事者によって異なる。
限られた計算資源と通信資源を持つ一部の当事者はストラグラーとなり、訓練の収束を遅らせる。
このようなストラグラー問題は、垂直連合学習における水平分割ラベルのシナリオにおいて誇張される。
そこで本研究では,水平分割ラベルを全て活用し,プライバシ保存型ニューラルネットワークのトレーニングを行うために,カスケード垂直フェデレーション学習(cvfl)と呼ばれる新しい垂直フェデレーション学習フレームワークを提案する。
トラグラー問題を緩和するために、トラグラーのトレーニングモデルへの寄与を増大させる新しい最適化目標を設計する。
我々はCVFLの有効性を厳格に検証するために,一連の定性的実験を行った。
CVFLは集中トレーニングで同等の性能(例えば分類タスクの精度)を達成できることが示されている。
新たな最適化目標は、トレーニング中に非同期集約機構のみを使用する場合と比較して、ストラグラー問題をさらに緩和することができる。
関連論文リスト
- Federated Learning with Only Positive Labels by Exploring Label Correlations [78.59613150221597]
フェデレートラーニングは、プライバシー上の制約の下で複数のユーザのデータを使用することで、モデルを協調的に学習することを目的としている。
本稿では,フェデレート学習環境下でのマルチラベル分類問題について検討する。
ラベル相関(FedALC)を探索してフェデレート平均化(Federated Averaging)と呼ばれる新しい,汎用的な手法を提案する。
論文 参考訳（メタデータ） (2024-04-24T02:22:50Z) - Communication-Efficient Hybrid Federated Learning for E-health with Horizontal and Vertical Data Partitioning [67.49221252724229]
E-Healthは、スマートデバイスや医療機関が患者のデータを共同で収集することを可能にする。
eヘルスにフェデレートされた学習を適用することは、多くの課題に直面します。
医療データは水平および垂直に分割される。
HFLとVFLの単純な組み合わせには、訓練効率の低下、難聴収束分析、パラメータチューニング戦略の欠如など、制限がある。
論文 参考訳（メタデータ） (2024-04-15T19:45:07Z) - FedAnchor: Enhancing Federated Semi-Supervised Learning with Label
Contrastive Loss for Unlabeled Clients [19.3885479917635]
Federated Learning(FL)は、デバイス間で共有されたグローバルモデルの協調トレーニングを促進する分散学習パラダイムである。
本稿では,サーバ上のラベル付きアンカーデータにのみ訓練された分類ヘッドと組み合わせて,アンカーヘッドと呼ばれるユニークな二重ヘッド構造を導入する,革新的なFSSL手法であるFedAnchorを提案する。
提案手法は, 高信頼度モデル予測サンプルに基づいて, 疑似ラベル技術に係わる検証バイアスと過度に適合する問題を緩和する。
論文 参考訳（メタデータ） (2024-02-15T18:48:21Z) - FedEmb: A Vertical and Hybrid Federated Learning Algorithm using Network
And Feature Embedding Aggregation [24.78757412559944]
Federated Learning(FL)は、分散クライアント上の機械学習モデルの分散トレーニングのための新興パラダイムである。
本稿では,垂直およびハイブリッド学習をモデル化するための一般化アルゴリズムであるFedEmbを提案する。
実験結果から,FedEmbは特徴分割と対象空間分散の両問題に対処する有効な方法であることがわかった。
論文 参考訳（メタデータ） (2023-11-30T16:01:51Z) - Submodel Partitioning in Hierarchical Federated Learning: Algorithm
Design and Convergence Analysis [15.311309249848739]
階層学習(FL)は、従来の「星のトポロジー」アーキテクチャに基づく連合学習(FL)よりも有望なスケーラビリティを実証している。
本稿では,IoT(Internet of Things)の独立したサブトレーニングを提案する。
HISTの背景にある主要なアイデアは、モデル計算のグローバルバージョンであり、グローバルモデルを各ラウンドの非結合サブモデルに分割し、異なるセルに分散する。
論文 参考訳（メタデータ） (2023-10-27T04:42:59Z) - Vertical Federated Learning over Cloud-RAN: Convergence Analysis and
System Optimization [82.12796238714589]
高速かつ正確なモデルアグリゲーションを実現するために,クラウド無線アクセスネットワーク(Cloud-RAN)ベースの垂直FLシステムを提案する。
アップリンクとダウンリンクの両方の伝送を考慮した垂直FLアルゴリズムの収束挙動を特徴付ける。
我々は,連続凸近似と代替凸探索に基づくシステム最適化アルゴリズムを開発した,連系トランシーバとフロントホール量子化設計によるシステム最適化フレームワークを構築した。
論文 参考訳（メタデータ） (2023-05-04T09:26:03Z) - Label Inference Attack against Split Learning under Regression Setting [24.287752556622312]
回帰モデルのシナリオにおいて,プライベートラベルが連続数である場合の漏洩について検討する。
グラデーション情報と追加学習正規化目標を統合した,新たな学習ベースアタックを提案する。
論文 参考訳（メタデータ） (2023-01-18T03:17:24Z) - FedV: Privacy-Preserving Federated Learning over Vertically Partitioned
Data [12.815996963583641]
複数当事者間の機械学習(ML)モデルの共同トレーニングを可能にするために、フェデレーションラーニング(FL)が提案されている。
FedVは、広く使用されているいくつかのMLモデルの垂直設定におけるグラデーション計算をセキュアにするためのフレームワークである。
トレーニング時間の10%から70%、データ転送の80%から90%を、最先端のアプローチで削減できることを示した。
論文 参考訳（メタデータ） (2021-03-05T19:59:29Z) - Secure Bilevel Asynchronous Vertical Federated Learning with Backward
Updating [159.48259714642447]
垂直拡張学習(VFL)は、多人数協調モデリングの要求とプライバシー漏洩の懸念により、注目を集めている。
我々は,vf$b2$を含む3つの新しいアルゴリズムを提案する新しいbftextlevel parallel architecture (vf$bfb2$)を提案する。
論文 参考訳（メタデータ） (2021-03-01T12:34:53Z) - Privacy-Preserving Asynchronous Federated Learning Algorithms for
Multi-Party Vertically Collaborative Learning [151.47900584193025]
本稿では,非同期フェデレーションSGD(AFSGD-VP)アルゴリズムとその垂直分割データ上でのSVRGおよびSAGA変種を提案する。
我々の知る限り、AFSGD-VPとそのSVRGおよびSAGAの変種は、垂直に分割されたデータのための最初の非同期フェデレーション学習アルゴリズムである。
論文 参考訳（メタデータ） (2020-08-14T08:08:15Z) - Federated Semi-Supervised Learning with Inter-Client Consistency &
Disjoint Learning [78.88007892742438]
ラベル付きデータの位置に基づくFSSL(Federated Semi-Supervised Learning)の2つの重要なシナリオについて検討する。
フェデレートマッチング(FedMatch)と呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2020-06-22T09:43:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。