論文の概要: Privacy-Preserving Asynchronous Federated Learning Algorithms for
Multi-Party Vertically Collaborative Learning
- arxiv url: http://arxiv.org/abs/2008.06233v1
- Date: Fri, 14 Aug 2020 08:08:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-30 16:44:01.341945
- Title: Privacy-Preserving Asynchronous Federated Learning Algorithms for
Multi-Party Vertically Collaborative Learning
- Title（参考訳）: 多人数垂直協調学習のためのプライバシー保護型非同期フェデレーション学習アルゴリズム
- Authors: Bin Gu, An Xu, Zhouyuan Huo, Cheng Deng, Heng Huang
- Abstract要約: 本稿では,非同期フェデレーションSGD(AFSGD-VP)アルゴリズムとその垂直分割データ上でのSVRGおよびSAGA変種を提案する。
我々の知る限り、AFSGD-VPとそのSVRGおよびSAGAの変種は、垂直に分割されたデータのための最初の非同期フェデレーション学習アルゴリズムである。
- 参考スコア（独自算出の注目度）: 151.47900584193025
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The privacy-preserving federated learning for vertically partitioned data has
shown promising results as the solution of the emerging multi-party joint
modeling application, in which the data holders (such as government branches,
private finance and e-business companies) collaborate throughout the learning
process rather than relying on a trusted third party to hold data. However,
existing federated learning algorithms for vertically partitioned data are
limited to synchronous computation. To improve the efficiency when the
unbalanced computation/communication resources are common among the parties in
the federated learning system, it is essential to develop asynchronous training
algorithms for vertically partitioned data while keeping the data privacy. In
this paper, we propose an asynchronous federated SGD (AFSGD-VP) algorithm and
its SVRG and SAGA variants on the vertically partitioned data. Moreover, we
provide the convergence analyses of AFSGD-VP and its SVRG and SAGA variants
under the condition of strong convexity. We also discuss their model privacy,
data privacy, computational complexities and communication costs. To the best
of our knowledge, AFSGD-VP and its SVRG and SAGA variants are the first
asynchronous federated learning algorithms for vertically partitioned data.
Extensive experimental results on a variety of vertically partitioned datasets
not only verify the theoretical results of AFSGD-VP and its SVRG and SAGA
variants, but also show that our algorithms have much higher efficiency than
the corresponding synchronous algorithms.
- Abstract（参考訳）: 垂直に分割されたデータに対するプライバシー保護フェデレーション学習は、データ保持者(政府部門、プライベートファイナンス、e-ビジネス会社など)がデータを保持するために信頼できる第三者に頼るのではなく、学習プロセス全体を通して協力する、新たなマルチパーティ共同モデリングアプリケーションのソリューションとして有望な結果を示している。
しかし、垂直分割データに対する既存のフェデレーション学習アルゴリズムは同期計算に限られている。
フェデレーション学習システムでは,非バランスな計算/通信資源が当事者間で共通している場合,データのプライバシーを維持しつつ,垂直に分割する非同期トレーニングアルゴリズムを開発することが不可欠である。
本稿では,非同期フェデレーションSGD(AFSGD-VP)アルゴリズムとその垂直分割データ上でのSVRGおよびSAGA変種を提案する。
さらに,強い凸性条件下でのAFSGD-VPとそのSVRGおよびSAGAの収束解析について述べる。
また,モデルプライバシ,データプライバシ,計算複雑性,通信コストについても論じる。
我々の知る限り、AFSGD-VPとそのSVRGおよびSAGAの変種は、垂直分割データのための最初の非同期フェデレーション学習アルゴリズムである。
AFSGD-VPとそのSVRGとSAGAの変種の理論結果を検証するだけでなく、我々のアルゴリズムは対応する同期アルゴリズムよりもはるかに高い効率を示す。
関連論文リスト
- FCNCP: A Coupled Nonnegative CANDECOMP/PARAFAC Decomposition Based on Federated Learning [6.854368686078438]
本研究は,FCNCPと呼ばれるフェデレート学習に基づく,効率的な非負結合テンソル分解アルゴリズムフレームワークを開発することを提案する。
これは高次元データ表現と分解におけるテンソル分解の優れた識別性能を組み合わせたものである。
片側刺激は左右半球の活性化領域においてより対称な成分を誘導することがわかった。
論文 参考訳（メタデータ） (2024-04-18T04:30:18Z) - Communication-Efficient Hybrid Federated Learning for E-health with Horizontal and Vertical Data Partitioning [67.49221252724229]
E-Healthは、スマートデバイスや医療機関が患者のデータを共同で収集することを可能にする。
eヘルスにフェデレートされた学習を適用することは、多くの課題に直面します。
医療データは水平および垂直に分割される。
HFLとVFLの単純な組み合わせには、訓練効率の低下、難聴収束分析、パラメータチューニング戦略の欠如など、制限がある。
論文 参考訳（メタデータ） (2024-04-15T19:45:07Z) - Vertical Federated Learning over Cloud-RAN: Convergence Analysis and
System Optimization [82.12796238714589]
高速かつ正確なモデルアグリゲーションを実現するために,クラウド無線アクセスネットワーク(Cloud-RAN)ベースの垂直FLシステムを提案する。
アップリンクとダウンリンクの両方の伝送を考慮した垂直FLアルゴリズムの収束挙動を特徴付ける。
我々は,連続凸近似と代替凸探索に基づくシステム最適化アルゴリズムを開発した,連系トランシーバとフロントホール量子化設計によるシステム最適化フレームワークを構築した。
論文 参考訳（メタデータ） (2023-05-04T09:26:03Z) - Fair and efficient contribution valuation for vertical federated
learning [49.50442779626123]
フェデレートラーニング(Federated Learning)は、データを共有することなく、分散データソース上で機械学習モデルをトレーニングするための一般的な技術である。
シェープリー値(Shapley value, SV)は、協調ゲーム理論から派生した、証明可能なフェアコントリビューション評価指標である。
本稿では,SVに基づく垂直結合シェープ値(VerFedSV)と呼ばれるコントリビューション評価指標を提案する。
論文 参考訳（メタデータ） (2022-01-07T19:57:15Z) - Resource-constrained Federated Edge Learning with Heterogeneous Data:
Formulation and Analysis [8.863089484787835]
ヘテロジニアスデータによる不均一な統計的課題を解決するために, 分散されたニュートン型ニュートン型トレーニングスキームであるFedOVAを提案する。
FedOVAはマルチクラス分類問題をより単純なバイナリ分類問題に分解し、アンサンブル学習を用いてそれぞれの出力を結合する。
論文 参考訳（メタデータ） (2021-10-14T17:35:24Z) - Secure Bilevel Asynchronous Vertical Federated Learning with Backward
Updating [159.48259714642447]
垂直拡張学習(VFL)は、多人数協調モデリングの要求とプライバシー漏洩の懸念により、注目を集めている。
我々は,vf$b2$を含む3つの新しいアルゴリズムを提案する新しいbftextlevel parallel architecture (vf$bfb2$)を提案する。
論文 参考訳（メタデータ） (2021-03-01T12:34:53Z) - Improving Federated Relational Data Modeling via Basis Alignment and
Weight Penalty [18.096788806121754]
近年,フェデレートラーニング(FL)が注目されている。
知識グラフ(KG)上でのフェデレーションモデリングを行うグラフニューラルネットワークアルゴリズムの修正版を提案する。
我々は,1) クライアント上でのパーソナライズのための最適輸送(OT)と,2) 収束を高速化するための重み制約を備えた新しい最適化アルゴリズムであるFedAlignを提案する。
実験の結果,提案手法はFedAVGやFedProxといった最先端のFL法よりも優れており,収束性が高いことがわかった。
論文 参考訳（メタデータ） (2020-11-23T12:52:18Z) - Federated Doubly Stochastic Kernel Learning for Vertically Partitioned
Data [93.76907759950608]
本稿では,垂直分割データに対する2倍のカーネル学習アルゴリズムを提案する。
本稿では,FDSKLがカーネルを扱う場合,最先端のフェデレーション学習手法よりもはるかに高速であることを示す。
論文 参考訳（メタデータ） (2020-08-14T05:46:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。