論文の概要: Towards Communication-efficient Vertical Federated Learning Training via
Cache-enabled Local Updates
- arxiv url: http://arxiv.org/abs/2207.14628v1
- Date: Fri, 29 Jul 2022 12:10:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-01 13:25:35.284519
- Title: Towards Communication-efficient Vertical Federated Learning Training via
Cache-enabled Local Updates
- Title（参考訳）: キャッシュ対応ローカル更新による通信効率の高い垂直フェデレーション学習
- Authors: Fangcheng Fu, Xupeng Miao, Jiawei Jiang, Huanran Xue, Bin Cui
- Abstract要約: CELU-VFLは,新しい,効率的な垂直学習フレームワークである。
CELU-VFLは、ローカル更新技術を利用して、サードパーティ間の通信ラウンドを減らす。
CELU-VFLは既存の作業の最大6倍高速であることを示す。
- 参考スコア（独自算出の注目度）: 25.85564668511386
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vertical federated learning (VFL) is an emerging paradigm that allows
different parties (e.g., organizations or enterprises) to collaboratively build
machine learning models with privacy protection. In the training phase, VFL
only exchanges the intermediate statistics, i.e., forward activations and
backward derivatives, across parties to compute model gradients. Nevertheless,
due to its geo-distributed nature, VFL training usually suffers from the low
WAN bandwidth.
In this paper, we introduce CELU-VFL, a novel and efficient VFL training
framework that exploits the local update technique to reduce the cross-party
communication rounds. CELU-VFL caches the stale statistics and reuses them to
estimate model gradients without exchanging the ad hoc statistics. Significant
techniques are proposed to improve the convergence performance. First, to
handle the stochastic variance problem, we propose a uniform sampling strategy
to fairly choose the stale statistics for local updates. Second, to harness the
errors brought by the staleness, we devise an instance weighting mechanism that
measures the reliability of the estimated gradients. Theoretical analysis
proves that CELU-VFL achieves a similar sub-linear convergence rate as vanilla
VFL training but requires much fewer communication rounds. Empirical results on
both public and real-world workloads validate that CELU-VFL can be up to six
times faster than the existing works.
- Abstract（参考訳）: Vertical Federated Learning(VFL)は、さまざまなパーティ(組織や企業など)がプライバシ保護を備えた機械学習モデルの共同構築を可能にする、新たなパラダイムである。
トレーニングフェーズでは、VFLは中間統計量、すなわち前方アクティベーションと後方デリバティブを当事者間でのみ交換し、モデル勾配を計算する。
しかしながら、地理的に分散した性質のため、VFLトレーニングは通常、低いWAN帯域幅に悩まされる。
本稿では,ローカル更新技術を利用して,サードパーティ間通信ラウンドの削減を図る,新しい,効率的なVFLトレーニングフレームワークであるCELU-VFLを紹介する。
CELU-VFLは古い統計データをキャッシュし、アドホック統計を交換することなくモデル勾配を推定するために再利用する。
収束性能を向上させるために重要な技術が提案されている。
まず,確率的分散問題に対処するために,局所更新の定常統計を公平に選択する一様サンプリング戦略を提案する。
次に, 定常性によって生じる誤差を活用するために, 推定勾配の信頼性を測定するインスタンス重み付け機構を考案する。
理論的解析により、CELU-VFLはバニラVFL訓練と同様のサブ線形収束速度を達成するが、通信ラウンドははるかに少ないことが証明される。
公開および実世界のワークロードにおける実証的な結果は、CELU-VFLが既存の作業の最大6倍高速であることを検証する。
関連論文リスト
- AdaptSFL: Adaptive Split Federated Learning in Resource-constrained Edge Networks [15.195798715517315]
Split Federated Learning(SFL)は、モデルのパーティショニングを通じて、最初のトレーニングワークロードをサーバにfloadする、有望なソリューションである。
本稿では,資源制約付きエッジコンピューティングシステムにおいて,SFLを高速化するための新しいリソース適応型SFLフレームワークであるAdaptSFLを提案する。
論文 参考訳（メタデータ） (2024-03-19T19:05:24Z) - Communication Efficient ConFederated Learning: An Event-Triggered SAGA
Approach [67.27031215756121]
Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。
単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。
本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
論文 参考訳（メタデータ） (2024-02-28T03:27:10Z) - Secure and Fast Asynchronous Vertical Federated Learning via Cascaded
Hybrid Optimization [18.619236705579713]
垂直フェデレート学習(VFL)におけるケースケードハイブリッド最適化手法を提案する。
この方法では、下流モデル(クライアント)はプライバシーを保護するためにゼロオーダー最適化(ZOO)で訓練される。
本稿では,ZOOベースのVFLフレームワークよりも高速な収束を実現するとともに,プライバシー保護のレベルを維持していることを示す。
論文 参考訳（メタデータ） (2023-06-28T10:18:08Z) - Hierarchical Personalized Federated Learning Over Massive Mobile Edge
Computing Networks [95.39148209543175]
大規模MECネットワーク上でPFLをデプロイするアルゴリズムである階層型PFL(HPFL)を提案する。
HPFLは、最適帯域割り当てを共同で決定しながら、トレーニング損失最小化とラウンドレイテンシ最小化の目的を組み合わせる。
論文 参考訳（メタデータ） (2023-03-19T06:00:05Z) - Time-sensitive Learning for Heterogeneous Federated Edge Intelligence [52.83633954857744]
フェデレーションエッジインテリジェンス(FEI)システムにおけるリアルタイム機械学習について検討する。
FEIシステムは異種通信と計算資源分布を示す。
本稿では,共有MLモデルの協調学習における全体の実行時間を最小化するために,時間依存型フェデレーションラーニング(TS-FL)フレームワークを提案する。
論文 参考訳（メタデータ） (2023-01-26T08:13:22Z) - Low-Latency Cooperative Spectrum Sensing via Truncated Vertical
Federated Learning [51.51440623636274]
データプライバシを損なうことなく、複数のセカンダリユーザ(SU)にまたがる分散機能を活用できる垂直連合学習(VFL)フレームワークを提案する。
学習プロセスの高速化を目的として,T-VFL(Truncated vertical Federated Learning)アルゴリズムを提案する。
T-VFLの収束性能は、数学的解析によって提供され、シミュレーション結果によって正当化される。
論文 参考訳（メタデータ） (2022-08-07T10:39:27Z) - DVFL: A Vertical Federated Learning Method for Dynamic Data [2.406222636382325]
本稿では,共同作業を行う組織が,同じユーザ集合を共有できるが,機能に相容れないシナリオに対処する,垂直連合学習(VFL)について検討する。
本稿では,知識蒸留による動的データ分布変化に適応する,新しい縦型フェデレーション学習手法DVFLを提案する。
DVFLは静的シーンにおける既存のVFL手法に近い結果を得るだけでなく,動的シナリオにおけるデータ分布の変化にも適応できることを示す。
論文 参考訳（メタデータ） (2021-11-05T09:26:09Z) - Achieving Model Fairness in Vertical Federated Learning [47.8598060954355]
垂直連合学習(VFL)は、複数の企業が重複しない機能を保有して、プライベートデータやモデルパラメータを開示することなく、機械学習モデルを強化することを可能にする。
VFLは公平性の問題に悩まされており、すなわち、学習されたモデルはセンシティブな属性を持つグループに対して不公平に差別的である可能性がある。
この問題に対処するための公平なVFLフレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-17T04:40:11Z) - Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。
我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。
我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
論文 参考訳（メタデータ） (2020-09-27T08:28:25Z) - Gradient Statistics Aware Power Control for Over-the-Air Federated
Learning [59.40860710441232]
フェデレートラーニング(FL)は、多くのエッジデバイスが無線ネットワークで機械学習モデルを協調的にトレーニングできる有望なテクニックである。
本稿では、勾配統計を考慮に入れたオーバー・ザ・エアFLの電力制御問題について検討する。
論文 参考訳（メタデータ） (2020-03-04T14:06:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。