論文の概要: AsySQN: Faster Vertical Federated Learning Algorithms with Better
Computation Resource Utilization
- arxiv url: http://arxiv.org/abs/2109.12519v1
- Date: Sun, 26 Sep 2021 07:56:10 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-28 15:12:00.690433
- Title: AsySQN: Faster Vertical Federated Learning Algorithms with Better
Computation Resource Utilization
- Title（参考訳）: AsySQN: 計算資源利用を向上した高速垂直フェデレーション学習アルゴリズム
- Authors: Qingsong Zhang, Bin Gu, Cheng Deng, Songxiang Gu, Liefeng Bo, Jian
Pei, and Heng Huang
- Abstract要約: 垂直連合学習(VFL)のための非同期準ニュートン(AsySQN)フレームワークを提案する。
提案アルゴリズムは、逆ヘッセン行列を明示的に計算することなく、近似して降下ステップをスケールする。
本稿では,非同期計算を採用することにより,計算資源の有効利用が期待できることを示す。
- 参考スコア（独自算出の注目度）: 159.75564904944707
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vertical federated learning (VFL) is an effective paradigm of training the
emerging cross-organizational (e.g., different corporations, companies and
organizations) collaborative learning with privacy preserving. Stochastic
gradient descent (SGD) methods are the popular choices for training VFL models
because of the low per-iteration computation. However, existing SGD-based VFL
algorithms are communication-expensive due to a large number of communication
rounds. Meanwhile, most existing VFL algorithms use synchronous computation
which seriously hamper the computation resource utilization in real-world
applications. To address the challenges of communication and computation
resource utilization, we propose an asynchronous stochastic quasi-Newton
(AsySQN) framework for VFL, under which three algorithms, i.e. AsySQN-SGD,
-SVRG and -SAGA, are proposed. The proposed AsySQN-type algorithms making
descent steps scaled by approximate (without calculating the inverse Hessian
matrix explicitly) Hessian information convergence much faster than SGD-based
methods in practice and thus can dramatically reduce the number of
communication rounds. Moreover, the adopted asynchronous computation can make
better use of the computation resource. We theoretically prove the convergence
rates of our proposed algorithms for strongly convex problems. Extensive
numerical experiments on real-word datasets demonstrate the lower communication
costs and better computation resource utilization of our algorithms compared
with state-of-the-art VFL algorithms.
- Abstract（参考訳）: 垂直連合学習(英: vertical federated learning, vfl)は、新しい組織間学習(企業、企業、組織など)とプライバシー保護の協調学習を訓練する効果的なパラダイムである。
確率勾配降下法 (sgd) は, 文単位の計算量が少ないため, vflモデルの訓練によく用いられる。
しかし、既存のSGDベースのVFLアルゴリズムは、多数の通信ラウンドのため、通信に精通している。
一方、既存のvflアルゴリズムの多くは、実世界のアプリケーションにおける計算資源の利用を著しく阻害する同期計算を用いる。
通信と計算資源利用の課題に対処するために,vflのための非同期確率的準ニュートン(asysqn)フレームワークを提案し,その3つのアルゴリズム,すなわちasysqn-sgd,-svrg,-sagaを提案する。
提案するasysqn型アルゴリズムでは,逆ヘッセン行列を明示的に計算することなく,下降ステップを近似的にスケールできるため,sgd法よりもはるかに高速に情報収束できるため,通信ラウンド数を劇的に削減できる。
さらに、非同期計算を採用することで、計算リソースをより活用することができる。
強凸問題に対する提案アルゴリズムの収束率を理論的に証明する。
実単語データセットに対する大規模な数値実験により,最先端のVFLアルゴリズムと比較して,通信コストの低減と,アルゴリズムの計算資源利用性の向上が示された。
関連論文リスト
- Federated Conditional Stochastic Optimization [110.513884892319]
条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。
本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-10-04T01:47:37Z) - Communication-Efficient Decentralized Federated Learning via One-Bit
Compressive Sensing [52.402550431781805]
分散連合学習(DFL)は、様々なアプリケーションにまたがる実用性によって人気を博している。
集中型バージョンと比較して、DFLの多数のノード間で共有モデルをトレーニングするのはより難しい。
我々は,iADM (iexact alternating direction method) の枠組みに基づく新しいアルゴリズムを開発した。
論文 参考訳（メタデータ） (2023-08-31T12:22:40Z) - Faster Adaptive Federated Learning [84.38913517122619]
フェデレートラーニングは分散データの出現に伴って注目を集めている。
本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
論文 参考訳（メタデータ） (2022-12-02T05:07:50Z) - Low-Latency Cooperative Spectrum Sensing via Truncated Vertical
Federated Learning [51.51440623636274]
データプライバシを損なうことなく、複数のセカンダリユーザ(SU)にまたがる分散機能を活用できる垂直連合学習(VFL)フレームワークを提案する。
学習プロセスの高速化を目的として,T-VFL(Truncated vertical Federated Learning)アルゴリズムを提案する。
T-VFLの収束性能は、数学的解析によって提供され、シミュレーション結果によって正当化される。
論文 参考訳（メタデータ） (2022-08-07T10:39:27Z) - Optimization-Based GenQSGD for Federated Edge Learning [12.371264770814097]
我々は、連合学習(FL)のための一般化された並列最小バッチ収束降下(SGD)アルゴリズムを提案する。
我々は,時間収束誤差の下でのエネルギーコストを最小限に抑えるために,アルゴリズムパラメータを最適化する。
その結果,既存のFLアルゴリズムよりも有意な利得が得られた。
論文 参考訳（メタデータ） (2021-10-25T14:25:11Z) - Resource-constrained Federated Edge Learning with Heterogeneous Data:
Formulation and Analysis [8.863089484787835]
ヘテロジニアスデータによる不均一な統計的課題を解決するために, 分散されたニュートン型ニュートン型トレーニングスキームであるFedOVAを提案する。
FedOVAはマルチクラス分類問題をより単純なバイナリ分類問題に分解し、アンサンブル学習を用いてそれぞれの出力を結合する。
論文 参考訳（メタデータ） (2021-10-14T17:35:24Z) - DESTRESS: Computation-Optimal and Communication-Efficient Decentralized
Nonconvex Finite-Sum Optimization [43.31016937305845]
インターネット・オブ・シング、ネットワークセンシング、自律システム、有限サム最適化のための分散アルゴリズムのためのフェデレーション学習。
非有限サム最適化のためのDecentralized STochastic Recursive MethodDESTRESSを開発した。
詳細な理論的および数値的な比較は、DESTRESSが事前の分散アルゴリズムにより改善されていることを示している。
論文 参考訳（メタデータ） (2021-10-04T03:17:41Z) - Fast Convergence Algorithm for Analog Federated Learning [30.399830943617772]
無線チャネル上での効率的なアナログフェデレーション学習のためのAirCompベースのFedSplitアルゴリズムを提案する。
提案アルゴリズムは, 目的関数が強く凸かつ滑らかであるという仮定の下で, 最適解に線形収束することを示す。
我々のアルゴリズムは、他のベンチマークFLアルゴリズムと比較して、より高速な収束を伴う不条件問題に対して、より堅牢であることが理論的および実験的に検証されている。
論文 参考訳（メタデータ） (2020-10-30T10:59:49Z) - FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity
to Non-IID Data [59.50904660420082]
フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。
クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
論文 参考訳（メタデータ） (2020-05-22T23:07:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。