論文の概要: Bayesian Federated Model Compression for Communication and Computation Efficiency

• arxiv url: http://arxiv.org/abs/2404.07532v1
• Date: Thu, 11 Apr 2024 07:51:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-12 14:49:00.559210
• Title: Bayesian Federated Model Compression for Communication and Computation Efficiency
• Title（参考訳）: 通信・計算効率向上のためのベイジアンフェデレーションモデル圧縮
• Authors: Chengyu Xia, Danny H. K. Tsang, Vincent K. N. Lau,
• Abstract要約: 分散化ターボ変分ベイズ推定フレームワーク(D-Turbo-VBI)を提案する。 メッセージパッシングとVBIを分散化ターボフレームワークと慎重に統合することにより、D-Turbo-VBIアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 22.246573195596657
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we investigate Bayesian model compression in federated learning (FL) to construct sparse models that can achieve both communication and computation efficiencies. We propose a decentralized Turbo variational Bayesian inference (D-Turbo-VBI) FL framework where we firstly propose a hierarchical sparse prior to promote a clustered sparse structure in the weight matrix. Then, by carefully integrating message passing and VBI with a decentralized turbo framework, we propose the D-Turbo-VBI algorithm which can (i) reduce both upstream and downstream communication overhead during federated training, and (ii) reduce the computational complexity during local inference. Additionally, we establish the convergence property for thr proposed D-Turbo-VBI algorithm. Simulation results show the significant gain of our proposed algorithm over the baselines in reducing communication overhead during federated training and computational complexity of final model.
• Abstract（参考訳）: 本稿では,連邦学習(FL)におけるベイズモデル圧縮について検討し,コミュニケーションと計算効率の両立が可能なスパースモデルを構築する。 本稿では,重み行列におけるクラスタリングされたスパース構造を促進するために,まず階層的なスパースを最初に提案する,分散型ターボ変分ベイズ推定(D-Turbo-VBI)FLフレームワークを提案する。 そして、メッセージパッシングとVBIを分散化ターボフレームワークと慎重に統合することにより、D-Turbo-VBIアルゴリズムを提案する。 (i)連合訓練中に上流と下流の両方の通信オーバーヘッドを減らし、 (ii)局所的推論における計算複雑性を減少させる。 さらに,提案したD-Turbo-VBIアルゴリズムの収束性を確立する。 シミュレーションの結果,最終モデルのフェデレートトレーニングにおける通信オーバーヘッド低減と計算複雑性の両面から,提案アルゴリズムの有意な向上が示された。

関連論文リスト

• Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration [66.43954501171292]
  本稿では,Catalytics Accelerationを導入し,DFedCataと呼ばれる促進型分散フェデレート学習アルゴリズムを提案する。 DFedCataは、パラメータの不整合に対処するMoreauエンベロープ関数と、アグリゲーションフェーズを加速するNesterovの外挿ステップの2つの主要コンポーネントで構成されている。 実験により, CIFAR10/100における収束速度と一般化性能の両面において, 提案アルゴリズムの利点を実証した。
  論文  参考訳（メタデータ） (2024-10-09T06:17:16Z)
• Semi-Federated Learning: Convergence Analysis and Optimization of A Hybrid Learning Framework [70.83511997272457]
  本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。 我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
  論文  参考訳（メタデータ） (2023-10-04T03:32:39Z)
• SimFBO: Towards Simple, Flexible and Communication-efficient Federated Bilevel Learning [21.661676550609876]
  Federated Bilevel Optimization (FBO)は、機械学習とエッジコンピューティングにおいて、最近大きな可能性を示している。 我々は,サブループなしで実装が容易な,シンプルで柔軟なFBOフレームワークSimFBOを提案する。 我々は,SimFBOとShroFBOが,部分的なクライアント参加とクライアントサンプリングを置き換えることなく,線形収束高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-05-30T22:30:30Z)
• Faster Adaptive Federated Learning [84.38913517122619]
  フェデレートラーニングは分散データの出現に伴って注目を集めている。 本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:07:50Z)
• Predictive GAN-powered Multi-Objective Optimization for Hybrid Federated Split Learning [56.125720497163684]
  無線ネットワークにおけるハイブリッド・フェデレーション・スプリット・ラーニング・フレームワークを提案する。 ラベル共有のないモデル分割のための並列計算方式を設計し,提案方式が収束速度に与える影響を理論的に解析する。
  論文  参考訳（メタデータ） (2022-09-02T10:29:56Z)
• A Newton-type algorithm for federated learning based on incremental Hessian eigenvector sharing [5.404315085380945]
  我々は、フェデレートラーニング(FL)を高速化するために設計された、通信制約付きニュートン型(NT)アルゴリズムを提案する。 提案手法は実際のデータセットで完全に検証される。
  論文  参考訳（メタデータ） (2022-02-11T17:52:56Z)
• AsySQN: Faster Vertical Federated Learning Algorithms with Better Computation Resource Utilization [159.75564904944707]
  垂直連合学習(VFL)のための非同期準ニュートン(AsySQN)フレームワークを提案する。 提案アルゴリズムは、逆ヘッセン行列を明示的に計算することなく、近似して降下ステップをスケールする。 本稿では,非同期計算を採用することにより,計算資源の有効利用が期待できることを示す。
  論文  参考訳（メタデータ） (2021-09-26T07:56:10Z)
• 1-Bit Compressive Sensing for Efficient Federated Learning Over the Air [32.14738452396869]
  本稿では,1ビットセンシング(CS)をアナログアグリゲーション送信に組み込んだ,空気上の通信効率の高い学習手法を開発し,解析する。 スケーラブルコンピューティングでは,大規模ネットワークに適した効率的な実装を開発する。 シミュレーションの結果,提案した1ビットCSベースのFLは理想的な場合と同等の性能を示した。
  論文  参考訳（メタデータ） (2021-03-30T03:50:31Z)
• Communication-Efficient Federated Learning with Compensated Overlap-FedAvg [22.636184975591004]
  フェデレーションラーニングは、クラスタ内でデータセットを共有することなく、複数のクライアントの複合データによるモデルトレーニングを実行するために提案される。 Overlap-FedAvgはモデルアップロードおよびダウンロードフェーズとモデルトレーニングフェーズを並列化するフレームワークである。 オーバーラップfedavgはさらに階層的計算戦略、データ補償機構、ネステロフ加速勾配(nag)アルゴリズムを用いて開発されている。
  論文  参考訳（メタデータ） (2020-12-12T02:50:09Z)
• FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity to Non-IID Data [59.50904660420082]
  フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。 クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
  論文  参考訳（メタデータ） (2020-05-22T23:07:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。