論文の概要: Bayesian Federated Learning Via Expectation Maximization and Turbo Deep
Approximate Message Passing
- arxiv url: http://arxiv.org/abs/2402.07366v1
- Date: Mon, 12 Feb 2024 01:47:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-13 15:55:25.239359
- Title: Bayesian Federated Learning Via Expectation Maximization and Turbo Deep
Approximate Message Passing
- Title(参考訳): 期待最大化とターボ深部近似メッセージパッシングによるベイズ連関学習
- Authors: Wei Xu, An Liu, Yiting Zhang and Vincent Lau
- Abstract要約: 本稿では,メッセージパッシングに基づく連合学習(BFL)フレームワークを提案する。
EMTDAMPは効率的なBFLアルゴリズムであり、予測(EM)とターボ深部近似メッセージパッシング(TDAMP)を組み合わせて分散学習と圧縮を実現する。
ボストンの住宅価格予測と手書き認識へのEMTDAMPの適用について詳述し、EMTDAMPの利点を実証するために、広範な数値的な結果を示す。
- 参考スコア(独自算出の注目度): 15.352892016987557
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) is a machine learning paradigm where the clients
possess decentralized training data and the central server handles aggregation
and scheduling. Typically, FL algorithms involve clients training their local
models using stochastic gradient descent (SGD), which carries drawbacks such as
slow convergence and being prone to getting stuck in suboptimal solutions. In
this work, we propose a message passing based Bayesian federated learning (BFL)
framework to avoid these drawbacks.Specifically, we formulate the problem of
deep neural network (DNN) learning and compression and as a sparse Bayesian
inference problem, in which group sparse prior is employed to achieve
structured model compression. Then, we propose an efficient BFL algorithm
called EMTDAMP, where expectation maximization (EM) and turbo deep approximate
message passing (TDAMP) are combined to achieve distributed learning and
compression. The central server aggregates local posterior distributions to
update global posterior distributions and update hyperparameters based on EM to
accelerate convergence. The clients perform TDAMP to achieve efficient
approximate message passing over DNN with joint prior distribution. We detail
the application of EMTDAMP to Boston housing price prediction and handwriting
recognition, and present extensive numerical results to demonstrate the
advantages of EMTDAMP.
- Abstract(参考訳): Federated Learning(FL)は、クライアントが分散トレーニングデータを持ち、中央サーバが集約とスケジューリングを処理する機械学習パラダイムである。
FLアルゴリズムは通常、確率勾配勾配勾配(SGD)を用いて局所モデルを訓練するクライアントを伴い、緩やかな収束や、最適以下の解では行き詰まる傾向にある。
本稿では,これらの欠点を回避するために,メッセージパッシングに基づくベイズ連関学習(bfl)フレームワークを提案する。具体的には,ディープニューラルネットワーク(dnn)の学習と圧縮の問題と,疎ベイズ推論問題として,グループスパースプリアーを用いて構造化モデル圧縮を実現する。
そこで本研究では,分散学習と圧縮を実現するために,期待最大化(em)とターボディープ近似メッセージパッシング(tdamp)を組み合わせた効率的なbflアルゴリズムであるemtdampを提案する。
中央サーバは局所的な後方分布を集約し、グローバル後方分布を更新、emに基づくハイパーパラメータを更新して収束を加速する。
クライアントはTDAMPを実行し、共同事前分布のDNN上の効率的な近似メッセージパッシングを実現する。
ボストンの住宅価格予測と手書き認識へのEMTDAMPの適用について詳述し、EMTDAMPの利点を実証するために、広範な数値的な結果を示す。
関連論文リスト
- Scheduling and Communication Schemes for Decentralized Federated
Learning [0.31410859223862103]
勾配降下(SGD)アルゴリズムを用いた分散連合学習(DFL)モデルが導入された。
DFLの3つのスケジューリングポリシーがクライアントと並列サーバ間の通信のために提案されている。
その結果,提案した計画警察は,収束速度と最終グローバルモデルの両方に影響を及ぼすことがわかった。
論文 参考訳(メタデータ) (2023-11-27T17:35:28Z) - Semi-Federated Learning: Convergence Analysis and Optimization of A
Hybrid Learning Framework [70.83511997272457]
本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。
我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
論文 参考訳(メタデータ) (2023-10-04T03:32:39Z) - Effectively Heterogeneous Federated Learning: A Pairing and Split
Learning Based Approach [16.093068118849246]
本稿では,クライアントと異なる計算資源をペアリングする,新しい分割フェデレーション学習(SFL)フレームワークを提案する。
グラフエッジ選択問題として,学習遅延の最適化を再構築し,グレディアルゴリズムを提案する。
シミュレーションの結果,提案手法はFLトレーニング速度を大幅に向上し,高い性能を実現することができることがわかった。
論文 参考訳(メタデータ) (2023-08-26T11:10:54Z) - Content Popularity Prediction Based on Quantized Federated Bayesian
Learning in Fog Radio Access Networks [76.16527095195893]
キャッシュ可能なフォグラジオアクセスネットワーク(F-RAN)におけるコンテンツ人気予測問題について検討する。
そこで本研究では,コンテンツ要求パターンをモデル化するためのガウス過程に基づく回帰器を提案する。
我々はベイズ学習を利用してモデルパラメータを訓練する。
論文 参考訳(メタデータ) (2022-06-23T03:05:12Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳(メタデータ) (2022-03-05T02:31:32Z) - An Expectation-Maximization Perspective on Federated Learning [75.67515842938299]
フェデレーション学習は、データをデバイス上でプライベートにしながら、複数のクライアントにわたるモデルの分散トレーニングを記述する。
本稿では,サーバがクライアント固有のモデルパラメータに対して事前分布のパラメータを提供する階層的潜在変数モデルとして,サーバが設定したフェデレーション学習プロセスについて考察する。
我々は,単純なガウス先行とよく知られた期待最大化(EM)アルゴリズムのハードバージョンを用いて,そのようなモデルの学習は,フェデレーション学習環境における最も一般的なアルゴリズムであるFedAvgに対応することを示す。
論文 参考訳(メタデータ) (2021-11-19T12:58:59Z) - Fed-LAMB: Layerwise and Dimensionwise Locally Adaptive Optimization
Algorithm [24.42828071396353]
FL(Federated Learning)の新たなパラダイムでは、モバイルデバイスなどの大量のクライアントが、それぞれのデータに基づいてトレーニングされている。
低帯域幅のため、分散最適化手法は計算負荷をそれらのクライアントからサーバにシフトさせる必要がある。
我々は階層的なディープニューラルネットワークに基づく新しい学習手法であるFed-LAMBを提案する。
論文 参考訳(メタデータ) (2021-10-01T16:54:31Z) - Bayesian Federated Learning over Wireless Networks [87.37301441859925]
フェデレーションラーニングは、ローカルデバイスに保存された異種データセットを使用したプライバシー保護と分散トレーニング方法です。
本稿では、スケーラブルBFL (SBFL) と呼ばれる効率的な修正BFLアルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-12-31T07:32:44Z) - Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。
我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。
我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
論文 参考訳(メタデータ) (2020-09-27T08:28:25Z) - Scheduling Policy and Power Allocation for Federated Learning in NOMA
Based MEC [21.267954799102874]
Federated Learning(FL)は、データ分散を維持しながらモデルを集中的にトレーニングできる、高度に追求された機械学習技術である。
重み付き和データレートを最大化するために、非直交多重アクセス(NOMA)設定を用いた新しいスケジューリングポリシーと電力割当方式を提案する。
シミュレーションの結果,提案手法は,NOMAベースの無線ネットワークにおいて高いFLテスト精度を実現するのに有効であることがわかった。
論文 参考訳(メタデータ) (2020-06-21T23:07:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。