論文の概要: Bayesian Federated Learning Via Expectation Maximization and Turbo Deep
Approximate Message Passing
- arxiv url: http://arxiv.org/abs/2402.07366v1
- Date: Mon, 12 Feb 2024 01:47:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-13 15:55:25.239359
- Title: Bayesian Federated Learning Via Expectation Maximization and Turbo Deep
Approximate Message Passing
- Title（参考訳）: 期待最大化とターボ深部近似メッセージパッシングによるベイズ連関学習
- Authors: Wei Xu, An Liu, Yiting Zhang and Vincent Lau
- Abstract要約: 本稿では,メッセージパッシングに基づく連合学習(BFL)フレームワークを提案する。
EMTDAMPは効率的なBFLアルゴリズムであり、予測(EM)とターボ深部近似メッセージパッシング(TDAMP)を組み合わせて分散学習と圧縮を実現する。
ボストンの住宅価格予測と手書き認識へのEMTDAMPの適用について詳述し、EMTDAMPの利点を実証するために、広範な数値的な結果を示す。
- 参考スコア（独自算出の注目度）: 15.352892016987557
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) is a machine learning paradigm where the clients
possess decentralized training data and the central server handles aggregation
and scheduling. Typically, FL algorithms involve clients training their local
models using stochastic gradient descent (SGD), which carries drawbacks such as
slow convergence and being prone to getting stuck in suboptimal solutions. In
this work, we propose a message passing based Bayesian federated learning (BFL)
framework to avoid these drawbacks.Specifically, we formulate the problem of
deep neural network (DNN) learning and compression and as a sparse Bayesian
inference problem, in which group sparse prior is employed to achieve
structured model compression. Then, we propose an efficient BFL algorithm
called EMTDAMP, where expectation maximization (EM) and turbo deep approximate
message passing (TDAMP) are combined to achieve distributed learning and
compression. The central server aggregates local posterior distributions to
update global posterior distributions and update hyperparameters based on EM to
accelerate convergence. The clients perform TDAMP to achieve efficient
approximate message passing over DNN with joint prior distribution. We detail
the application of EMTDAMP to Boston housing price prediction and handwriting
recognition, and present extensive numerical results to demonstrate the
advantages of EMTDAMP.
- Abstract（参考訳）: Federated Learning(FL)は、クライアントが分散トレーニングデータを持ち、中央サーバが集約とスケジューリングを処理する機械学習パラダイムである。
FLアルゴリズムは通常、確率勾配勾配勾配(SGD)を用いて局所モデルを訓練するクライアントを伴い、緩やかな収束や、最適以下の解では行き詰まる傾向にある。
本稿では,これらの欠点を回避するために,メッセージパッシングに基づくベイズ連関学習(bfl)フレームワークを提案する。具体的には,ディープニューラルネットワーク(dnn)の学習と圧縮の問題と,疎ベイズ推論問題として,グループスパースプリアーを用いて構造化モデル圧縮を実現する。
そこで本研究では,分散学習と圧縮を実現するために,期待最大化(em)とターボディープ近似メッセージパッシング(tdamp)を組み合わせた効率的なbflアルゴリズムであるemtdampを提案する。
中央サーバは局所的な後方分布を集約し、グローバル後方分布を更新、emに基づくハイパーパラメータを更新して収束を加速する。
クライアントはTDAMPを実行し、共同事前分布のDNN上の効率的な近似メッセージパッシングを実現する。
ボストンの住宅価格予測と手書き認識へのEMTDAMPの適用について詳述し、EMTDAMPの利点を実証するために、広範な数値的な結果を示す。
関連論文リスト
- Unrolled denoising networks provably learn optimal Bayesian inference [54.79172096306631]
我々は、近似メッセージパッシング(AMP)のアンロールに基づくニューラルネットワークの最初の厳密な学習保証を証明した。
圧縮センシングでは、製品から引き出されたデータに基づいてトレーニングを行うと、ネットワークの層がベイズAMPで使用されるのと同じデノイザーに収束することを示す。
論文 参考訳（メタデータ） (2024-09-19T17:56:16Z) - Adaptive Anomaly Detection in Network Flows with Low-Rank Tensor Decompositions and Deep Unrolling [9.20186865054847]
異常検出(AD)は、将来の通信システムのレジリエンスを確保するための重要な要素として、ますます認識されている。
この研究は、不完全測定を用いたネットワークフローにおけるADについて考察する。
本稿では,正規化モデル適合性に基づくブロック帰属凸近似アルゴリズムを提案する。
ベイズ的アプローチに触発されて、我々はモデルアーキテクチャを拡張し、フローごとのオンライン適応とステップごとの統計処理を行う。
論文 参考訳（メタデータ） (2024-09-17T19:59:57Z) - Optimization of Iterative Blind Detection based on Expectation Maximization and Belief Propagation [29.114100423416204]
ブロックフェーディング線形シンボルチャネルに対するブラインドシンボル検出法を提案する。
本研究では,研究予測アルゴリズムとユビキタスな信条伝搬アルゴリズムを組み合わせた共同チャネル推定・検出手法を設計する。
提案手法は,効率よく一般化したスケジュールを学習し,高信号対雑音シナリオにおけるコヒーレントBP検出よりも優れることを示す。
論文 参考訳（メタデータ） (2024-08-05T08:45:50Z) - Variational Density Propagation Continual Learning [0.0]
現実世界にデプロイされるディープニューラルネットワーク(DNN)は、定期的にオフ・オブ・ディストリビューション(OoD)データの対象となっている。
本稿では,ベンチマーク連続学習データセットによってモデル化されたデータ分散ドリフトに適応するフレームワークを提案する。
論文 参考訳（メタデータ） (2023-08-22T21:51:39Z) - Beyond Deep Ensembles: A Large-Scale Evaluation of Bayesian Deep
Learning under Distribution Shift [19.945634052291542]
我々は、WILDSコレクションから現実のデータセットに対する最新のBDLアルゴリズムを評価し、難解な分類と回帰タスクを含む。
我々は、大規模な、畳み込み、トランスフォーマーベースのニューラルネットワークアーキテクチャにおいて、アルゴリズムを比較した。
そこで本研究では,BDLを用いた大規模事前学習モデルのシステム評価を行った。
論文 参考訳（メタデータ） (2023-06-21T14:36:03Z) - Content Popularity Prediction Based on Quantized Federated Bayesian
Learning in Fog Radio Access Networks [76.16527095195893]
キャッシュ可能なフォグラジオアクセスネットワーク(F-RAN)におけるコンテンツ人気予測問題について検討する。
そこで本研究では,コンテンツ要求パターンをモデル化するためのガウス過程に基づく回帰器を提案する。
我々はベイズ学習を利用してモデルパラメータを訓練する。
論文 参考訳（メタデータ） (2022-06-23T03:05:12Z) - Communication-Efficient Federated Learning via Quantized Compressed
Sensing [82.10695943017907]
提案フレームワークは,無線機器の勾配圧縮とパラメータサーバの勾配再構成からなる。
勾配スペーシフィケーションと量子化により、我々の戦略は1ビット勾配圧縮よりも高い圧縮比を達成することができる。
圧縮を行わない場合とほぼ同じ性能を実現できることを示す。
論文 参考訳（メタデータ） (2021-11-30T02:13:54Z) - Improving Gradient Flow with Unrolled Highway Expectation Maximization [0.9539495585692008]
本稿では,一般化EM (GEM) アルゴリズムの非順序反復からなるハイウェイ予測最大化ネットワーク (HEMNet) を提案する。
HEMNetは、スケールしたスキップ接続、あるいはハイウェイを、非ロールアーキテクチャの深さに沿って備えており、バックプロパゲーション時の勾配フローが改善されている。
複数のセマンティクスセグメンテーションベンチマークにおいて有意な改善を達成し,hemnetが勾配減衰を効果的に緩和することを示す。
論文 参考訳（メタデータ） (2020-12-09T09:11:45Z) - Plug-And-Play Learned Gaussian-mixture Approximate Message Passing [71.74028918819046]
そこで本研究では,従来のi.i.d.ソースに適した圧縮圧縮センシング(CS)リカバリアルゴリズムを提案する。
我々のアルゴリズムは、Borgerdingの学習AMP(LAMP)に基づいて構築されるが、アルゴリズムに普遍的な復調関数を採用することにより、それを大幅に改善する。
数値評価により,L-GM-AMPアルゴリズムは事前の知識を必要とせず,最先端の性能を実現する。
論文 参考訳（メタデータ） (2020-11-18T16:40:45Z) - Communication-Efficient Distributed Stochastic AUC Maximization with
Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。
我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。
いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2020-05-05T18:08:23Z) - MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。
グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。
確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
論文 参考訳（メタデータ） (2020-01-28T18:25:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。