論文の概要: Bayesian Deep Learning Via Expectation Maximization and Turbo Deep Approximate Message Passing
- arxiv url: http://arxiv.org/abs/2402.07366v2
- Date: Sun, 9 Jun 2024 11:44:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-12 01:43:22.586548
- Title: Bayesian Deep Learning Via Expectation Maximization and Turbo Deep Approximate Message Passing
- Title（参考訳）: Bayesian Deep Learning Via expectedation Maximization and Turbo Deep Approximate Message Passing
- Authors: Wei Xu, An Liu, Yiting Zhang, Vincent Lau,
- Abstract要約: メッセージパッシングに基づくEM-TDAMPと呼ばれるベイズ深層学習アルゴリズムを提案する。
本稿では,ボストンの住宅価格予測と手書き文字認識へのEM-TDAMPの適用について詳述する。
- 参考スコア（独自算出の注目度）: 14.053914547665718
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Efficient learning and model compression algorithm for deep neural network (DNN) is a key workhorse behind the rise of deep learning (DL). In this work, we propose a message passing based Bayesian deep learning algorithm called EM-TDAMP to avoid the drawbacks of traditional stochastic gradient descent (SGD) based learning algorithms and regularization-based model compression methods. Specifically, we formulate the problem of DNN learning and compression as a sparse Bayesian inference problem, in which group sparse prior is employed to achieve structured model compression. Then, we propose an expectation maximization (EM) framework to estimate posterior distributions for parameters (E-step) and update hyperparameters (M-step), where the E-step is realized by a newly proposed turbo deep approximate message passing (TDAMP) algorithm. We further extend the EM-TDAMP and propose a novel Bayesian federated learning framework, in which and the clients perform TDAMP to efficiently calculate the local posterior distributions based on the local data, and the central server first aggregates the local posterior distributions to update the global posterior distributions and then update hyperparameters based on EM to accelerate convergence. We detail the application of EM-TDAMP to Boston housing price prediction and handwriting recognition, and present extensive numerical results to demonstrate the advantages of EM-TDAMP.
- Abstract（参考訳）: 深層ニューラルネットワーク(DNN)のための効率的な学習とモデル圧縮アルゴリズムは、深層学習(DL)の台頭の背後にある重要なワークホースである。
本研究では,従来の確率勾配勾配(SGD)に基づく学習アルゴリズムと正規化に基づくモデル圧縮手法の欠点を回避するために,EM-TDAMPと呼ばれるメッセージパッシングに基づくベイズ深層学習アルゴリズムを提案する。
具体的には、DNN学習と圧縮の問題をスパースベイズ推論問題として定式化し、群スパース事前を用いて構造化されたモデル圧縮を実現する。
次に,パラメータ (E-step) の後方分布を推定する予測最大化 (EM) フレームワークと,新たに提案したターボ深部メッセージパッシング (TDAMP) アルゴリズムによりE-stepを実現するハイパーパラメータ (M-step) を更新する。
我々はさらにEM-TDAMPを拡張し、また、クライアントとクライアントがTDAMPを実行してローカルデータに基づいてローカル後部分布を効率的に計算し、中央サーバがまずローカル後部分布を集約してグローバル後部分布を更新し、EMに基づいてハイパーパラメータを更新し、収束を加速する新しいベイズ連邦学習フレームワークを提案する。
本稿では,ボストンの住宅価格予測と手書き認識へのEM-TDAMPの適用について詳述し,EM-TDAMPの利点を示すために,広範な数値的な結果を示す。
関連論文リスト
- Unrolled denoising networks provably learn optimal Bayesian inference [54.79172096306631]
我々は、近似メッセージパッシング(AMP)のアンロールに基づくニューラルネットワークの最初の厳密な学習保証を証明した。
圧縮センシングでは、製品から引き出されたデータに基づいてトレーニングを行うと、ネットワークの層がベイズAMPで使用されるのと同じデノイザーに収束することを示す。
論文 参考訳（メタデータ） (2024-09-19T17:56:16Z) - Adaptive Anomaly Detection in Network Flows with Low-Rank Tensor Decompositions and Deep Unrolling [9.20186865054847]
異常検出(AD)は、将来の通信システムのレジリエンスを確保するための重要な要素として、ますます認識されている。
この研究は、不完全測定を用いたネットワークフローにおけるADについて考察する。
本稿では,正規化モデル適合性に基づくブロック帰属凸近似アルゴリズムを提案する。
ベイズ的アプローチに触発されて、我々はモデルアーキテクチャを拡張し、フローごとのオンライン適応とステップごとの統計処理を行う。
論文 参考訳（メタデータ） (2024-09-17T19:59:57Z) - Optimization of Iterative Blind Detection based on Expectation Maximization and Belief Propagation [29.114100423416204]
ブロックフェーディング線形シンボルチャネルに対するブラインドシンボル検出法を提案する。
本研究では,研究予測アルゴリズムとユビキタスな信条伝搬アルゴリズムを組み合わせた共同チャネル推定・検出手法を設計する。
提案手法は,効率よく一般化したスケジュールを学習し,高信号対雑音シナリオにおけるコヒーレントBP検出よりも優れることを示す。
論文 参考訳（メタデータ） (2024-08-05T08:45:50Z) - Variational Density Propagation Continual Learning [0.0]
現実世界にデプロイされるディープニューラルネットワーク(DNN)は、定期的にオフ・オブ・ディストリビューション(OoD)データの対象となっている。
本稿では,ベンチマーク連続学習データセットによってモデル化されたデータ分散ドリフトに適応するフレームワークを提案する。
論文 参考訳（メタデータ） (2023-08-22T21:51:39Z) - Beyond Deep Ensembles: A Large-Scale Evaluation of Bayesian Deep
Learning under Distribution Shift [19.945634052291542]
我々は、WILDSコレクションから現実のデータセットに対する最新のBDLアルゴリズムを評価し、難解な分類と回帰タスクを含む。
我々は、大規模な、畳み込み、トランスフォーマーベースのニューラルネットワークアーキテクチャにおいて、アルゴリズムを比較した。
そこで本研究では,BDLを用いた大規模事前学習モデルのシステム評価を行った。
論文 参考訳（メタデータ） (2023-06-21T14:36:03Z) - Content Popularity Prediction Based on Quantized Federated Bayesian
Learning in Fog Radio Access Networks [76.16527095195893]
キャッシュ可能なフォグラジオアクセスネットワーク(F-RAN)におけるコンテンツ人気予測問題について検討する。
そこで本研究では,コンテンツ要求パターンをモデル化するためのガウス過程に基づく回帰器を提案する。
我々はベイズ学習を利用してモデルパラメータを訓練する。
論文 参考訳（メタデータ） (2022-06-23T03:05:12Z) - Communication-Efficient Federated Learning via Quantized Compressed
Sensing [82.10695943017907]
提案フレームワークは,無線機器の勾配圧縮とパラメータサーバの勾配再構成からなる。
勾配スペーシフィケーションと量子化により、我々の戦略は1ビット勾配圧縮よりも高い圧縮比を達成することができる。
圧縮を行わない場合とほぼ同じ性能を実現できることを示す。
論文 参考訳（メタデータ） (2021-11-30T02:13:54Z) - Improving Gradient Flow with Unrolled Highway Expectation Maximization [0.9539495585692008]
本稿では,一般化EM (GEM) アルゴリズムの非順序反復からなるハイウェイ予測最大化ネットワーク (HEMNet) を提案する。
HEMNetは、スケールしたスキップ接続、あるいはハイウェイを、非ロールアーキテクチャの深さに沿って備えており、バックプロパゲーション時の勾配フローが改善されている。
複数のセマンティクスセグメンテーションベンチマークにおいて有意な改善を達成し,hemnetが勾配減衰を効果的に緩和することを示す。
論文 参考訳（メタデータ） (2020-12-09T09:11:45Z) - Plug-And-Play Learned Gaussian-mixture Approximate Message Passing [71.74028918819046]
そこで本研究では,従来のi.i.d.ソースに適した圧縮圧縮センシング(CS)リカバリアルゴリズムを提案する。
我々のアルゴリズムは、Borgerdingの学習AMP(LAMP)に基づいて構築されるが、アルゴリズムに普遍的な復調関数を採用することにより、それを大幅に改善する。
数値評価により,L-GM-AMPアルゴリズムは事前の知識を必要とせず,最先端の性能を実現する。
論文 参考訳（メタデータ） (2020-11-18T16:40:45Z) - Communication-Efficient Distributed Stochastic AUC Maximization with
Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。
我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。
いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2020-05-05T18:08:23Z) - MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。
グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。
確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
論文 参考訳（メタデータ） (2020-01-28T18:25:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。