論文の概要: Bayesian Deep Learning Via Expectation Maximization and Turbo Deep Approximate Message Passing
- arxiv url: http://arxiv.org/abs/2402.07366v2
- Date: Sun, 9 Jun 2024 11:44:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-12 01:43:22.586548
- Title: Bayesian Deep Learning Via Expectation Maximization and Turbo Deep Approximate Message Passing
- Title(参考訳): Bayesian Deep Learning Via expectedation Maximization and Turbo Deep Approximate Message Passing
- Authors: Wei Xu, An Liu, Yiting Zhang, Vincent Lau,
- Abstract要約: メッセージパッシングに基づくEM-TDAMPと呼ばれるベイズ深層学習アルゴリズムを提案する。
本稿では,ボストンの住宅価格予測と手書き文字認識へのEM-TDAMPの適用について詳述する。
- 参考スコア(独自算出の注目度): 14.053914547665718
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Efficient learning and model compression algorithm for deep neural network (DNN) is a key workhorse behind the rise of deep learning (DL). In this work, we propose a message passing based Bayesian deep learning algorithm called EM-TDAMP to avoid the drawbacks of traditional stochastic gradient descent (SGD) based learning algorithms and regularization-based model compression methods. Specifically, we formulate the problem of DNN learning and compression as a sparse Bayesian inference problem, in which group sparse prior is employed to achieve structured model compression. Then, we propose an expectation maximization (EM) framework to estimate posterior distributions for parameters (E-step) and update hyperparameters (M-step), where the E-step is realized by a newly proposed turbo deep approximate message passing (TDAMP) algorithm. We further extend the EM-TDAMP and propose a novel Bayesian federated learning framework, in which and the clients perform TDAMP to efficiently calculate the local posterior distributions based on the local data, and the central server first aggregates the local posterior distributions to update the global posterior distributions and then update hyperparameters based on EM to accelerate convergence. We detail the application of EM-TDAMP to Boston housing price prediction and handwriting recognition, and present extensive numerical results to demonstrate the advantages of EM-TDAMP.
- Abstract(参考訳): 深層ニューラルネットワーク(DNN)のための効率的な学習とモデル圧縮アルゴリズムは、深層学習(DL)の台頭の背後にある重要なワークホースである。
本研究では,従来の確率勾配勾配(SGD)に基づく学習アルゴリズムと正規化に基づくモデル圧縮手法の欠点を回避するために,EM-TDAMPと呼ばれるメッセージパッシングに基づくベイズ深層学習アルゴリズムを提案する。
具体的には、DNN学習と圧縮の問題をスパースベイズ推論問題として定式化し、群スパース事前を用いて構造化されたモデル圧縮を実現する。
次に,パラメータ (E-step) の後方分布を推定する予測最大化 (EM) フレームワークと,新たに提案したターボ深部メッセージパッシング (TDAMP) アルゴリズムによりE-stepを実現するハイパーパラメータ (M-step) を更新する。
我々はさらにEM-TDAMPを拡張し、また、クライアントとクライアントがTDAMPを実行してローカルデータに基づいてローカル後部分布を効率的に計算し、中央サーバがまずローカル後部分布を集約してグローバル後部分布を更新し、EMに基づいてハイパーパラメータを更新し、収束を加速する新しいベイズ連邦学習フレームワークを提案する。
本稿では,ボストンの住宅価格予測と手書き認識へのEM-TDAMPの適用について詳述し,EM-TDAMPの利点を示すために,広範な数値的な結果を示す。
関連論文リスト
- Minimizing Energy Costs in Deep Learning Model Training: The Gaussian Sampling Approach [11.878350833222711]
ガウス分布からの勾配更新をサンプリングするために, em GradSamp という手法を提案する。
Em GradSampは、勾配の合理化だけでなく、エポック全体のスキップを可能にし、全体的な効率を向上させる。
我々は、標準CNNとトランスフォーマーベースモデルの多種多様なセットにまたがって、我々の仮説を厳格に検証する。
論文 参考訳(メタデータ) (2024-06-11T15:01:20Z) - Variational Density Propagation Continual Learning [0.0]
現実世界にデプロイされるディープニューラルネットワーク(DNN)は、定期的にオフ・オブ・ディストリビューション(OoD)データの対象となっている。
本稿では,ベンチマーク連続学習データセットによってモデル化されたデータ分散ドリフトに適応するフレームワークを提案する。
論文 参考訳(メタデータ) (2023-08-22T21:51:39Z) - Beyond Deep Ensembles: A Large-Scale Evaluation of Bayesian Deep
Learning under Distribution Shift [19.945634052291542]
我々は、WILDSコレクションから現実のデータセットに対する最新のBDLアルゴリズムを評価し、難解な分類と回帰タスクを含む。
我々は、大規模な、畳み込み、トランスフォーマーベースのニューラルネットワークアーキテクチャにおいて、アルゴリズムを比較した。
そこで本研究では,BDLを用いた大規模事前学習モデルのシステム評価を行った。
論文 参考訳(メタデータ) (2023-06-21T14:36:03Z) - Scaling Forward Gradient With Local Losses [117.22685584919756]
フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。
重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。
提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
論文 参考訳(メタデータ) (2022-10-07T03:52:27Z) - Content Popularity Prediction Based on Quantized Federated Bayesian
Learning in Fog Radio Access Networks [76.16527095195893]
キャッシュ可能なフォグラジオアクセスネットワーク(F-RAN)におけるコンテンツ人気予測問題について検討する。
そこで本研究では,コンテンツ要求パターンをモデル化するためのガウス過程に基づく回帰器を提案する。
我々はベイズ学習を利用してモデルパラメータを訓練する。
論文 参考訳(メタデータ) (2022-06-23T03:05:12Z) - Communication-Efficient Federated Learning via Quantized Compressed
Sensing [82.10695943017907]
提案フレームワークは,無線機器の勾配圧縮とパラメータサーバの勾配再構成からなる。
勾配スペーシフィケーションと量子化により、我々の戦略は1ビット勾配圧縮よりも高い圧縮比を達成することができる。
圧縮を行わない場合とほぼ同じ性能を実現できることを示す。
論文 参考訳(メタデータ) (2021-11-30T02:13:54Z) - Probabilistic partition of unity networks: clustering based deep
approximation [0.0]
ユニタリネットワーク(POU-Nets)の分割は、回帰とPDEの解に対する代数収束率を実現することができる。
ガウス雑音モデルを用いてPOU-Netを拡張し、最大可算損失の勾配に基づく一般化を導出できる確率的一般化を得る。
本研究では,高次元・低次元での性能を定量化するためのベンチマークを行い,高次元空間内のデータの潜在次元にのみ依存することを示す。
論文 参考訳(メタデータ) (2021-07-07T08:02:00Z) - Improving Gradient Flow with Unrolled Highway Expectation Maximization [0.9539495585692008]
本稿では,一般化EM (GEM) アルゴリズムの非順序反復からなるハイウェイ予測最大化ネットワーク (HEMNet) を提案する。
HEMNetは、スケールしたスキップ接続、あるいはハイウェイを、非ロールアーキテクチャの深さに沿って備えており、バックプロパゲーション時の勾配フローが改善されている。
複数のセマンティクスセグメンテーションベンチマークにおいて有意な改善を達成し,hemnetが勾配減衰を効果的に緩和することを示す。
論文 参考訳(メタデータ) (2020-12-09T09:11:45Z) - Plug-And-Play Learned Gaussian-mixture Approximate Message Passing [71.74028918819046]
そこで本研究では,従来のi.i.d.ソースに適した圧縮圧縮センシング(CS)リカバリアルゴリズムを提案する。
我々のアルゴリズムは、Borgerdingの学習AMP(LAMP)に基づいて構築されるが、アルゴリズムに普遍的な復調関数を採用することにより、それを大幅に改善する。
数値評価により,L-GM-AMPアルゴリズムは事前の知識を必要とせず,最先端の性能を実現する。
論文 参考訳(メタデータ) (2020-11-18T16:40:45Z) - Communication-Efficient Distributed Stochastic AUC Maximization with
Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。
我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。
いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文 参考訳(メタデータ) (2020-05-05T18:08:23Z) - MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。
グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。
確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
論文 参考訳(メタデータ) (2020-01-28T18:25:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。