論文の概要: Model and Feature Diversity for Bayesian Neural Networks in Mutual Learning
- arxiv url: http://arxiv.org/abs/2407.02721v1
- Date: Wed, 3 Jul 2024 00:25:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-04 17:54:48.155540
- Title: Model and Feature Diversity for Bayesian Neural Networks in Mutual Learning
- Title(参考訳): 相互学習におけるベイズニューラルネットワークのモデルと特徴多様性
- Authors: Cuong Pham, Cuong C. Nguyen, Trung Le, Dinh Phung, Gustavo Carneiro, Thanh-Toan Do,
- Abstract要約: 深層学習によるBNNの性能向上のための新しい手法を提案する。
実験結果から, 分類精度, 負の対数類似度, キャリブレーション誤差が有意に向上した。
- 参考スコア(独自算出の注目度): 33.629630904922465
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Bayesian Neural Networks (BNNs) offer probability distributions for model parameters, enabling uncertainty quantification in predictions. However, they often underperform compared to deterministic neural networks. Utilizing mutual learning can effectively enhance the performance of peer BNNs. In this paper, we propose a novel approach to improve BNNs performance through deep mutual learning. The proposed approaches aim to increase diversity in both network parameter distributions and feature distributions, promoting peer networks to acquire distinct features that capture different characteristics of the input, which enhances the effectiveness of mutual learning. Experimental results demonstrate significant improvements in the classification accuracy, negative log-likelihood, and expected calibration error when compared to traditional mutual learning for BNNs.
- Abstract(参考訳): ベイズニューラルネットワーク(BNN)はモデルパラメータの確率分布を提供し、予測の不確実な定量化を可能にする。
しかし、決定論的ニューラルネットワークに比べて性能が劣ることが多い。
相互学習を利用することで、ピアBNNの性能を効果的に向上させることができる。
本稿では,深層学習によるBNNの性能向上のための新しい手法を提案する。
提案手法は,ネットワークパラメータ分布と特徴分布の多様性の向上を目標とし,相互学習の有効性を高めるために,異なる特徴を抽出するピアネットワークを促進させる。
実験の結果,BNNの従来の相互学習と比較して,分類精度,負の対数類似度,キャリブレーション誤差が有意に向上した。
関連論文リスト
- Edge AI Collaborative Learning: Bayesian Approaches to Uncertainty Estimation [0.0]
独立エージェントが遭遇するデータの空間的変動を考慮した学習結果における信頼度の決定に焦点をあてる。
協調マッピングタスクをシミュレートするために,Webotsプラットフォームを用いた3次元環境シミュレーションを実装した。
実験により,BNNは分散学習コンテキストにおける不確実性推定を効果的に支援できることが示された。
論文 参考訳(メタデータ) (2024-10-11T09:20:16Z) - BEND: Bagging Deep Learning Training Based on Efficient Neural Network Diffusion [56.9358325168226]
BEND(Efficient Neural Network Diffusion)に基づくバッグング深層学習学習アルゴリズムを提案する。
我々のアプローチは単純だが効果的であり、まず複数のトレーニングされたモデルの重みとバイアスを入力として、オートエンコーダと潜伏拡散モデルを訓練する。
提案したBENDアルゴリズムは,元のトレーニングモデルと拡散モデルの両方の平均および中央値の精度を一貫して向上させることができる。
論文 参考訳(メタデータ) (2024-03-23T08:40:38Z) - A Framework for Variational Inference of Lightweight Bayesian Neural
Networks with Heteroscedastic Uncertainties [0.31457219084519006]
異種性失語症とてんかんのばらつきを学習したBNNパラメータのばらつきに埋め込むことができることを示す。
軽量BNNに適したサンプリング不要な変分推論のための比較的単純なフレームワークを提案する。
論文 参考訳(メタデータ) (2024-02-22T13:24:43Z) - Masked Bayesian Neural Networks : Theoretical Guarantee and its
Posterior Inference [1.2722697496405464]
本稿では,理論特性が良好で,計算可能な新しいノードスパースBNNモデルを提案する。
我々は、真のモデルに対する後部濃度速度が、真のモデルの滑らかさに適応する最小限の最適値に近いことを証明した。
さらに,ノードスパースBNNモデルのベイズ推定を現実的に実現可能な新しいMCMCアルゴリズムを開発した。
論文 参考訳(メタデータ) (2023-05-24T06:16:11Z) - Efficient Bayes Inference in Neural Networks through Adaptive Importance
Sampling [19.518237361775533]
BNNでは、トレーニング段階で、未知の重みとバイアスパラメータの完全な後部分布が生成される。
この機能は、数え切れないほどの機械学習アプリケーションに役立ちます。
医療医療や自動運転など、意思決定に重大な影響を及ぼす分野において特に魅力的である。
論文 参考訳(メタデータ) (2022-10-03T14:59:23Z) - Variational Neural Networks [88.24021148516319]
本稿では,変分ニューラルネットワーク(VNN)と呼ばれるニューラルネットワークにおける不確実性推定手法を提案する。
VNNは、学習可能なサブレイヤで入力を変換することで、レイヤの出力分布のパラメータを生成する。
不確実性評価実験において、VNNはモンテカルロ・ドロップアウトやベイズ・バイ・バックプロパゲーション法よりも優れた不確実性が得られることを示す。
論文 参考訳(メタデータ) (2022-07-04T15:41:02Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳(メタデータ) (2022-04-01T03:31:27Z) - Spatial-Temporal-Fusion BNN: Variational Bayesian Feature Layer [77.78479877473899]
我々は,BNNを大規模モデルに効率的にスケールするための時空間BNNを設計する。
バニラBNNと比較して,本手法はトレーニング時間とパラメータ数を著しく削減し,BNNのスケールアップに有効である。
論文 参考訳(メタデータ) (2021-12-12T17:13:14Z) - S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural
Networks via Guided Distribution Calibration [74.5509794733707]
本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。
提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。
提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
論文 参考訳(メタデータ) (2021-02-17T18:59:28Z) - Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。
本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。
我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
論文 参考訳(メタデータ) (2020-06-16T18:45:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。