Fugu-MT 論文翻訳(概要): Improved Depth Estimation of Bayesian Neural Networks

論文の概要: Improved Depth Estimation of Bayesian Neural Networks

arxiv url: http://arxiv.org/abs/2410.10395v1
Date: Tue, 15 Oct 2024 07:01:02 GMT
ステータス: 処理完了
システム内更新日: 2024-10-29 21:54:49.449811
Title: Improved Depth Estimation of Bayesian Neural Networks
Title（参考訳）: ベイズニューラルネットワークの深さ推定精度の向上
Authors: Bart van Erp, Bert de Vries,
Abstract要約: 本稿では,ネットワーク深度を離散的に切り離した正規分布を提案し,その平均と分散を学習する。提案手法は, スパイラルデータセットにおける試験精度を改善し, 後方深度推定のばらつきを低減させる。
参考スコア（独自算出の注目度）: 2.5782420501870296
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: This paper proposes improvements over earlier work by Nazareth and Blei (2022) for estimating the depth of Bayesian neural networks. Here, we propose a discrete truncated normal distribution over the network depth to independently learn its mean and variance. Posterior distributions are inferred by minimizing the variational free energy, which balances the model complexity and accuracy. Our method improves test accuracy in the spiral data set and reduces the variance in posterior depth estimates.
Abstract（参考訳）: 本稿では,ベイズニューラルネットワークの深さを推定するために,Nazareth と Blei (2022) による以前の研究の改善を提案する。本稿では,ネットワーク深度を離散的に切り離した正規分布を提案し,その平均と分散を独立に学習する。後部分布は、モデルの複雑さと精度のバランスをとる変動自由エネルギーを最小化することによって推定される。提案手法は, スパイラルデータセットにおける試験精度を改善し, 後方深度推定のばらつきを低減させる。

関連論文リスト

Posterior and variational inference for deep neural networks with heavy-tailed weights [0.0]
我々は、ネットワーク重みをランダムにサンプリングする事前分布を持つベイズフレームワークにおいて、ディープニューラルネットワークを考察する。後部分布は, ほぼ最適のミニマックス収縮速度を達成できることを示す。また, 実験結果の変分ベイズ版も提供し, 平均場変分近似は, ほぼ最適理論的支援の恩恵を受けていることを示した。
論文参考訳（メタデータ） (2024-06-05T15:24:20Z)
Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
論文参考訳（メタデータ） (2022-12-29T20:57:46Z)
Variational Inference for Infinitely Deep Neural Networks [0.4061135251278187]
非有界深度ニューラルネットワーク(UDN) 我々は、無限に深い確率モデルである非有界深度ニューラルネットワーク(UDN)を導入し、その複雑さをトレーニングデータに適用する。我々はUDNを実データと合成データに基づいて研究する。
論文参考訳（メタデータ） (2022-09-21T03:54:34Z)
Variational Neural Networks [88.24021148516319]
本稿では,変分ニューラルネットワーク(VNN)と呼ばれるニューラルネットワークにおける不確実性推定手法を提案する。 VNNは、学習可能なサブレイヤで入力を変換することで、レイヤの出力分布のパラメータを生成する。不確実性評価実験において、VNNはモンテカルロ・ドロップアウトやベイズ・バイ・バックプロパゲーション法よりも優れた不確実性が得られることを示す。
論文参考訳（メタデータ） (2022-07-04T15:41:02Z)
Monocular Depth Estimation Primed by Salient Point Detection and Normalized Hessian Loss [43.950140695759764]
本稿では,単眼深度推定のための高精度で軽量なフレームワークを提案する。深度方向のスケーリングとせん断に不変な正規化ヘッセン損失項を導入し,精度を著しく向上させることを示した。提案手法は,NYU-Depth-v2 と KITTI の3.1-38.4 倍小さいモデルを用いて,ベースライン手法よりもパラメータ数が多い場合の最先端結果を実現する。
論文参考訳（メタデータ） (2021-08-25T07:51:09Z)
Differentially private training of neural networks with Langevin dynamics forcalibrated predictive uncertainty [58.730520380312676]
その結果,DP-SGD(差分偏差勾配勾配勾配勾配勾配)は,低校正・過信深層学習モデルが得られることがわかった。これは、医療診断など、安全クリティカルな応用にとって深刻な問題である。
論文参考訳（メタデータ） (2021-07-09T08:14:45Z)
Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
論文参考訳（メタデータ） (2021-03-15T16:16:18Z)
Uncertainty Quantification in Deep Residual Neural Networks [0.0]
不確かさの定量化は、ディープラーニングにおいて重要で困難な問題である。以前の方法は、現代のディープアーキテクチャやバッチサイズに敏感なバッチ正規化には存在しないドロップアウト層に依存していた。本研究では,ニューラルネットワークの後方重みに対する変動近似として,深度を用いた残留ネットワークのトレーニングが可能であることを示す。
論文参考訳（メタデータ） (2020-07-09T16:05:37Z)
Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
論文参考訳（メタデータ） (2020-03-04T12:27:36Z)
Beyond Dropout: Feature Map Distortion to Regularize Deep Neural Networks [107.77595511218429]
本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。上記の問題に対処するための特徴歪み法(Disout)を提案する。より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
論文参考訳（メタデータ） (2020-02-23T13:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。