論文の概要: Multilevel Bayesian Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2203.12961v4
- Date: Tue, 29 Oct 2024 08:31:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-30 20:19:35.642932
- Title: Multilevel Bayesian Deep Neural Networks
- Title（参考訳）: 多レベルベイズディープニューラルネットワーク
- Authors: Neil K. Chada, Ajay Jasra, Kody J. H. Law, Sumeetpal S. Singh,
- Abstract要約: 我々は、ディープニューラルネットワーク(DNN)、特にトレースクラスニューラルネットワーク(TNN)に関連付けられた推論について検討する。
TNN事前は無限個の隠れ単位を持つ関数上で定義され、有限個の隠れ単位を持つ強い収束近似を持つ。
本稿では,TNNの強い収束を利用して,これらのモデルにマルチレベルモンテカルロ(MLMC)を適用する。
- 参考スコア（独自算出の注目度）: 0.5892638927736115
- License:
- Abstract: In this article we consider Bayesian inference associated to deep neural networks (DNNs) and in particular, trace-class neural network (TNN) priors which can be preferable to traditional DNNs as (a) they are identifiable and (b) they possess desirable convergence properties. TNN priors are defined on functions with infinitely many hidden units, and have strongly convergent Karhunen-Loeve-type approximations with finitely many hidden units. A practical hurdle is that the Bayesian solution is computationally demanding, requiring simulation methods, so approaches to drive down the complexity are needed. In this paper, we leverage the strong convergence of TNN in order to apply Multilevel Monte Carlo (MLMC) to these models. In particular, an MLMC method that was introduced is used to approximate posterior expectations of Bayesian TNN models with optimal computational complexity, and this is mathematically proved. The results are verified with several numerical experiments on model problems arising in machine learning, including regression, classification, and reinforcement learning.
- Abstract（参考訳）: 本稿では、ディープニューラルネットワーク(DNN)に関連するベイズ推論、特に従来のDNNよりも好ましいトレースクラスニューラルネットワーク(TNN)を考察する。
(a)識別可能で、
b) 所望の収束特性を有する。
TNN事前は無限個の隠れた単位を持つ関数上で定義され、有限個の隠れた単位を持つカルフネン-ローブ型近似を強く収束させる。
現実的なハードルは、ベイズ解が計算的に要求され、シミュレーション法が要求されるため、複雑性を下げるためのアプローチが必要であることである。
本稿では,TNNの強い収束を利用して,これらのモデルにマルチレベルモンテカルロ(MLMC)を適用する。
特に,ベイジアンTNNモデルの後方予測を最適計算量で近似するためにMLMC法を導入し,これを数学的に証明した。
この結果は、回帰、分類、強化学習を含む機械学習におけるモデル問題に関するいくつかの数値実験で検証された。
関連論文リスト
- On Feynman--Kac training of partial Bayesian neural networks [1.6474447977095783]
部分ベイズニューラルネットワーク(pBNN)は、完全なベイズニューラルネットワークと競合することが示されている。
本稿では,Feynman-Kacモデルのシミュレーションとして,pBNNのトレーニングを定式化した効率的なサンプリングベーストレーニング戦略を提案する。
提案手法は, 予測性能において, 技術状況よりも優れることを示す。
論文 参考訳（メタデータ） (2023-10-30T15:03:15Z) - An Automata-Theoretic Approach to Synthesizing Binarized Neural Networks [13.271286153792058]
量子ニューラルネットワーク(QNN)が開発され、二項化ニューラルネットワーク(BNN)は特殊なケースとしてバイナリ値に制限されている。
本稿では,指定された特性を満たすBNNの自動合成手法を提案する。
論文 参考訳（メタデータ） (2023-07-29T06:27:28Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - Satellite Anomaly Detection Using Variance Based Genetic Ensemble of
Neural Networks [7.848121055546167]
複数のリカレントニューラルネットワーク(RNN)からの予測の効率的なアンサンブルを用いる。
予測のために、各RNNモデルに対して最適な構造を構築する遺伝的アルゴリズム(GA)によって、各RNNを導出する。
本稿では,BNNの近似版としてモンテカルロ(MC)ドロップアウトを用いる。
論文 参考訳（メタデータ） (2023-02-10T22:09:00Z) - Neural Additive Models for Location Scale and Shape: A Framework for
Interpretable Neural Regression Beyond the Mean [1.0923877073891446]
ディープニューラルネットワーク(DNN)は、様々なタスクで非常に効果的であることが証明されている。
この成功にもかかわらず、DNNの内部構造はしばしば透明ではない。
この解釈可能性の欠如は、本質的に解釈可能なニューラルネットワークの研究の増加につながった。
論文 参考訳（メタデータ） (2023-01-27T17:06:13Z) - Physics-Informed Machine Learning of Dynamical Systems for Efficient
Bayesian Inference [0.0]
No-u-turn sampler (NUTS) はベイズ推定法として広く採用されている。
ハミルトンニューラルネットワーク(HNN)は注目に値するアーキテクチャである。
本稿では,HNNを用いてベイズ推定を効率的に行う方法を提案する。
論文 参考訳（メタデータ） (2022-09-19T21:17:23Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳（メタデータ） (2022-04-01T03:31:27Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳（メタデータ） (2020-07-03T01:37:16Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳（メタデータ） (2020-07-02T17:55:47Z) - Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。
このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる
このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
論文 参考訳（メタデータ） (2020-03-13T13:11:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。