論文の概要: An Overview of Uncertainty Quantification Methods for Infinite Neural
Networks
- arxiv url: http://arxiv.org/abs/2201.04746v1
- Date: Thu, 13 Jan 2022 00:03:22 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-15 02:07:20.068202
- Title: An Overview of Uncertainty Quantification Methods for Infinite Neural
Networks
- Title(参考訳): 無限ニューラルネットワークの不確実性定量化法の概要
- Authors: Florian Juengermann, Maxime Laasri, Marius Merkle
- Abstract要約: 無限幅ニューラルネットワークにおける不確実性を定量化する手法について検討する。
我々は、予測の不確実性に対する厳密な閉形式解を得るために、いくつかの等価結果を利用する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: To better understand the theoretical behavior of large neural networks,
several works have analyzed the case where a network's width tends to infinity.
In this regime, the effect of random initialization and the process of training
a neural network can be formally expressed with analytical tools like Gaussian
processes and neural tangent kernels. In this paper, we review methods for
quantifying uncertainty in such infinite-width neural networks and compare
their relationship to Gaussian processes in the Bayesian inference framework.
We make use of several equivalence results along the way to obtain exact
closed-form solutions for predictive uncertainty.
- Abstract(参考訳): 大規模ニューラルネットワークの理論的挙動をよりよく理解するために、ネットワークの幅が無限大になる傾向にあるケースを分析する研究がいくつかある。
この方法では、ランダム初期化の効果とニューラルネットワークのトレーニングプロセスは、ガウス過程や神経接核のような分析ツールで正式に表現することができる。
本稿では,このような無限幅ニューラルネットワークにおける不確かさの定量化手法を概説し,ベイズ推定フレームワークにおけるガウス過程との比較を行う。
我々は、予測の不確実性に対する正確な閉形式解を得るために、いくつかの等価結果を利用する。
関連論文リスト
- On the Convergence of Locally Adaptive and Scalable Diffusion-Based Sampling Methods for Deep Bayesian Neural Network Posteriors [2.3265565167163906]
ベイズニューラルネットワークは、ディープニューラルネットワークにおける不確実性をモデル化するための有望なアプローチである。
ニューラルネットワークの 後部分布からサンプルを生成することは 大きな課題です
この方向の進歩の1つは、モンテカルロ・マルコフ連鎖サンプリングアルゴリズムへの適応的なステップサイズの導入である。
本稿では,これらの手法が,ステップサイズやバッチサイズが小さくても,サンプリングした分布にかなりの偏りがあることを実証する。
論文 参考訳(メタデータ) (2024-03-13T15:21:14Z) - Guaranteed Quantization Error Computation for Neural Network Model
Compression [2.610470075814367]
ニューラルネットワークモデル圧縮技術は、産業システムの組み込みデバイス上でのディープニューラルネットワークの計算問題に対処することができる。
統合されたニューラルネットワークは、フィードフォワードニューラルネットワークとその量子化されたバージョンから構築され、2つのニューラルネットワーク間の正確な出力差を生成する。
論文 参考訳(メタデータ) (2023-04-26T20:21:54Z) - Semantic Strengthening of Neuro-Symbolic Learning [85.6195120593625]
ニューロシンボリックアプローチは一般に確率論的目的のファジィ近似を利用する。
トラクタブル回路において,これを効率的に計算する方法を示す。
我々は,Warcraftにおける最小コストパスの予測,最小コスト完全マッチングの予測,スドクパズルの解法という3つの課題に対して,アプローチを検証した。
論文 参考訳(メタデータ) (2023-02-28T00:04:22Z) - Simple initialization and parametrization of sinusoidal networks via
their kernel bandwidth [92.25666446274188]
従来の活性化機能を持つネットワークの代替として、活性化を伴う正弦波ニューラルネットワークが提案されている。
まず,このような正弦波ニューラルネットワークの簡易版を提案する。
次に、ニューラルタンジェントカーネルの観点からこれらのネットワークの挙動を分析し、そのカーネルが調整可能な帯域幅を持つ低域フィルタを近似することを実証する。
論文 参考訳(メタデータ) (2022-11-26T07:41:48Z) - NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural
Networks [151.03112356092575]
本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。
種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
論文 参考訳(メタデータ) (2022-02-07T12:30:45Z) - Stochastic Neural Networks with Infinite Width are Deterministic [7.07065078444922]
使用中のニューラルネットワークの主要なタイプであるニューラルネットワークについて研究する。
最適化されたニューラルネットワークの幅が無限大になる傾向があるため、トレーニングセットの予測分散はゼロになる。
論文 参考訳(メタデータ) (2022-01-30T04:52:31Z) - Multivariate Deep Evidential Regression [77.34726150561087]
不確実性を認識するニューラルネットワークによる新しいアプローチは、従来の決定論的手法よりも有望である。
本稿では,レグレッションベースニューラルネットワークからアレータ性およびてんかん性不確かさを抽出する手法を提案する。
論文 参考訳(メタデータ) (2021-04-13T12:20:18Z) - Proof of the Theory-to-Practice Gap in Deep Learning via Sampling
Complexity bounds for Neural Network Approximation Spaces [5.863264019032882]
関数の近似化や積分に基づく(決定的あるいはランダム化)アルゴリズムの計算複雑性について検討する。
この分野における最も重要な問題の1つは、理論的に証明可能なニューラルネットワーク近似率を実現できるかどうかという問題である。
論文 参考訳(メタデータ) (2021-04-06T18:55:20Z) - The Ridgelet Prior: A Covariance Function Approach to Prior
Specification for Bayesian Neural Networks [4.307812758854161]
ネットワークの出力空間における擬似ガウス過程を近似したネットワークのパラメータに対する事前分布を構築する。
これにより、ベイズニューラルネットワークが共分散関数が十分正則である任意のガウス過程を近似できるという性質が確立される。
論文 参考訳(メタデータ) (2020-10-16T16:39:45Z) - Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。
中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。
重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
論文 参考訳(メタデータ) (2020-07-31T01:57:47Z) - Generalization bound of globally optimal non-convex neural network
training: Transportation map estimation by infinite dimensional Langevin
dynamics [50.83356836818667]
本稿では,ディープラーニングの最適化を一般化誤差と関連づけて解析する理論フレームワークを提案する。
ニューラルネットワーク最適化分析のための平均場理論やニューラル・タンジェント・カーネル理論のような既存のフレームワークは、そのグローバル収束を示すために、ネットワークの無限幅の限界を取る必要がある。
論文 参考訳(メタデータ) (2020-07-11T18:19:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。