Fugu-MT 論文翻訳(概要): An Overview of Uncertainty Quantification Methods for Infinite Neural Networks

論文の概要: An Overview of Uncertainty Quantification Methods for Infinite Neural Networks

arxiv url: http://arxiv.org/abs/2201.04746v1
Date: Thu, 13 Jan 2022 00:03:22 GMT
ステータス: 処理完了
システム内更新日: 2022-01-15 02:07:20.068202
Title: An Overview of Uncertainty Quantification Methods for Infinite Neural Networks
Title（参考訳）: 無限ニューラルネットワークの不確実性定量化法の概要
Authors: Florian Juengermann, Maxime Laasri, Marius Merkle
Abstract要約: 無限幅ニューラルネットワークにおける不確実性を定量化する手法について検討する。我々は、予測の不確実性に対する厳密な閉形式解を得るために、いくつかの等価結果を利用する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: To better understand the theoretical behavior of large neural networks, several works have analyzed the case where a network's width tends to infinity. In this regime, the effect of random initialization and the process of training a neural network can be formally expressed with analytical tools like Gaussian processes and neural tangent kernels. In this paper, we review methods for quantifying uncertainty in such infinite-width neural networks and compare their relationship to Gaussian processes in the Bayesian inference framework. We make use of several equivalence results along the way to obtain exact closed-form solutions for predictive uncertainty.
Abstract（参考訳）: 大規模ニューラルネットワークの理論的挙動をよりよく理解するために、ネットワークの幅が無限大になる傾向にあるケースを分析する研究がいくつかある。この方法では、ランダム初期化の効果とニューラルネットワークのトレーニングプロセスは、ガウス過程や神経接核のような分析ツールで正式に表現することができる。本稿では,このような無限幅ニューラルネットワークにおける不確かさの定量化手法を概説し,ベイズ推定フレームワークにおけるガウス過程との比較を行う。我々は、予測の不確実性に対する正確な閉形式解を得るために、いくつかの等価結果を利用する。

関連論文リスト

Finite Neural Networks as Mixtures of Gaussian Processes: From Provable Error Bounds to Prior Selection [11.729744197698718]
有限幅と深さのニューラルネットワークを近似するアルゴリズム的枠組みを提案する。ニューラルネットワークの各層の出力分布をガウス過程の混合として反復的に近似する。我々の結果は、ニューラルネットワークの予測を理解するための重要なステップである。
論文参考訳（メタデータ） (2024-07-26T12:45:53Z)
An Analytic Solution to Covariance Propagation in Neural Networks [10.013553984400488]
本稿では,ニューラルネットワークの入出力分布を正確に特徴付けるために,サンプルフリーモーメント伝搬法を提案する。この手法の鍵となる有効性は、非線形活性化関数を通した確率変数の共分散に対する解析解である。学習ニューラルネットワークの入力出力分布を分析し,ベイズニューラルネットワークを訓練する実験において,提案手法の適用性およびメリットを示す。
論文参考訳（メタデータ） (2024-03-24T14:08:24Z)
Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文参考訳（メタデータ） (2024-03-18T18:01:01Z)
On the Convergence of Locally Adaptive and Scalable Diffusion-Based Sampling Methods for Deep Bayesian Neural Network Posteriors [2.3265565167163906]
ベイズニューラルネットワークは、ディープニューラルネットワークにおける不確実性をモデル化するための有望なアプローチである。ニューラルネットワークの後部分布からサンプルを生成することは大きな課題ですこの方向の進歩の1つは、モンテカルロ・マルコフ連鎖サンプリングアルゴリズムへの適応的なステップサイズの導入である。本稿では,これらの手法が,ステップサイズやバッチサイズが小さくても,サンプリングした分布にかなりの偏りがあることを実証する。
論文参考訳（メタデータ） (2024-03-13T15:21:14Z)
Semantic Strengthening of Neuro-Symbolic Learning [85.6195120593625]
ニューロシンボリックアプローチは一般に確率論的目的のファジィ近似を利用する。トラクタブル回路において,これを効率的に計算する方法を示す。我々は,Warcraftにおける最小コストパスの予測,最小コスト完全マッチングの予測,スドクパズルの解法という3つの課題に対して,アプローチを検証した。
論文参考訳（メタデータ） (2023-02-28T00:04:22Z)
Simple initialization and parametrization of sinusoidal networks via their kernel bandwidth [92.25666446274188]
従来の活性化機能を持つネットワークの代替として、活性化を伴う正弦波ニューラルネットワークが提案されている。まず,このような正弦波ニューラルネットワークの簡易版を提案する。次に、ニューラルタンジェントカーネルの観点からこれらのネットワークの挙動を分析し、そのカーネルが調整可能な帯域幅を持つ低域フィルタを近似することを実証する。
論文参考訳（メタデータ） (2022-11-26T07:41:48Z)
Stochastic Neural Networks with Infinite Width are Deterministic [7.07065078444922]
使用中のニューラルネットワークの主要なタイプであるニューラルネットワークについて研究する。最適化されたニューラルネットワークの幅が無限大になる傾向があるため、トレーニングセットの予測分散はゼロになる。
論文参考訳（メタデータ） (2022-01-30T04:52:31Z)
Multivariate Deep Evidential Regression [77.34726150561087]
不確実性を認識するニューラルネットワークによる新しいアプローチは、従来の決定論的手法よりも有望である。本稿では,レグレッションベースニューラルネットワークからアレータ性およびてんかん性不確かさを抽出する手法を提案する。
論文参考訳（メタデータ） (2021-04-13T12:20:18Z)
The Ridgelet Prior: A Covariance Function Approach to Prior Specification for Bayesian Neural Networks [4.307812758854161]
ネットワークの出力空間における擬似ガウス過程を近似したネットワークのパラメータに対する事前分布を構築する。これにより、ベイズニューラルネットワークが共分散関数が十分正則である任意のガウス過程を近似できるという性質が確立される。
論文参考訳（メタデータ） (2020-10-16T16:39:45Z)
Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
論文参考訳（メタデータ） (2020-07-31T01:57:47Z)
Generalization bound of globally optimal non-convex neural network training: Transportation map estimation by infinite dimensional Langevin dynamics [50.83356836818667]
本稿では,ディープラーニングの最適化を一般化誤差と関連づけて解析する理論フレームワークを提案する。ニューラルネットワーク最適化分析のための平均場理論やニューラル・タンジェント・カーネル理論のような既存のフレームワークは、そのグローバル収束を示すために、ネットワークの無限幅の限界を取る必要がある。
論文参考訳（メタデータ） (2020-07-11T18:19:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。