Fugu-MT 論文翻訳(概要): Infinitely Deep Bayesian Neural Networks with Stochastic Differential Equations

論文の概要: Infinitely Deep Bayesian Neural Networks with Stochastic Differential Equations

arxiv url: http://arxiv.org/abs/2102.06559v1
Date: Fri, 12 Feb 2021 14:48:58 GMT
ステータス: 処理完了
システム内更新日: 2021-02-15 13:20:55.473852
Title: Infinitely Deep Bayesian Neural Networks with Stochastic Differential Equations
Title（参考訳）: 確率微分方程式を持つ無限深ベイズ型ニューラルネットワーク
Authors: Winnie Xu, Ricky T.Q. Chen, Xuechen Li, David Duvenaud
Abstract要約: 我々は,最近提案された連続深度ニューラルネットワークのファミリーにおいて,スケーラブルな近似推論を行う。我々は勾配に基づく変分推論を示し、任意フレキシブルな近似後部を生成する。このアプローチは、さらにメモリ効率の高いトレーニングとニューラルODEのチューナブルな精度を継承する。
参考スコア（独自算出の注目度）: 37.02511585732081
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We perform scalable approximate inference in a recently-proposed family of continuous-depth Bayesian neural networks. In this model class, uncertainty about separate weights in each layer produces dynamics that follow a stochastic differential equation (SDE). We demonstrate gradient-based stochastic variational inference in this infinite-parameter setting, producing arbitrarily-flexible approximate posteriors. We also derive a novel gradient estimator that approaches zero variance as the approximate posterior approaches the true posterior. This approach further inherits the memory-efficient training and tunable precision of neural ODEs.
Abstract（参考訳）: 我々は,最近提案された連続深度ベイズニューラルネットワーク群において,スケーラブルな近似推定を行う。このモデルクラスでは、各層における分離重みに関する不確実性は確率微分方程式(SDE)に従う力学を生成する。この無限パラメータ設定において、勾配に基づく確率的変分推論を示し、任意にフレキシブルな近似後部を生成する。また、近似的な後方が真の後方に近づくと、ゼロ分散に近づく新しい勾配推定器も導出する。このアプローチは、さらにメモリ効率の高いトレーニングとニューラルODEのチューナブルな精度を継承する。

関連論文リスト

Variational Laplace Autoencoders [53.08170674326728]
変分オートエンコーダは、遅延変数の後部を近似するために、償却推論モデルを用いる。完全分解ガウス仮定の限定的後部表現性に対処する新しい手法を提案する。また、深部生成モデルのトレーニングのための変分ラプラスオートエンコーダ(VLAE)という一般的なフレームワークも提示する。
論文参考訳（メタデータ） (2022-11-30T18:59:27Z)
Scaling Structured Inference with Randomization [64.18063627155128]
本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。我々の手法は古典的DPベースの推論に広く適用できる。また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
論文参考訳（メタデータ） (2021-12-07T11:26:41Z)
Variational Laplace for Bayesian neural networks [25.055754094939527]
Variational Laplaceは、ニューラルネットワークの重みをサンプリングすることなく、ELBOを推定する可能性の局所近似を利用する。分散パラメータの学習率を増加させることで早期停止を回避できることを示す。
論文参考訳（メタデータ） (2021-02-27T14:06:29Z)
A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
論文参考訳（メタデータ） (2020-10-27T17:56:14Z)
Disentangling the Gauss-Newton Method and Approximate Inference for Neural Networks [96.87076679064499]
我々は一般化されたガウスニュートンを解き、ベイズ深層学習の近似推論を行う。ガウス・ニュートン法は基礎となる確率モデルを大幅に単純化する。ガウス過程への接続は、新しい関数空間推論アルゴリズムを可能にする。
論文参考訳（メタデータ） (2020-07-21T17:42:58Z)
Mean-Field Approximation to Gaussian-Softmax Integral with Application to Uncertainty Estimation [23.38076756988258]
ディープニューラルネットワークにおける不確実性を定量化するための,新しい単一モデルに基づくアプローチを提案する。平均場近似式を用いて解析的に難解な積分を計算する。実験的に,提案手法は最先端の手法と比較して競合的に機能する。
論文参考訳（メタデータ） (2020-06-13T07:32:38Z)
Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
論文参考訳（メタデータ） (2020-06-04T21:51:21Z)
Bayesian Neural Network via Stochastic Gradient Descent [0.0]
本稿では,勾配推定手法を用いてベイズニューラルネットワークに勾配推定を適用する方法を示す。我々の研究はベイジアンニューラルネットワークを用いた回帰手法のこれまでの状況を大きく上回っている。
論文参考訳（メタデータ） (2020-06-04T18:33:59Z)
Generalized Gumbel-Softmax Gradient Estimator for Various Discrete Random Variables [16.643346012854156]
ノードの勾配を評価することは、深層生成モデリングコミュニティにおいて重要な研究課題の1つである。本稿では,連続緩和を伴うGumbel-Softmax推定器の一般バージョンを提案する。
論文参考訳（メタデータ） (2020-03-04T01:13:15Z)
Stochasticity in Neural ODEs: An Empirical Study [68.8204255655161]
ニューラルネットワークの正規化(ドロップアウトなど)は、より高度な一般化を可能にするディープラーニングの広範な技術である。トレーニング中のデータ拡張は、同じモデルの決定論的およびバージョンの両方のパフォーマンスを向上させることを示す。しかし、データ拡張によって得られる改善により、経験的正規化の利得は完全に排除され、ニューラルODEとニューラルSDEの性能は無視される。
論文参考訳（メタデータ） (2020-02-22T22:12:56Z)
The k-tied Normal Distribution: A Compact Parameterization of Gaussian Mean Field Posteriors in Bayesian Neural Networks [46.677567663908185]
変分ベイズ推論は、ベイズニューラルネットワークの重み付けを近似する一般的な手法である。最近の研究は、性能向上を期待して、近似後部のよりリッチなパラメータ化を探求している。これらの変動パラメータを低ランク因子化に分解することにより、モデルの性能を低下させることなく変動近似をよりコンパクトにすることができる。
論文参考訳（メタデータ） (2020-02-07T07:33:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。