Fugu-MT 論文翻訳(概要): Infinitely Deep Bayesian Neural Networks with Stochastic Differential Equations

論文の概要: Infinitely Deep Bayesian Neural Networks with Stochastic Differential Equations

arxiv url: http://arxiv.org/abs/2102.06559v1
Date: Fri, 12 Feb 2021 14:48:58 GMT
ステータス: 処理完了
システム内更新日: 2021-02-15 13:20:55.473852
Title: Infinitely Deep Bayesian Neural Networks with Stochastic Differential Equations
Title（参考訳）: 確率微分方程式を持つ無限深ベイズ型ニューラルネットワーク
Authors: Winnie Xu, Ricky T.Q. Chen, Xuechen Li, David Duvenaud
Abstract要約: 我々は,最近提案された連続深度ニューラルネットワークのファミリーにおいて,スケーラブルな近似推論を行う。我々は勾配に基づく変分推論を示し、任意フレキシブルな近似後部を生成する。このアプローチは、さらにメモリ効率の高いトレーニングとニューラルODEのチューナブルな精度を継承する。
参考スコア（独自算出の注目度）: 37.02511585732081
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We perform scalable approximate inference in a recently-proposed family of continuous-depth Bayesian neural networks. In this model class, uncertainty about separate weights in each layer produces dynamics that follow a stochastic differential equation (SDE). We demonstrate gradient-based stochastic variational inference in this infinite-parameter setting, producing arbitrarily-flexible approximate posteriors. We also derive a novel gradient estimator that approaches zero variance as the approximate posterior approaches the true posterior. This approach further inherits the memory-efficient training and tunable precision of neural ODEs.
Abstract（参考訳）: 我々は,最近提案された連続深度ベイズニューラルネットワーク群において,スケーラブルな近似推定を行う。このモデルクラスでは、各層における分離重みに関する不確実性は確率微分方程式(SDE)に従う力学を生成する。この無限パラメータ設定において、勾配に基づく確率的変分推論を示し、任意にフレキシブルな近似後部を生成する。また、近似的な後方が真の後方に近づくと、ゼロ分散に近づく新しい勾配推定器も導出する。このアプローチは、さらにメモリ効率の高いトレーニングとニューラルODEのチューナブルな精度を継承する。

関連論文リスト

Epistemic Uncertainty and Observation Noise with the Neural Tangent Kernel [12.464924018243988]
近年の研究では、勾配降下による広いニューラルネットワークのトレーニングは、ガウス過程における後部分布の平均を計算することと正式に等価であることが示されている。非ゼロアレタリックノイズに対処する方法を示し, 後部共分散推定器を導出する。
論文参考訳（メタデータ） (2024-09-06T00:34:44Z)
Scalable Bayesian Inference in the Era of Deep Learning: From Gaussian Processes to Deep Neural Networks [0.5827521884806072]
大規模なデータセットでトレーニングされた大規模なニューラルネットワークは、マシンラーニングの主要なパラダイムになっています。この論文は、モデル不確実性を持つニューラルネットワークを装備するためのスケーラブルな手法を開発する。
論文参考訳（メタデータ） (2024-04-29T23:38:58Z)
Noise in the reverse process improves the approximation capabilities of diffusion models [27.65800389807353]
生成モデリングにおける最先端技術であるスコアベース生成モデリング(SGM)では、リバースプロセスは決定論的手法よりも優れた性能を発揮することが知られている。本稿では,ニューラル常微分方程式 (ODE) とニューラルディメンション方程式 (SDE) を逆過程として比較し,この現象の核となる。我々は、Fokker-Planck方程式の軌跡を近似するニューラルSDEの能力を解析し、ニューラルティの利点を明らかにする。
論文参考訳（メタデータ） (2023-12-13T02:39:10Z)
Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。本稿では,直感的に設計を記述し,設計選択について説明する。本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
論文参考訳（メタデータ） (2023-10-31T16:15:13Z)
Scaling Structured Inference with Randomization [64.18063627155128]
本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。我々の手法は古典的DPベースの推論に広く適用できる。また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
論文参考訳（メタデータ） (2021-12-07T11:26:41Z)
A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
論文参考訳（メタデータ） (2020-10-27T17:56:14Z)
Disentangling the Gauss-Newton Method and Approximate Inference for Neural Networks [96.87076679064499]
我々は一般化されたガウスニュートンを解き、ベイズ深層学習の近似推論を行う。ガウス・ニュートン法は基礎となる確率モデルを大幅に単純化する。ガウス過程への接続は、新しい関数空間推論アルゴリズムを可能にする。
論文参考訳（メタデータ） (2020-07-21T17:42:58Z)
Mean-Field Approximation to Gaussian-Softmax Integral with Application to Uncertainty Estimation [23.38076756988258]
ディープニューラルネットワークにおける不確実性を定量化するための,新しい単一モデルに基づくアプローチを提案する。平均場近似式を用いて解析的に難解な積分を計算する。実験的に,提案手法は最先端の手法と比較して競合的に機能する。
論文参考訳（メタデータ） (2020-06-13T07:32:38Z)
Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
論文参考訳（メタデータ） (2020-06-04T21:51:21Z)
Bayesian Neural Network via Stochastic Gradient Descent [0.0]
本稿では,勾配推定手法を用いてベイズニューラルネットワークに勾配推定を適用する方法を示す。我々の研究はベイジアンニューラルネットワークを用いた回帰手法のこれまでの状況を大きく上回っている。
論文参考訳（メタデータ） (2020-06-04T18:33:59Z)
Stochasticity in Neural ODEs: An Empirical Study [68.8204255655161]
ニューラルネットワークの正規化(ドロップアウトなど)は、より高度な一般化を可能にするディープラーニングの広範な技術である。トレーニング中のデータ拡張は、同じモデルの決定論的およびバージョンの両方のパフォーマンスを向上させることを示す。しかし、データ拡張によって得られる改善により、経験的正規化の利得は完全に排除され、ニューラルODEとニューラルSDEの性能は無視される。
論文参考訳（メタデータ） (2020-02-22T22:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。