論文の概要: Global inducing point variational posteriors for Bayesian neural
networks and deep Gaussian processes
- arxiv url: http://arxiv.org/abs/2005.08140v5
- Date: Tue, 22 Jun 2021 13:39:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-02 05:18:53.239067
- Title: Global inducing point variational posteriors for Bayesian neural
networks and deep Gaussian processes
- Title(参考訳): ベイズニューラルネットワークと深いガウス過程に対する大域的変分後処理
- Authors: Sebastian W. Ober, Laurence Aitchison
- Abstract要約: ベイズニューラルネットワークのすべての層における重みを近似的に近似的に後向きに展開する。
このアプローチを深いガウス過程に拡張し、2つのモデルクラスにおける推論を統一する。
- 参考スコア(独自算出の注目度): 38.79834570417554
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider the optimal approximate posterior over the top-layer weights in a
Bayesian neural network for regression, and show that it exhibits strong
dependencies on the lower-layer weights. We adapt this result to develop a
correlated approximate posterior over the weights at all layers in a Bayesian
neural network. We extend this approach to deep Gaussian processes, unifying
inference in the two model classes. Our approximate posterior uses learned
"global" inducing points, which are defined only at the input layer and
propagated through the network to obtain inducing inputs at subsequent layers.
By contrast, standard, "local", inducing point methods from the deep Gaussian
process literature optimise a separate set of inducing inputs at every layer,
and thus do not model correlations across layers. Our method gives
state-of-the-art performance for a variational Bayesian method, without data
augmentation or tempering, on CIFAR-10 of 86.7%, which is comparable to SGMCMC
without tempering but with data augmentation (88% in Wenzel et al. 2020).
- Abstract(参考訳): 本研究では,重回帰のためのベイズ型ニューラルネットワークにおける最上層重みの最適近似後向きを考察し,下層重みに対する強い依存を示すことを示した。
我々はこの結果を用いて,ベイズ型ニューラルネットワークの全ての層における重みの相関近似近似を導出する。
このアプローチを深いガウス過程に拡張し、2つのモデルクラスにおける推論を統一する。
筆者らは学習した「グローバル」誘導点を用いて,入力層でのみ定義し,ネットワークを介して伝播し,その後の層で入力を誘導する。
対照的に、ディープガウス過程の文献から「局所的」な点法を誘導する標準は、各層における入力を誘導する別個の集合を最適化するので、層間の相関をモデル化しない。
本手法は,データ拡張やテンパリングを伴わない変分ベイズ法に対して,テンパリングのないsgmcmcに匹敵する86.7%のcifar-10で最新性能を与える(wenzel et al. 2020 では88%)。
関連論文リスト
- Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。
単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。
これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文 参考訳(メタデータ) (2023-07-20T13:34:11Z) - Layer-wise Linear Mode Connectivity [56.53308504862033]
ニューラルネットワークパラメータの平均化は、2つの独立したモデルの知識を融合させる直感的な方法である。
私たちは、単一グループやグループを平均化するモデルの性能を分析します。
論文 参考訳(メタデータ) (2023-07-13T09:39:10Z) - A Bootstrap Algorithm for Fast Supervised Learning [0.0]
ニューラルネットワーク(NN)のトレーニングは通常、勾配降下(および勾配降下(SGD))、ADADELTA、ADAM、制限メモリアルゴリズムなど、ある種の曲線追従手法に依存する。
これらのアルゴリズムの収束は通常、高いレベルの精度を達成するために大量の観測にアクセスできることに依存しており、特定の種類の関数で、これらのアルゴリズムはキャッチするデータポイントの複数のエポックを取ることができる。
ここでは、収束速度が劇的に向上する可能性を秘めている別の手法を探求する: カーブフォローではなく、隠れた層を「疎結合」することなどに依存する。
論文 参考訳(メタデータ) (2023-05-04T18:28:18Z) - WLD-Reg: A Data-dependent Within-layer Diversity Regularizer [98.78384185493624]
ニューラルネットワークは、勾配に基づく最適化と共同で訓練された階層構造に配置された複数の層で構成されている。
我々は、この従来の「中間層」フィードバックを補うために、同じ層内での活性化の多様性を促進するために、追加の「中間層」フィードバックを補うことを提案する。
本稿では,提案手法が複数のタスクにおける最先端ニューラルネットワークモデルの性能を向上させることを実証した広範な実証研究を提案する。
論文 参考訳(メタデータ) (2023-01-03T20:57:22Z) - Optimization-Based Separations for Neural Networks [57.875347246373956]
本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。
これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
論文 参考訳(メタデータ) (2021-12-04T18:07:47Z) - Scale Mixtures of Neural Network Gaussian Processes [22.07524388784668]
我々は、末層パラメータのスケールに先行する$mathrmNNGP$のスケール混合を導入する。
ある種のスケールの先行で重み付きプロセスが得られ、逆ガンマ分布の場合、学生の$t$プロセスが復元されることを示す。
さらに、ニューラルネットワークを事前設定で分析し、勾配降下を訓練し、$mathrmNNGP$と同じような結果を得る。
論文 参考訳(メタデータ) (2021-07-03T11:02:18Z) - Infinitely Deep Bayesian Neural Networks with Stochastic Differential
Equations [37.02511585732081]
我々は,最近提案された連続深度ニューラルネットワークのファミリーにおいて,スケーラブルな近似推論を行う。
我々は勾配に基づく変分推論を示し、任意フレキシブルな近似後部を生成する。
このアプローチは、さらにメモリ効率の高いトレーニングとニューラルODEのチューナブルな精度を継承する。
論文 参考訳(メタデータ) (2021-02-12T14:48:58Z) - Measurement error models: from nonparametric methods to deep neural
networks [3.1798318618973362]
本稿では,測定誤差モデルの推定に有効なニューラルネットワーク設計を提案する。
完全に接続されたフィードフォワードニューラルネットワークを用いて回帰関数を$f(x)$に近似する。
我々は、ニューラルネットワークアプローチと古典的ノンパラメトリック手法を比較するために、広範囲にわたる数値的研究を行っている。
論文 参考訳(メタデータ) (2020-07-15T06:05:37Z) - A block coordinate descent optimizer for classification problems
exploiting convexity [0.0]
隠れ層の重み付けにおけるクロスエントロピー損失の凸性を利用した分類タスクのためのディープ線形ネットワークに座標降下法を導入する。
線形層に対する大域的最適パラメータと隠蔽層への勾配勾配を求める2次法とを交互に組み合わせることで、トレーニング全体を通してデータに対する適応基底の最適適合性を確保する。
論文 参考訳(メタデータ) (2020-06-17T19:49:06Z) - MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。
グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。
確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
論文 参考訳(メタデータ) (2020-01-28T18:25:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。