論文の概要: Variational Inference for Infinitely Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2209.10091v1
- Date: Wed, 21 Sep 2022 03:54:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-22 15:32:23.113372
- Title: Variational Inference for Infinitely Deep Neural Networks
- Title（参考訳）: 無限深層ニューラルネットワークの変分推論
- Authors: Achille Nazaret, David Blei
- Abstract要約: 非有界深度ニューラルネットワーク(UDN)
我々は、無限に深い確率モデルである非有界深度ニューラルネットワーク(UDN)を導入し、その複雑さをトレーニングデータに適用する。
我々はUDNを実データと合成データに基づいて研究する。
- 参考スコア（独自算出の注目度）: 0.4061135251278187
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce the unbounded depth neural network (UDN), an infinitely deep
probabilistic model that adapts its complexity to the training data. The UDN
contains an infinite sequence of hidden layers and places an unbounded prior on
a truncation L, the layer from which it produces its data. Given a dataset of
observations, the posterior UDN provides a conditional distribution of both the
parameters of the infinite neural network and its truncation. We develop a
novel variational inference algorithm to approximate this posterior, optimizing
a distribution of the neural network weights and of the truncation depth L, and
without any upper limit on L. To this end, the variational family has a special
structure: it models neural network weights of arbitrary depth, and it
dynamically creates or removes free variational parameters as its distribution
of the truncation is optimized. (Unlike heuristic approaches to model search,
it is solely through gradient-based optimization that this algorithm explores
the space of truncations.) We study the UDN on real and synthetic data. We find
that the UDN adapts its posterior depth to the dataset complexity; it
outperforms standard neural networks of similar computational complexity; and
it outperforms other approaches to infinite-depth neural networks.
- Abstract（参考訳）: 我々は,その複雑性をトレーニングデータに適用する無限に深い確率モデルであるunbounded depth neural network (udn)を導入する。
UDNは無限に隠された層の列を含み、そのデータを生成する層であるトランケーションLに非有界を配置する。
観測のデータセットが与えられた後部UDNは、無限ニューラルネットワークのパラメータとその切り離しの条件分布を提供する。
本稿では,ニューラルネットワークの重みと切断深さlの分布を最適化し,lの上限を満たさない新しい変動推論アルゴリズムを開発した。この目的のために,変動関数は,任意の深さのニューラルネットワーク重みをモデル化し,切断の分布を最適化した自由変動パラメータを動的に生成・除去する,という特殊な構造を持つ。
(モデル探索に対するヒューリスティックなアプローチとは異なり、このアルゴリズムが切断の空間を探索するのは勾配に基づく最適化のみである。)
我々はUDNを実データと合成データに基づいて研究する。
UDNはその奥深くをデータセットの複雑さに適応し、類似の計算複雑性を持つ標準的なニューラルネットワークよりも優れ、無限深度ニューラルネットワークに対する他のアプローチよりも優れています。
関連論文リスト
- Scalable Bayesian Inference in the Era of Deep Learning: From Gaussian Processes to Deep Neural Networks [0.5827521884806072]
大規模なデータセットでトレーニングされた大規模なニューラルネットワークは、マシンラーニングの主要なパラダイムになっています。
この論文は、モデル不確実性を持つニューラルネットワークを装備するためのスケーラブルな手法を開発する。
論文 参考訳（メタデータ） (2024-04-29T23:38:58Z) - Deeper or Wider: A Perspective from Optimal Generalization Error with Sobolev Loss [2.07180164747172]
より深いニューラルネットワーク(DeNN)と、柔軟な数のレイヤと、限られた隠れたレイヤを持つより広いニューラルネットワーク(WeNN)を比較します。
より多くのパラメータがWeNNを好む傾向にあるのに対し、サンプルポイントの増加と損失関数の規則性の向上は、DeNNの採用に傾いている。
論文 参考訳（メタデータ） (2024-01-31T20:10:10Z) - Spike-and-slab shrinkage priors for structurally sparse Bayesian neural networks [0.16385815610837165]
スパースディープラーニングは、基礎となるターゲット関数のスパース表現を復元することで、課題に対処する。
構造化された空間によって圧縮されたディープニューラルアーキテクチャは、低レイテンシ推論、データスループットの向上、エネルギー消費の削減を提供する。
本研究では, (i) Spike-and-Slab Group Lasso (SS-GL) と (ii) Spike-and-Slab Group Horseshoe (SS-GHS) を併用した過剰ノードを誘発する構造的疎いベイズニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2023-08-17T17:14:18Z) - Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。
単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。
これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文 参考訳（メタデータ） (2023-07-20T13:34:11Z) - Over-parameterised Shallow Neural Networks with Asymmetrical Node
Scaling: Global Convergence Guarantees and Feature Learning [23.47570704524471]
我々は,各隠れノードの出力を正のパラメータでスケールする勾配流による大規模および浅層ニューラルネットワークの最適化を検討する。
大規模なニューラルネットワークでは、高い確率で勾配流がグローバルな最小限に収束し、NTK体制とは異なり、特徴を学習できることを実証する。
論文 参考訳（メタデータ） (2023-02-02T10:40:06Z) - Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。
線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。
また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
論文 参考訳（メタデータ） (2022-12-29T20:57:46Z) - Non-Gradient Manifold Neural Network [79.44066256794187]
ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。
非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2021-06-15T06:39:13Z) - Convergence rates for gradient descent in the training of
overparameterized artificial neural networks with biases [3.198144010381572]
近年、人工ニューラルネットワークは、古典的なソリューションが近づいている多数の問題に対処するための強力なツールに発展しています。
ランダムな勾配降下アルゴリズムが限界に達する理由はまだ不明である。
論文 参考訳（メタデータ） (2021-02-23T18:17:47Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳（メタデータ） (2020-07-03T01:37:16Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z) - MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。
グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。
確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
論文 参考訳（メタデータ） (2020-01-28T18:25:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。