論文の概要: Precise characterization of the prior predictive distribution of deep ReLU networks

• arxiv url: http://arxiv.org/abs/2106.06615v1
• Date: Fri, 11 Jun 2021 21:21:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-15 15:52:49.522255
• Title: Precise characterization of the prior predictive distribution of deep ReLU networks
• Title（参考訳）: 深部ReLUネットワークの事前予測分布の高精度評価
• Authors: Lorenzo Noci, Gregor Bachmann, Kevin Roth, Sebastian Nowozin, Thomas Hofmann
• Abstract要約: ガウス重み付き有限幅ReLUネットワークの事前予測分布を正確に推定する。 この結果は,例えば,ネットワークの重みについて,深さと幅にインフォームドされた事前の予測分散を制御するなど,事前設計に関する貴重なガイダンスを提供する。
• 参考スコア（独自算出の注目度）: 45.46732383818331
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent works on Bayesian neural networks (BNNs) have highlighted the need to better understand the implications of using Gaussian priors in combination with the compositional structure of the network architecture. Similar in spirit to the kind of analysis that has been developed to devise better initialization schemes for neural networks (cf. He- or Xavier initialization), we derive a precise characterization of the prior predictive distribution of finite-width ReLU networks with Gaussian weights. While theoretical results have been obtained for their heavy-tailedness, the full characterization of the prior predictive distribution (i.e. its density, CDF and moments), remained unknown prior to this work. Our analysis, based on the Meijer-G function, allows us to quantify the influence of architectural choices such as the width or depth of the network on the resulting shape of the prior predictive distribution. We also formally connect our results to previous work in the infinite width setting, demonstrating that the moments of the distribution converge to those of a normal log-normal mixture in the infinite depth limit. Finally, our results provide valuable guidance on prior design: for instance, controlling the predictive variance with depth- and width-informed priors on the weights of the network.
• Abstract（参考訳）: ベイジアンニューラルネットワーク(BNN)に関する最近の研究は、ネットワークアーキテクチャの構成構造と組み合わせて、ガウス事前の使用の意味をよりよく理解する必要性を強調している。 ニューラルネットワーク(cf)のより良い初期化スキームを考案するために開発された分析の精神と類似している。 he または xavier 初期化) はガウス重みを持つ有限幅 relu ネットワークの事前予測分布の正確なキャラクタリゼーションを導出する。 重み付けの理論的結果が得られたが、事前の予測分布(すなわち予測分布)の完全な特徴は明らかである。 その密度、CDF、モーメント)は、この研究以前には分かっていなかった。 我々の解析は,Meijer-G関数に基づいて,ネットワークの幅や深さなどのアーキテクチャ選択が,事前予測分布の結果の形状に与える影響を定量化することができる。 また, 無限幅設定では, 分布のモーメントが無限深さ極限における正規対数正規混合のモーメントに収束することを示した。 最後に,ネットワークの重みに対する深さおよび幅インフォームドによる予測分散の制御など,事前設計に関する貴重なガイダンスを提供する。

関連論文リスト

• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
  ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。 線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。 また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
  論文  参考訳（メタデータ） (2022-12-29T20:57:46Z)
• Bayesian neural network priors for edge-preserving inversion [3.2046720177804646]
  重み付きニューラルネットワークの出力に基づく事前分布のクラスを導入する。 ネットワーク幅が有限である場合でも,そのような先行する標本は不連続な性質が望ましいことを理論的に示す。
  論文  参考訳（メタデータ） (2021-12-20T16:39:05Z)
• Layer Adaptive Node Selection in Bayesian Neural Networks: Statistical Guarantees and Implementation Details [0.5156484100374059]
  スパースディープニューラルネットワークは、大規模研究において予測モデル構築に効率的であることが証明されている。 本稿では,スパイク・アンド・スラブ型ガウス先行法を用いて,訓練中のノード選択を可能にするベイズスパース解を提案する。 本研究は, 先行パラメータのキャラクタリゼーションとともに, 変動的後続一貫性の基本的な結果を確立する。
  論文  参考訳（メタデータ） (2021-08-25T00:48:07Z)
• BNNpriors: A library for Bayesian neural network inference with different prior distributions [32.944046414823916]
  bnnpriorsはベイズニューラルネットワーク上で最先端のマルコフ連鎖モンテカルロ推論を可能にする。 これは、新しいカスタムプリエントの設計と実装を容易にするモジュラーアプローチに従っている。 ベイズ系ニューラルネットワークにおける冷後効果の性質に関する基礎的発見を容易にした。
  論文  参考訳（メタデータ） (2021-05-14T17:11:04Z)
• The Ridgelet Prior: A Covariance Function Approach to Prior Specification for Bayesian Neural Networks [4.307812758854161]
  ネットワークの出力空間における擬似ガウス過程を近似したネットワークのパラメータに対する事前分布を構築する。 これにより、ベイズニューラルネットワークが共分散関数が十分正則である任意のガウス過程を近似できるという性質が確立される。
  論文  参考訳（メタデータ） (2020-10-16T16:39:45Z)
• Structured Weight Priors for Convolutional Neural Networks [74.1348917619643]
  本稿では,重み前への構造付加の利点について考察する。 まず、畳み込みNNの第1層フィルタについて検討し、ランダムなガボルフィルタに基づいて事前設計を行う。 実験結果から、これらの構造的な重み付けは、画像データに対してより意味のある機能的先行をもたらすことが示唆された。
  論文  参考訳（メタデータ） (2020-07-12T13:05:51Z)
• Bayesian Deep Ensembles via the Neural Tangent Kernel [49.569912265882124]
  我々は、ニューラルタンジェントカーネル(NTK)のレンズを通して、ディープアンサンブルとガウス過程(GP)の関連を探索する。 そこで本研究では,各アンサンブルメンバーに対して,計算可能でランダム化され,訓練不能な関数を追加することで,標準的なディープアンサンブルトレーニングに簡単な修正を加える。 我々はベイズ深部アンサンブルが無限幅極限における標準深部アンサンブルよりも保守的な予測を行うことを証明した。
  論文  参考訳（メタデータ） (2020-07-11T22:10:52Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。