論文の概要: Wide Neural Networks with Bottlenecks are Deep Gaussian Processes

• arxiv url: http://arxiv.org/abs/2001.00921v3
• Date: Mon, 6 Jul 2020 16:17:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-14 17:38:21.313015
• Title: Wide Neural Networks with Bottlenecks are Deep Gaussian Processes
• Title（参考訳）: ボトルネックを持つ広いニューラルネットワークは深いガウス過程である
• Authors: Devanshu Agrawal, Theodore Papamarkou, Jacob Hinkle
• Abstract要約: ボトルネック(bottleneck)と呼ばれる隠された層が有限の幅で保持されるBNNの幅の限界を考える。 直観的ではあるが、証明の微妙さは、ネットワークの構成の広い極限が実際は制限GPの構成であることを示すことである。 また、理論上はシングルブートネックNNGPの解析を行い、このボトルネックは、極端にブートネック後の深さを持続するマルチアウトプットネットワークの出力間の依存性を誘導することを示した。
• 参考スコア（独自算出の注目度）: 2.6641834518599308
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: There has recently been much work on the "wide limit" of neural networks, where Bayesian neural networks (BNNs) are shown to converge to a Gaussian process (GP) as all hidden layers are sent to infinite width. However, these results do not apply to architectures that require one or more of the hidden layers to remain narrow. In this paper, we consider the wide limit of BNNs where some hidden layers, called "bottlenecks", are held at finite width. The result is a composition of GPs that we term a "bottleneck neural network Gaussian process" (bottleneck NNGP). Although intuitive, the subtlety of the proof is in showing that the wide limit of a composition of networks is in fact the composition of the limiting GPs. We also analyze theoretically a single-bottleneck NNGP, finding that the bottleneck induces dependence between the outputs of a multi-output network that persists through extreme post-bottleneck depths, and prevents the kernel of the network from losing discriminative power at extreme post-bottleneck depths.
• Abstract（参考訳）: ベイズニューラルネットワーク(BNN)がガウス過程(GP)に収束することが示され、すべての隠れた層が無限の幅に送られる。 しかしながら、これらの結果は、隠されたレイヤの1つ以上を狭める必要があるアーキテクチャには適用されない。 本稿では,ボトルネックと呼ばれる隠れた層が有限幅に保持されるbnnの広い限界について考察する。 その結果、我々は「ボツネックニューラルネットワークガウス過程」(ボツネックNNGP)と呼ぶGPの合成である。 直観的ではあるが、証明の微妙さは、ネットワークの構成の広い極限が実際は制限GPの構成であることを示すことである。 また,単一ボトルネックnngpを理論的に解析し,ボトルネックがボトルネック後の極端な深さで持続するマルチアウトプットネットワークの出力間の依存性を誘発し,ネットワークのカーネルが極端にボトルネック後の深さで識別力を失うことを防止することを見出した。

関連論文リスト

• Robust Learning in Bayesian Parallel Branching Graph Neural Networks: The Narrow Width Limit [4.373803477995854]
  ベイズ並列分岐グラフニューラルネットワーク(BPB-GNN)の幅制限について検討する。 BPB-GNNの幅がトレーニング例の数に比べて有意に小さい場合、各ブランチはより堅牢な学習を示す。 本結果は,並列分岐ネットワークにおいて,新たに定義された狭帯域方式を特徴付けるものである。
  論文  参考訳（メタデータ） (2024-07-26T15:14:22Z)
• Graph Neural Networks Do Not Always Oversmooth [46.57665708260211]
  グラフ畳み込みネットワーク (GCN) における過剰スムーシングを, 無限に多くの隠れた特徴の極限におけるガウス過程 (GP) の等価性を用いて検討する。 ネットワークの初期重みが十分に大きな場合、GCNは過度に過度に変化せず、ノード特徴は大きな深さでも情報的のままである。
  論文  参考訳（メタデータ） (2024-06-04T12:47:13Z)
• Sparsity-depth Tradeoff in Infinitely Wide Deep Neural Networks [22.083873334272027]
  我々は,スペーサーネットワークが,様々なデータセットの浅い深度で非スパースネットワークより優れていることを観察した。 カーネルリッジ回帰の一般化誤差に関する既存の理論を拡張した。
  論文  参考訳（メタデータ） (2023-05-17T20:09:35Z)
• Deep Maxout Network Gaussian Process [1.9292807030801753]
  我々は、深い無限幅の最大出力ネットワークとガウス過程(GP)の等価性を導出する。 私たちは、ディープマックスアウトネットワークカーネルとディープニューラルネットワークカーネルの接続を構築します。
  論文  参考訳（メタデータ） (2022-08-08T23:52:26Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• The Limitations of Large Width in Neural Networks: A Deep Gaussian Process Perspective [34.67386186205545]
  本稿では、ニューラルネットワークの一般化による容量と幅をディープガウス過程(ディープGP)に分離する。 驚くべきことに、非パラメトリックディープGPでさえガウス過程に収束し、表現力の増大なしに事実上より浅くなることを証明する。 GP動作を制限する前にテストセットのパフォーマンスを最大化する「スイートスポット」があることが、非パラメトリックディープGPの場合、幅 = 1 または幅 = 2 で発生する適応性を妨げている。
  論文  参考訳（メタデータ） (2021-06-11T17:58:58Z)
• Tight Bounds on the Smallest Eigenvalue of the Neural Tangent Kernel for Deep ReLU Networks [21.13299067136635]
  深部ReLUネットワークに対するNTK行列の最小固有値に厳密な境界を与える。 有限幅設定では、我々が考えるネットワークアーキテクチャは非常に一般的である。
  論文  参考訳（メタデータ） (2020-12-21T19:32:17Z)
• Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
  カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。 中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。 重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
  論文  参考訳（メタデータ） (2020-07-31T01:57:47Z)
• Bayesian Deep Ensembles via the Neural Tangent Kernel [49.569912265882124]
  我々は、ニューラルタンジェントカーネル(NTK)のレンズを通して、ディープアンサンブルとガウス過程(GP)の関連を探索する。 そこで本研究では,各アンサンブルメンバーに対して,計算可能でランダム化され,訓練不能な関数を追加することで,標準的なディープアンサンブルトレーニングに簡単な修正を加える。 我々はベイズ深部アンサンブルが無限幅極限における標準深部アンサンブルよりも保守的な予測を行うことを証明した。
  論文  参考訳（メタデータ） (2020-07-11T22:10:52Z)
• Exact posterior distributions of wide Bayesian neural networks [51.20413322972014]
  正確なBNN後方収束は、前者のGP限界によって誘導されるものと(弱く)収束することを示す。 実験的な検証のために、リジェクションサンプリングにより、小さなデータセット上で有限BNNから正確なサンプルを生成する方法を示す。
  論文  参考訳（メタデータ） (2020-06-18T13:57:04Z)
• On Random Kernels of Residual Architectures [93.94469470368988]
  ResNets と DenseNets のニューラルタンジェントカーネル (NTK) に対して有限幅および深さ補正を導出する。 その結果,ResNetsでは,深さと幅が同時に無限大となるとNTKへの収束が生じる可能性が示唆された。 しかし、DenseNetsでは、NTKの幅が無限大になる傾向があるため、その限界への収束が保証されている。
  論文  参考訳（メタデータ） (2020-01-28T16:47:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。