論文の概要: Deep Maxout Network Gaussian Process

• arxiv url: http://arxiv.org/abs/2208.04468v1
• Date: Mon, 8 Aug 2022 23:52:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-10 12:15:21.330659
• Title: Deep Maxout Network Gaussian Process
• Title（参考訳）: Deep Maxout Network Gaussian Process
• Authors: Libin Liang, Ye Tian and Ge Cheng
• Abstract要約: 我々は、深い無限幅の最大出力ネットワークとガウス過程(GP)の等価性を導出する。 私たちは、ディープマックスアウトネットワークカーネルとディープニューラルネットワークカーネルの接続を構築します。
• 参考スコア（独自算出の注目度）: 1.9292807030801753
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Study of neural networks with infinite width is important for better understanding of the neural network in practical application. In this work, we derive the equivalence of the deep, infinite-width maxout network and the Gaussian process (GP) and characterize the maxout kernel with a compositional structure. Moreover, we build up the connection between our deep maxout network kernel and deep neural network kernels. We also give an efficient numerical implementation of our kernel which can be adapted to any maxout rank. Numerical results show that doing Bayesian inference based on the deep maxout network kernel can lead to competitive results compared with their finite-width counterparts and deep neural network kernels. This enlightens us that the maxout activation may also be incorporated into other infinite-width neural network structures such as the convolutional neural network (CNN).
• Abstract（参考訳）: ニューラルネットワークを実用的に理解するためには,無限幅のニューラルネットワークの研究が重要である。 本研究では、深さ無限幅最大化ネットワークとガウス過程(GP)の等価性を導出し、構成構造を持つ最大化カーネルを特徴付ける。 さらに、私たちのディープマックスアウトネットワークカーネルとディープニューラルネットワークカーネルとの接続を構築します。 また、任意の最大ランクに適応可能なカーネルの効率的な数値実装も提供します。 数値的な結果から,ベイズ推定を極大ネットワークカーネルに基づいて行うと,有限幅のネットワークカーネルやディープニューラルネットワークカーネルと比較して競合する結果が得られた。 これにより、最大出力の活性化は、畳み込みニューラルネットワーク(CNN)のような他の無限幅ニューラルネットワーク構造にも組み込むことができる。

関連論文リスト

• Sparsity-depth Tradeoff in Infinitely Wide Deep Neural Networks [22.083873334272027]
  我々は,スペーサーネットワークが,様々なデータセットの浅い深度で非スパースネットワークより優れていることを観察した。 カーネルリッジ回帰の一般化誤差に関する既存の理論を拡張した。
  論文  参考訳（メタデータ） (2023-05-17T20:09:35Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
  NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。 本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。 我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
  論文  参考訳（メタデータ） (2022-09-16T06:36:06Z)
• Why Quantization Improves Generalization: NTK of Binary Weight Neural Networks [33.08636537654596]
  ニューラルネットワークにおける二分重みを、ラウンドリングの下でのランダム変数とみなし、ニューラルネットワークの異なる層上での分布伝搬について検討する。 本研究では,連続パラメータとスムーズなアクティベーション関数を持つニューラルネットワークである分布伝搬を近似する準ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T06:11:21Z)
• Incorporating Prior Knowledge into Neural Networks through an Implicit Composite Kernel [1.6383321867266318]
  Implicit Composite Kernel (ICK) は、ニューラルネットワークによって暗黙的に定義されたカーネルと、既知のプロパティをモデル化するために選択された第2のカーネル関数を組み合わせたカーネルである。 合成データセットと実世界のデータセットの両方において、ICKの優れた性能と柔軟性を実証する。
  論文  参考訳（メタデータ） (2022-05-15T21:32:44Z)
• On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
  ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。 特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
  論文  参考訳（メタデータ） (2022-03-27T15:22:19Z)
• Neural Network Gaussian Processes by Increasing Depth [0.6091702876917281]
  ニューラルネットワークの深さの増大はガウス過程を引き起こす可能性があることを示す。 また、理論的には、その一様強み特性と、関連するカーネルの最小固有値も特徴付ける。 これらの特徴付けは、提案された深さ誘起ガウス過程の理解を深めるだけでなく、将来の応用への道を開くことができる。
  論文  参考訳（メタデータ） (2021-08-29T15:37:26Z)
• Learning Structures for Deep Neural Networks [99.8331363309895]
  我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。 スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。 公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
  論文  参考訳（メタデータ） (2021-05-27T12:27:24Z)
• Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
  カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。 中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。 重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
  論文  参考訳（メタデータ） (2020-07-31T01:57:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。