Fugu-MT 論文翻訳(概要): Sparsity-depth Tradeoff in Infinitely Wide Deep Neural Networks

論文の概要: Sparsity-depth Tradeoff in Infinitely Wide Deep Neural Networks

arxiv url: http://arxiv.org/abs/2305.10550v1
Date: Wed, 17 May 2023 20:09:35 GMT
ステータス: 処理完了
システム内更新日: 2023-05-19 18:08:04.144584
Title: Sparsity-depth Tradeoff in Infinitely Wide Deep Neural Networks
Title（参考訳）: 無限大深層ニューラルネットワークにおけるスパーシティ・ディテールトレードオフ
Authors: Chanwoo Chun, Daniel D. Lee
Abstract要約: 我々は,スペーサーネットワークが,様々なデータセットの浅い深度で非スパースネットワークより優れていることを観察した。カーネルリッジ回帰の一般化誤差に関する既存の理論を拡張した。
参考スコア（独自算出の注目度）: 22.083873334272027
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We investigate how sparse neural activity affects the generalization performance of a deep Bayesian neural network at the large width limit. To this end, we derive a neural network Gaussian Process (NNGP) kernel with rectified linear unit (ReLU) activation and a predetermined fraction of active neurons. Using the NNGP kernel, we observe that the sparser networks outperform the non-sparse networks at shallow depths on a variety of datasets. We validate this observation by extending the existing theory on the generalization error of kernel-ridge regression.
Abstract（参考訳）: 本研究では,広帯域の深部ベイズニューラルネットワークの一般化性能に及ぼすスパース神経活動の影響について検討する。この目的のために, ニューラルネットワークのガウス過程(NNGP)カーネルを, 整列線形単位(ReLU)の活性化と, 活性ニューロンの所定の割合で導出した。 nngpカーネルを用いて、sparserネットワークが様々なデータセットの浅い深さで非スパースネットワークを上回ることを観測した。我々は、カーネルリッジ回帰の一般化誤差に関する既存の理論を拡張して、この観測を検証する。

関連論文リスト

Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime [52.00917519626559]
本稿では、ニューラルネットワークの2つのモデルと、任意の幅、深さ、トポロジーのニューラルネットワークに適用可能なトレーニングについて述べる。また、局所外在性神経核(LeNK)の観点から、非正規化勾配降下を伴う階層型ニューラルネットワークトレーニングのための正確な表現子理論を提示する。この表現論は、ニューラルネットワークトレーニングにおける高次統計学の役割と、ニューラルネットワークのカーネルモデルにおけるカーネル進化の影響について洞察を与える。
論文参考訳（メタデータ） (2024-05-24T06:30:36Z)
Wide Neural Networks as Gaussian Processes: Lessons from Deep Equilibrium Models [16.07760622196666]
本研究では,層間における共有重み行列を持つ無限深度ニューラルネットワークであるDeep equilibrium Model (DEQ)について検討する。解析により,DEC層の幅が無限大に近づくにつれ,ガウス過程に収束することが明らかとなった。注目すべきは、この収束は深さと幅の限界が交換されても成り立つことである。
論文参考訳（メタデータ） (2023-10-16T19:00:43Z)
Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文参考訳（メタデータ） (2023-07-20T13:34:11Z)
Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文参考訳（メタデータ） (2023-02-01T03:18:07Z)
Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。ニューラルネットの様々な特性をこの新しいカーネルで研究する。
論文参考訳（メタデータ） (2023-01-01T02:11:39Z)
Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
論文参考訳（メタデータ） (2022-09-16T06:36:06Z)
Deep Maxout Network Gaussian Process [1.9292807030801753]
我々は、深い無限幅の最大出力ネットワークとガウス過程(GP)の等価性を導出する。私たちは、ディープマックスアウトネットワークカーネルとディープニューラルネットワークカーネルの接続を構築します。
論文参考訳（メタデータ） (2022-08-08T23:52:26Z)
Why Quantization Improves Generalization: NTK of Binary Weight Neural Networks [33.08636537654596]
ニューラルネットワークにおける二分重みを、ラウンドリングの下でのランダム変数とみなし、ニューラルネットワークの異なる層上での分布伝搬について検討する。本研究では,連続パラメータとスムーズなアクティベーション関数を持つニューラルネットワークである分布伝搬を近似する準ニューラルネットワークを提案する。
論文参考訳（メタデータ） (2022-06-13T06:11:21Z)
Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
論文参考訳（メタデータ） (2020-07-31T01:57:47Z)
A Deep Conditioning Treatment of Neural Networks [37.192369308257504]
本研究では,入力データの特定のカーネル行列の条件付けを改善することにより,ニューラルネットワークのトレーニング性を向上させることを示す。ニューラルネットワークの上位層のみのトレーニングと、ニューラルネットワークのタンジェントカーネルを通じてすべてのレイヤをトレーニングするための学習を行うためのバージョンを提供しています。
論文参考訳（メタデータ） (2020-02-04T20:21:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。