Fugu-MT 論文翻訳(概要): Correlated Weights in Infinite Limits of Deep Convolutional Neural Networks

論文の概要: Correlated Weights in Infinite Limits of Deep Convolutional Neural Networks

arxiv url: http://arxiv.org/abs/2101.04097v1
Date: Mon, 11 Jan 2021 18:43:40 GMT
ステータス: 処理完了
システム内更新日: 2021-04-04 14:47:33.758556
Title: Correlated Weights in Infinite Limits of Deep Convolutional Neural Networks
Title（参考訳）: 深層畳み込みニューラルネットワークの無限極限における相関重み
Authors: Adri\`a Garriga-Alonso, Mark van der Wilk
Abstract要約: 重みの関連性は活性化の相関性を維持する。無限に広いネットワークの実証的な評価は極端の間に最適性能が達成されることを示します。
参考スコア（独自算出の注目度）: 15.933912505238192
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Infinite width limits of deep neural networks often have tractable forms. They have been used to analyse the behaviour of finite networks, as well as being useful methods in their own right. When investigating infinitely wide CNNs it was observed that the correlations arising from spatial weight sharing disappear in the infinite limit. This is undesirable, as spatial correlation is the main motivation behind CNNs. We show that the loss of this property is not a consequence of the infinite limit, but rather of choosing an independent weight prior. Correlating the weights maintains the correlations in the activations. Varying the amount of correlation interpolates between independent-weight limits and mean-pooling. Empirical evaluation of the infinitely wide network shows that optimal performance is achieved between the extremes, indicating that correlations can be useful.
Abstract（参考訳）: ディープニューラルネットワークの無限幅制限はしばしば扱いやすい形式を持つ。それらは、有限ネットワークの挙動を解析するために使われ、また、それ自身で有用な方法である。無限に広いCNNを調べたところ,空間的重み共有による相関は無限の極限で消失することがわかった。空間的相関がCNNの背後にある主な動機であるため、これは望ましくない。この性質の喪失は無限の極限の結果ではなく、先に独立した重みを選択することによるものであることを示す。重みの関係は活性化の相関を維持する。独立重み付き限界と平均プーリングの間の相関の量を変える。無限大ネットワークの実証評価により,極端間の最適性能が達成され,相関が有効であることが示された。

関連論文リスト

Proportional infinite-width infinite-depth limit for deep linear neural networks [0.16385815610837165]
大規模ネットワークのコンテキストにおけるランダムパラメータを持つ線形ニューラルネットワークの分布特性について検討し,各層あたりのニューロン数に比例して層数が分散することを示した。出力間の相関を保った非ガウス分布を導出し, 深さと幅の両方が分岐するが, 一定比を維持するような比例極限を探索する。
論文参考訳（メタデータ） (2024-11-22T11:25:52Z)
Covering Numbers for Deep ReLU Networks with Applications to Function Approximation and Nonparametric Regression [4.297070083645049]
我々は、完全連結ネットワークの被覆数に対して、(乗法定数まで)下限と上限を密に展開する。境界の厳密さにより、疎度、量子化、有界対非有界重み、およびネットワーク出力トランケーションの影響の根本的な理解が展開できる。
論文参考訳（メタデータ） (2024-10-08T21:23:14Z)
Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文参考訳（メタデータ） (2023-07-20T13:34:11Z)
Quantitative CLTs in Deep Neural Networks [12.845031126178593]
ランダムなガウス重みとバイアスを持つ完全連結ニューラルネットワークの分布について検討する。我々は、大まかではあるが有限の$n$および任意の固定されたネットワーク深さで有効な正規近似の量的境界を得る。我々の境界は、それまでの文献で利用できたものよりも、ネットワーク幅に依存しているという点で厳格に強い。
論文参考訳（メタデータ） (2023-07-12T11:35:37Z)
Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文参考訳（メタデータ） (2022-05-11T17:43:54Z)
On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
論文参考訳（メタデータ） (2022-03-27T15:22:19Z)
Wide Mean-Field Bayesian Neural Networks Ignore the Data [29.050507540280922]
ネットワーク幅が大きい場合,平均場変動推定はデータのモデル化に完全に失敗することを示す。アクティベーション関数が奇数でない場合、最適近似後続関数は先行関数に従わなくてもよいことを示す。
論文参考訳（メタデータ） (2022-02-23T18:21:50Z)
Redundant representations help generalization in wide neural networks [71.38860635025907]
様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
論文参考訳（メタデータ） (2021-06-07T10:18:54Z)
A Dynamical Central Limit Theorem for Shallow Neural Networks [48.66103132697071]
平均極限の周りのゆらぎは、トレーニングを通して平均正方形に有界であることを証明する。平均場ダイナミクスがトレーニングデータを補間する尺度に収束すると、最終的にCLTスケーリングにおいて偏差が消えることを示す。
論文参考訳（メタデータ） (2020-08-21T18:00:50Z)
Characteristics of Monte Carlo Dropout in Wide Neural Networks [16.639005039546745]
モンテカルロ(MC)ドロップアウトはニューラルネットワーク(NN)における不確実性推定のための最先端のアプローチの1つである本研究では, 降雨時の広帯域NNの制限分布についてより厳密に検討し, 一定の重みと偏りの集合に対してガウス過程に収束することが証明された。本研究では,(強く)相関したプレアクティベーションが,強相関重みを持つNNにおいて非ガウス的行動を引き起こすかを検討する。
論文参考訳（メタデータ） (2020-07-10T15:14:43Z)
On Random Kernels of Residual Architectures [93.94469470368988]
ResNets と DenseNets のニューラルタンジェントカーネル (NTK) に対して有限幅および深さ補正を導出する。その結果,ResNetsでは,深さと幅が同時に無限大となるとNTKへの収束が生じる可能性が示唆された。しかし、DenseNetsでは、NTKの幅が無限大になる傾向があるため、その限界への収束が保証されている。
論文参考訳（メタデータ） (2020-01-28T16:47:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。