論文の概要: What Can Be Learnt With Wide Convolutional Neural Networks?

• arxiv url: http://arxiv.org/abs/2208.01003v5
• Date: Wed, 31 May 2023 15:39:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-01 23:25:50.867880
• Title: What Can Be Learnt With Wide Convolutional Neural Networks?
• Title（参考訳）: 広い畳み込みニューラルネットワークで何を学ぶことができるのか?
• Authors: Francesco Cagnetta, Alessandro Favero and Matthieu Wyart
• Abstract要約: カーネルシステムにおける無限大の深層CNNについて検討する。 我々は,深部CNNが対象関数の空間スケールに適応していることを証明する。 我々は、別の深部CNNの出力に基づいて訓練された深部CNNの一般化誤差を計算して結論付ける。
• 参考スコア（独自算出の注目度）: 69.55323565255631
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding how convolutional neural networks (CNNs) can efficiently learn high-dimensional functions remains a fundamental challenge. A popular belief is that these models harness the local and hierarchical structure of natural data such as images. Yet, we lack a quantitative understanding of how such structure affects performance, e.g., the rate of decay of the generalisation error with the number of training samples. In this paper, we study infinitely-wide deep CNNs in the kernel regime. First, we show that the spectrum of the corresponding kernel inherits the hierarchical structure of the network, and we characterise its asymptotics. Then, we use this result together with generalisation bounds to prove that deep CNNs adapt to the spatial scale of the target function. In particular, we find that if the target function depends on low-dimensional subsets of adjacent input variables, then the decay of the error is controlled by the effective dimensionality of these subsets. Conversely, if the target function depends on the full set of input variables, then the error decay is controlled by the input dimension. We conclude by computing the generalisation error of a deep CNN trained on the output of another deep CNN with randomly-initialised parameters. Interestingly, we find that, despite their hierarchical structure, the functions generated by infinitely-wide deep CNNs are too rich to be efficiently learnable in high dimension.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(cnns)が高次元関数を効率的に学習できるかを理解することは、基本的な課題である。 これらのモデルは、画像のような自然データの局所的および階層的構造を利用する、と広く信じられている。 しかし、そのような構造がパフォーマンスに与える影響を定量的に理解していない。例えば、トレーニングサンプルの数による一般化誤差の減衰率である。 本稿ではカーネルシステムにおける無限大深部CNNについて検討する。 まず、対応するカーネルのスペクトルがネットワークの階層構造を継承していることを示し、その漸近性を特徴付ける。 そして、この結果と一般化境界を用いて、深いCNNが対象関数の空間スケールに適応していることを証明する。 特に、ターゲット関数が隣接する入力変数の低次元部分集合に依存する場合、誤差の減衰はこれらの部分集合の有効次元性によって制御される。 逆に、対象関数が入力変数の完全な集合に依存する場合、誤差減衰は入力次元によって制御される。 我々は、ランダムに初期化パラメータを持つ別の深部CNNの出力に基づいて訓練された深部CNNの一般化誤差を計算して結論付ける。 興味深いことに、その階層構造にもかかわらず、無限大の深層CNNによって生成される関数は、高次元で効率的に学習できないほどに豊富である。

関連論文リスト

• Visualising Feature Learning in Deep Neural Networks by Diagonalizing the Forward Feature Map [4.776836972093627]
  本稿では,ディープニューラルネットワーク(DNN)を分解して特徴学習を分析する手法を提案する。 DNNはクラス数に等しい多くの固有関数に支配される最小特徴(MF)体制に収束する。 我々は、神経崩壊現象を、回帰のようなより広範なタスクに拡張できるカーネルイメージに再キャストする。
  論文  参考訳（メタデータ） (2024-10-05T18:53:48Z)
• Average gradient outer product as a mechanism for deep neural collapse [26.939895223897572]
  Deep Neural Collapse (DNC)は、Deep Neural Networks (DNN)の最終層におけるデータ表現の驚くほど硬い構造を指す。 本研究では,平均勾配外積(AGOP)を通した特徴学習によりDNCが生成するデータ依存環境を提案する。 特徴学習体制下で訓練されたニューラルネットワークに対して,適切な特異ベクトルと重みの値が,クラス内変動の崩壊の大部分の原因となることを示す。
  論文  参考訳（メタデータ） (2024-02-21T11:40:27Z)
• Do deep neural networks have an inbuilt Occam's razor? [1.1470070927586016]
  構造データとOccam's razor-likeインダクティブバイアスが組み合わさった単純な関数に対する構造データは、複雑さを伴う関数の指数的成長に反することを示す。 この分析により、構造データと(コルモゴロフ)単純関数に対するOccam's razor-likeインダクティブバイアスが組み合わさって、複雑さを伴う関数の指数的成長に対抗できるほど強いことがDNNの成功の鍵であることが明らかになった。
  論文  参考訳（メタデータ） (2023-04-13T16:58:21Z)
• Provable Data Subset Selection For Efficient Neural Network Training [73.34254513162898]
  本稿では,任意の放射基底関数ネットワーク上での入力データの損失を近似する,emphRBFNNのコアセットを構成するアルゴリズムについて紹介する。 次に、一般的なネットワークアーキテクチャやデータセット上で、関数近似とデータセットサブセットの選択に関する経験的評価を行う。
  論文  参考訳（メタデータ） (2023-03-09T10:08:34Z)
• Universal Approximation Property of Fully Convolutional Neural Networks with Zero Padding [10.295288663157393]
  CNNはテンソル-テンソルマッピングとして機能し、入力データの空間構造を保存する。 入力値と出力値の両方が同じ空間形状を示す場合、CNNは任意の連続関数を近似することができることを示す。 また、深い狭いCNNがテンソル-テンソル関数としてUAPを持っていることも確認した。
  論文  参考訳（メタデータ） (2022-11-18T02:04:16Z)
• Towards a General Purpose CNN for Long Range Dependencies in $\mathrm{N}$D [49.57261544331683]
  構造変化のない任意の解像度,次元,長さのタスクに対して,連続的な畳み込みカーネルを備えた単一CNNアーキテクチャを提案する。 1$mathrmD$)とビジュアルデータ(2$mathrmD$)の幅広いタスクに同じCCNNを適用することで、我々のアプローチの汎用性を示す。 私たちのCCNNは競争力があり、検討されたすべてのタスクで現在の最先端を上回ります。
  論文  参考訳（メタデータ） (2022-06-07T15:48:02Z)
• Redundant representations help generalization in wide neural networks [71.38860635025907]
  様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。 最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
  論文  参考訳（メタデータ） (2021-06-07T10:18:54Z)
• ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
  我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。 我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
  論文  参考訳（メタデータ） (2020-09-04T20:41:47Z)
• Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks [52.972605601174955]
  本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。 Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
  論文  参考訳（メタデータ） (2019-03-24T19:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。