論文の概要: Theoretical Analysis of Inductive Biases in Deep Convolutional Networks
- arxiv url: http://arxiv.org/abs/2305.08404v2
- Date: Sat, 20 Jan 2024 15:50:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-23 21:49:44.698392
- Title: Theoretical Analysis of Inductive Biases in Deep Convolutional Networks
- Title(参考訳): 深層畳み込みネットワークにおけるインダクティブバイアスの理論解析
- Authors: Zihao Wang, Lei Wu
- Abstract要約: 畳み込みニューラルネットワーク(CNN)における誘導バイアスの理論解析
CNN, ローカル接続ネットワーク(LCN) および完全接続ネットワーク(FCN) の性能を, 簡単な回帰処理で比較する。
LCNが$Omega(d)$サンプルを必要とするのに対して、CNNは$widetildemathcalO(log2d)$サンプルしか必要とせず、重量共有の重要な役割を強調している。
- 参考スコア(独自算出の注目度): 16.41952363194339
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we provide a theoretical analysis of the inductive biases in
convolutional neural networks (CNNs). We start by examining the universality of
CNNs, i.e., the ability to approximate any continuous functions. We prove that
a depth of $\mathcal{O}(\log d)$ suffices for deep CNNs to achieve this
universality, where $d$ in the input dimension. Additionally, we establish that
learning sparse functions with CNNs requires only
$\widetilde{\mathcal{O}}(\log^2d)$ samples, indicating that deep CNNs can
efficiently capture {\em long-range} sparse correlations. These results are
made possible through a novel combination of the multichanneling and
downsampling when increasing the network depth. We also delve into the distinct
roles of weight sharing and locality in CNNs. To this end, we compare the
performance of CNNs, locally-connected networks (LCNs), and fully-connected
networks (FCNs) on a simple regression task, where LCNs can be viewed as CNNs
without weight sharing. On the one hand, we prove that LCNs require
${\Omega}(d)$ samples while CNNs need only $\widetilde{\mathcal{O}}(\log^2d)$
samples, highlighting the critical role of weight sharing. On the other hand,
we prove that FCNs require $\Omega(d^2)$ samples, whereas LCNs need only
$\widetilde{\mathcal{O}}(d)$ samples, underscoring the importance of locality.
These provable separations quantify the difference between the two biases, and
the major observation behind our proof is that weight sharing and locality
break different symmetries in the learning process.
- Abstract(参考訳): 本稿では,畳み込みニューラルネットワーク(CNN)の誘導バイアスに関する理論的解析を行う。
まず、cnn、すなわち任意の連続関数を近似する能力の普遍性を調べることから始める。
この普遍性を達成するために、深い cnn に対して$\mathcal{o}(\log d)$ の深さが十分であることを証明する。
さらに,CNNによるスパース関数の学習には$\widetilde{\mathcal{O}}(\log^2d)$サンプルしか必要とせず,深部CNNのスパース相関を効率的に捉えることができることを示す。
これらの結果は、ネットワークの深さを増加させる際にマルチチャネルとダウンサンプリングの新たな組み合わせによって実現される。
また,cnnにおける重み共有と局所性の役割についても考察した。
そこで本研究では,CNN,ローカル接続ネットワーク(LCN),完全接続ネットワーク(FCN)の性能を単純な回帰タスクで比較し,LCNを重み付けなしでCNNとみなす。
一方、lcn は ${\omega}(d)$ のサンプルを必要とするが、cnn は$\widetilde{\mathcal{o}}(\log^2d)$ のサンプルしか必要とせず、重量共有の重要な役割を強調している。
一方、FCNは$\Omega(d^2)$サンプルを必要とするのに対し、LCNは$\widetilde{\mathcal{O}}(d)$サンプルしか必要とせず、局所性の重要性を裏付ける。
これらの証明可能な分離は2つのバイアスの違いを定量化し、我々の証明の背後にある大きな観察は、ウェイトシェアリングとローカリティが学習過程において異なる対称性を破ることである。
関連論文リスト
- The Onset of Variance-Limited Behavior for Networks in the Lazy and Rich
Regimes [75.59720049837459]
無限幅挙動からこの分散制限状態への遷移をサンプルサイズ$P$とネットワーク幅$N$の関数として検討する。
有限サイズ効果は、ReLUネットワークによる回帰のために、$P* sim sqrtN$の順序で非常に小さなデータセットに関係があることが分かる。
論文 参考訳(メタデータ) (2022-12-23T04:48:04Z) - Interpreting convolutional neural networks' low dimensional
approximation to quantum spin systems [1.631115063641726]
畳み込みニューラルネットワーク(CNN)は、量子多体スピンシステムの基底状態を見つけるための変分モンテカルロ法と共に用いられている。
我々は,CNNがスピン系の学習をどのように最適化するかを理論的,実験的に分析し,CNNの低次元近似について検討する。
この結果から、CNNが量子スピンハミルトニアンをどのように近似するかの総合的で改善された理解を得ることができた。
論文 参考訳(メタデータ) (2022-10-03T02:49:16Z) - What Can Be Learnt With Wide Convolutional Neural Networks? [69.55323565255631]
カーネルシステムにおける無限大の深層CNNについて検討する。
我々は,深部CNNが対象関数の空間スケールに適応していることを証明する。
我々は、別の深部CNNの出力に基づいて訓練された深部CNNの一般化誤差を計算して結論付ける。
論文 参考訳(メタデータ) (2022-08-01T17:19:32Z) - The Lottery Ticket Hypothesis for Self-attention in Convolutional Neural
Network [69.54809052377189]
近年, 深部畳み込みニューラルネットワーク(CNN)の内部情報を活用することにより, モデル一般化の促進を図るために, SAM (Plug-and-play Self-attention Module) が多数提案されている。
a) SAMをすべてのブロックに接続することは、必ずしも最大のパフォーマンス向上をもたらすとは限らないし、部分ブロックに接続する方が、さらによい。 (b) CNNにSAMを追加することは、必ずしもパフォーマンス向上をもたらすものではなく、代わりに元のCNNバックボーンのパフォーマンスに害を与えるかもしれない。
論文 参考訳(メタデータ) (2022-07-16T07:08:59Z) - Coin Flipping Neural Networks [8.009932864430901]
ランダム性を持つニューラルネットワークは、増幅を用いて決定論的ネットワークより優れていることを示す。
我々は、ほとんどの分類問題に対して、決定論的ネットワークよりも高い精度または少ないニューロンでそれらを解くCFNNが存在すると推測する。
論文 参考訳(メタデータ) (2022-06-18T11:19:44Z) - Distributed Sparse Feature Selection in Communication-Restricted
Networks [6.9257380648471765]
疎線形回帰と特徴選択のための新しい分散スキームを提案し,理論的に解析する。
データセット全体から因果次元を推定するために,ネットワーク内の情報共有をシンプルかつ効果的に行う手法を提案する。
論文 参考訳(メタデータ) (2021-11-02T05:02:24Z) - BreakingBED -- Breaking Binary and Efficient Deep Neural Networks by
Adversarial Attacks [65.2021953284622]
CNNのホワイトボックス攻撃やブラックボックス攻撃に対する堅牢性について検討する。
結果は、蒸留されたCNN、エージェントベースの最新のprunedモデル、およびバイナライズニューラルネットワークのために示されています。
論文 参考訳(メタデータ) (2021-03-14T20:43:19Z) - Approximating smooth functions by deep neural networks with sigmoid
activation function [0.0]
我々は,シグモイド活性化機能を持つディープニューラルネットワーク(DNN)のパワーについて検討した。
固定深度と幅が$Md$で近似レートが$M-2p$であることを示す。
論文 参考訳(メタデータ) (2020-10-08T07:29:31Z) - Towards Understanding Hierarchical Learning: Benefits of Neural
Representations [160.33479656108926]
この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。
提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。
この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
論文 参考訳(メタデータ) (2020-06-24T02:44:54Z) - Approximation and Non-parametric Estimation of ResNet-type Convolutional
Neural Networks [52.972605601174955]
本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。
Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
論文 参考訳(メタデータ) (2019-03-24T19:42:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。