論文の概要: The Role of Depth, Width, and Activation Complexity in the Number of
Linear Regions of Neural Networks
- arxiv url: http://arxiv.org/abs/2206.08615v1
- Date: Fri, 17 Jun 2022 08:17:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-20 13:33:04.464793
- Title: The Role of Depth, Width, and Activation Complexity in the Number of
Linear Regions of Neural Networks
- Title（参考訳）: ニューラルネットワークの線形領域数における深さ・幅・活性化複雑さの役割
- Authors: Alexis Goujon, Arian Etemadi and Michael Unser
- Abstract要約: 本稿では,CPWLネットワークの深度,幅,アクティベーションの複雑さに基づく線形領域数について概観する。
我々の推定は凸分割の構造に依存しており、深さの特異な役割を強調している。
合理的な仮定の下では、任意の1次元経路に沿った線形領域の期待密度は、深さ、幅、活性化複雑性の積によって制限される。
- 参考スコア（独自算出の注目度）: 21.69222364939501
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many feedforward neural networks generate continuous and piecewise-linear
(CPWL) mappings. Specifically, they partition the input domain into regions on
which the mapping is an affine function. The number of these so-called linear
regions offers a natural metric to characterize the expressiveness of CPWL
mappings. Although the precise determination of this quantity is often out of
reach, bounds have been proposed for specific architectures, including the
well-known ReLU and Maxout networks. In this work, we propose a more general
perspective and provide precise bounds on the maximal number of linear regions
of CPWL networks based on three sources of expressiveness: depth, width, and
activation complexity. Our estimates rely on the combinatorial structure of
convex partitions and highlight the distinctive role of depth which, on its
own, is able to exponentially increase the number of regions. We then introduce
a complementary stochastic framework to estimate the average number of linear
regions produced by a CPWL network architecture. Under reasonable assumptions,
the expected density of linear regions along any 1D path is bounded by the
product of depth, width, and a measure of activation complexity (up to a
scaling factor). This yields an identical role to the three sources of
expressiveness: no exponential growth with depth is observed anymore.
- Abstract（参考訳）: 多くのフィードフォワードニューラルネットワークはCPWL(Continuous and piecewise-linear)マッピングを生成する。
具体的には、入力ドメインをマッピングがアフィン関数である領域に分割する。
これらのいわゆる線型領域の数は、CPWL写像の表現性を特徴づける自然な計量を与える。
この量の正確な決定はしばしば到達できないが、よく知られたReLUやMaxoutネットワークを含む特定のアーキテクチャでは境界が提案されている。
本研究では,より汎用的な視点を提案し,cpwlネットワークの線形領域の最大数について,深さ,幅,アクティベーション複雑性の3つの表現源に基づいて正確な境界を与える。
我々の推定は凸分割の組合せ構造に依存しており、それ自身で指数関数的に領域数を増やすことができる深さの役割を強調する。
次に、CPWLネットワークアーキテクチャによって生成される線形領域の平均数を推定する補的確率的フレームワークを提案する。
合理的な仮定では、任意の1次元経路に沿った線形領域の期待密度は、深さ、幅、活性化複雑性(スケーリング係数まで)の積によって制限される。
これは表現力の3つの源と同一の役割をもたらす:深さを持つ指数的成長はもはや観察されない。
関連論文リスト
- Recurrent Neural Networks Learn to Store and Generate Sequences using Non-Linear Representations [54.17275171325324]
線形表現仮説(LRH)に対する反例を提示する。
入力トークンシーケンスを繰り返すように訓練されると、ニューラルネットワークは、方向ではなく、特定の順序で各位置のトークンを表現することを学ぶ。
これらの結果は、解釈可能性の研究はLRHに限定されるべきでないことを強く示唆している。
論文 参考訳（メタデータ） (2024-08-20T15:04:37Z) - Data Topology-Dependent Upper Bounds of Neural Network Widths [52.58441144171022]
まず、3層ニューラルネットワークがコンパクトな集合上のインジケータ関数を近似するように設計可能であることを示す。
その後、これは単純複体へと拡張され、その位相構造に基づいて幅の上界が導かれる。
トポロジカルアプローチを用いて3層ReLUネットワークの普遍近似特性を証明した。
論文 参考訳（メタデータ） (2023-05-25T14:17:15Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳（メタデータ） (2023-02-01T03:18:07Z) - A Functional-Space Mean-Field Theory of Partially-Trained Three-Layer
Neural Networks [49.870593940818715]
本稿では,第1層がランダムで固定された3層NNモデルの無限幅限界について検討する。
我々の理論はモデルの異なるスケーリング選択に対応しており、結果としてMF制限の2つの条件が顕著な振舞いを示す。
論文 参考訳（メタデータ） (2022-10-28T17:26:27Z) - Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a
Polynomial Net Study [55.12108376616355]
NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。
本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。
我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
論文 参考訳（メタデータ） (2022-09-16T06:36:06Z) - Lower and Upper Bounds for Numbers of Linear Regions of Graph
Convolutional Networks [11.338307976409707]
線形領域の数は、断片的な線形活性化を伴うニューラルネットワークの表現率のよい指標と考えられている。
本稿では,従来のグラフ畳み込みネットワーク (GCN) の線形領域の数を1層,複数層シナリオで推定する。
論文 参考訳（メタデータ） (2022-06-01T04:32:23Z) - A General Computational Framework to Measure the Expressiveness of
Complex Networks Using a Tighter Upper Bound of Linear Regions [13.030269373463168]
整流器ネットワークによって分割される領域番号の上限は、数値自体の代わりに、DNNの表現力のより実用的な測定である。
我々は,任意のネットワーク構造に対して,新しい,より厳密なアップ・パー・バウンド領域番号を提案する。
私たちの実験では、上界が既存のものよりも密接であることを示し、スキップ接続と残余構造がネットワーク性能を改善する理由を説明します。
論文 参考訳（メタデータ） (2020-12-08T14:01:20Z) - On the Number of Linear Functions Composing Deep Neural Network: Towards
a Refined Definition of Neural Networks Complexity [6.252236971703546]
分割線型関数を構成する線形関数間の同値関係を導入し、その同値関係に対してそれらの線形関数を数える。
我々の新しい複雑性測度は、2つのモデルを明確に区別することができ、古典的測度と整合し、指数関数的に深さに比例して増加する。
論文 参考訳（メタデータ） (2020-10-23T01:46:12Z) - Bounding The Number of Linear Regions in Local Area for Neural Networks
with ReLU Activations [6.4817648240626005]
本稿では,与えられたReLUニューラルネットワークの入力空間内の任意の球面における線形領域数の上界を推定する最初の手法を提案する。
実験の結果、ニューラルネットワークをトレーニングしている間、線形領域の境界はトレーニングデータポイントから離れる傾向にあることがわかった。
論文 参考訳（メタデータ） (2020-07-14T04:06:00Z) - Measuring Model Complexity of Neural Networks with Curve Activation
Functions [100.98319505253797]
本稿では,線形近似ニューラルネットワーク(LANN)を提案する。
ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。
我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
論文 参考訳（メタデータ） (2020-06-16T07:38:06Z) - Empirical Studies on the Properties of Linear Regions in Deep Neural
Networks [34.08593191989188]
分割線形活性化を持つディープニューラルネットワーク(DNN)は、入力空間を多数の小さな線形領域に分割することができる。
これらの領域の数はDNNの表現力を表すと考えられている。
本研究では, 球面, 対応する超平面の方向, 決定境界, 周辺領域の関連性などの局所的性質について検討する。
論文 参考訳（メタデータ） (2020-01-04T12:47:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。