論文の概要: On the Number of Regions of Piecewise Linear Neural Networks

• arxiv url: http://arxiv.org/abs/2206.08615v2
• Date: Wed, 20 Dec 2023 16:47:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-21 19:36:19.941527
• Title: On the Number of Regions of Piecewise Linear Neural Networks
• Title（参考訳）: 分割線形ニューラルネットワークの領域数について
• Authors: Alexis Goujon, Arian Etemadi and Michael Unser
• Abstract要約: 多くのフィードフォワードニューラルネットワーク(NN)はCPWLマッピングを生成する。 これらのいわゆる線形領域の数は、CPWL NNの表現性を特徴付ける自然な計量を提供する。 本稿では,CPWL NN が生成する線形領域の平均数を推定する補完的フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 16.78532039510369
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many feedforward neural networks (NNs) generate continuous and piecewise-linear (CPWL) mappings. Specifically, they partition the input domain into regions on which the mapping is affine. The number of these so-called linear regions offers a natural metric to characterize the expressiveness of CPWL NNs. The precise determination of this quantity is often out of reach in practice, and bounds have been proposed for specific architectures, including for ReLU and Maxout NNs. In this work, we generalize these bounds to NNs with arbitrary and possibly multivariate CPWL activation functions. We first provide upper and lower bounds on the maximal number of linear regions of a CPWL NN given its depth, width, and the number of linear regions of its activation functions. Our results rely on the combinatorial structure of convex partitions and confirm the distinctive role of depth which, on its own, is able to exponentially increase the number of regions. We then introduce a complementary stochastic framework to estimate the average number of linear regions produced by a CPWL NN. Under reasonable assumptions, the expected density of linear regions along any 1D path is bounded by the product of depth, width, and a measure of activation complexity (up to a scaling factor). This yields an identical role to the three sources of expressiveness: no exponential growth with depth is observed anymore.
• Abstract（参考訳）: 多くのfeedforward neural network (nns) は連続および区分線形(cpwl)マッピングを生成する。 具体的には、入力ドメインをマッピングがアフィンである領域に分割する。 これらのいわゆる線形領域の数は、CPWL NNの表現性を特徴付ける自然な計量を提供する。 この量の正確な決定は実際には達成できないことが多く、reluやmaxout nnsを含む特定のアーキテクチャで境界が提案されている。 本研究では,これらの境界を任意の多変量cpwl活性化関数を持つnnに一般化する。 まず, CPWL NNの線形領域の最大値について, その深さ, 幅, 活性化関数の線形領域の数について, 上限値と下限値を与える。 この結果は凸分割の組合せ構造に依拠し、それ自身で指数関数的に領域数を増やすことができる深さの特異な役割を確かめるものである。 次に,CPWL NN が生成する線形領域の平均数を推定するための補的確率的フレームワークを提案する。 合理的な仮定では、任意の1次元経路に沿った線形領域の期待密度は、深さ、幅、活性化複雑性(スケーリング係数まで)の積によって制限される。 これは表現力の3つの源と同一の役割をもたらす:深さを持つ指数的成長はもはや観察されない。

関連論文リスト

• Recurrent Neural Networks Learn to Store and Generate Sequences using Non-Linear Representations [54.17275171325324]
  線形表現仮説(LRH)に対する反例を提示する。 入力トークンシーケンスを繰り返すように訓練されると、ニューラルネットワークは、方向ではなく、特定の順序で各位置のトークンを表現することを学ぶ。 これらの結果は、解釈可能性の研究はLRHに限定されるべきでないことを強く示唆している。
  論文  参考訳（メタデータ） (2024-08-20T15:04:37Z)
• Data Topology-Dependent Upper Bounds of Neural Network Widths [52.58441144171022]
  まず、3層ニューラルネットワークがコンパクトな集合上のインジケータ関数を近似するように設計可能であることを示す。 その後、これは単純複体へと拡張され、その位相構造に基づいて幅の上界が導かれる。 トポロジカルアプローチを用いて3層ReLUネットワークの普遍近似特性を証明した。
  論文  参考訳（メタデータ） (2023-05-25T14:17:15Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• A Functional-Space Mean-Field Theory of Partially-Trained Three-Layer Neural Networks [49.870593940818715]
  本稿では,第1層がランダムで固定された3層NNモデルの無限幅限界について検討する。 我々の理論はモデルの異なるスケーリング選択に対応しており、結果としてMF制限の2つの条件が顕著な振舞いを示す。
  論文  参考訳（メタデータ） (2022-10-28T17:26:27Z)
• Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
  NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。 本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。 我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
  論文  参考訳（メタデータ） (2022-09-16T06:36:06Z)
• Lower and Upper Bounds for Numbers of Linear Regions of Graph Convolutional Networks [11.338307976409707]
  線形領域の数は、断片的な線形活性化を伴うニューラルネットワークの表現率のよい指標と考えられている。 本稿では,従来のグラフ畳み込みネットワーク (GCN) の線形領域の数を1層,複数層シナリオで推定する。
  論文  参考訳（メタデータ） (2022-06-01T04:32:23Z)
• A General Computational Framework to Measure the Expressiveness of Complex Networks Using a Tighter Upper Bound of Linear Regions [13.030269373463168]
  整流器ネットワークによって分割される領域番号の上限は、数値自体の代わりに、DNNの表現力のより実用的な測定である。 我々は,任意のネットワーク構造に対して,新しい,より厳密なアップ・パー・バウンド領域番号を提案する。 私たちの実験では、上界が既存のものよりも密接であることを示し、スキップ接続と残余構造がネットワーク性能を改善する理由を説明します。
  論文  参考訳（メタデータ） (2020-12-08T14:01:20Z)
• On the Number of Linear Functions Composing Deep Neural Network: Towards a Refined Definition of Neural Networks Complexity [6.252236971703546]
  分割線型関数を構成する線形関数間の同値関係を導入し、その同値関係に対してそれらの線形関数を数える。 我々の新しい複雑性測度は、2つのモデルを明確に区別することができ、古典的測度と整合し、指数関数的に深さに比例して増加する。
  論文  参考訳（メタデータ） (2020-10-23T01:46:12Z)
• Bounding The Number of Linear Regions in Local Area for Neural Networks with ReLU Activations [6.4817648240626005]
  本稿では,与えられたReLUニューラルネットワークの入力空間内の任意の球面における線形領域数の上界を推定する最初の手法を提案する。 実験の結果、ニューラルネットワークをトレーニングしている間、線形領域の境界はトレーニングデータポイントから離れる傾向にあることがわかった。
  論文  参考訳（メタデータ） (2020-07-14T04:06:00Z)
• Measuring Model Complexity of Neural Networks with Curve Activation Functions [100.98319505253797]
  本稿では,線形近似ニューラルネットワーク(LANN)を提案する。 ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。 我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
  論文  参考訳（メタデータ） (2020-06-16T07:38:06Z)
• Empirical Studies on the Properties of Linear Regions in Deep Neural Networks [34.08593191989188]
  分割線形活性化を持つディープニューラルネットワーク(DNN)は、入力空間を多数の小さな線形領域に分割することができる。 これらの領域の数はDNNの表現力を表すと考えられている。 本研究では, 球面, 対応する超平面の方向, 決定境界, 周辺領域の関連性などの局所的性質について検討する。
  論文  参考訳（メタデータ） (2020-01-04T12:47:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。