論文の概要: Bounding The Number of Linear Regions in Local Area for Neural Networks with ReLU Activations

• arxiv url: http://arxiv.org/abs/2007.06803v1
• Date: Tue, 14 Jul 2020 04:06:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-10 13:50:38.228843
• Title: Bounding The Number of Linear Regions in Local Area for Neural Networks with ReLU Activations
• Title（参考訳）: reluアクティベーションを用いたニューラルネットワークのための局所領域の線形領域数制限
• Authors: Rui Zhu, Bo Lin, Haixu Tang
• Abstract要約: 本稿では,与えられたReLUニューラルネットワークの入力空間内の任意の球面における線形領域数の上界を推定する最初の手法を提案する。 実験の結果、ニューラルネットワークをトレーニングしている間、線形領域の境界はトレーニングデータポイントから離れる傾向にあることがわかった。
• 参考スコア（独自算出の注目度）: 6.4817648240626005
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The number of linear regions is one of the distinct properties of the neural networks using piecewise linear activation functions such as ReLU, comparing with those conventional ones using other activation functions. Previous studies showed this property reflected the expressivity of a neural network family ([14]); as a result, it can be used to characterize how the structural complexity of a neural network model affects the function it aims to compute. Nonetheless, it is challenging to directly compute the number of linear regions; therefore, many researchers focus on estimating the bounds (in particular the upper bound) of the number of linear regions for deep neural networks using ReLU. These methods, however, attempted to estimate the upper bound in the entire input space. The theoretical methods are still lacking to estimate the number of linear regions within a specific area of the input space, e.g., a sphere centered at a training data point such as an adversarial example or a backdoor trigger. In this paper, we present the first method to estimate the upper bound of the number of linear regions in any sphere in the input space of a given ReLU neural network. We implemented the method, and computed the bounds in deep neural networks using the piece-wise linear active function. Our experiments showed that, while training a neural network, the boundaries of the linear regions tend to move away from the training data points. In addition, we observe that the spheres centered at the training data points tend to contain more linear regions than any arbitrary points in the input space. To the best of our knowledge, this is the first study of bounding linear regions around a specific data point. We consider our work as a first step toward the investigation of the structural complexity of deep neural networks in a specific input area.
• Abstract（参考訳）: 線形領域の数は、ReLUのような一方向線形活性化関数を用いたニューラルネットワークの特性の1つであり、他のアクティベーション関数を用いた従来の領域と比較する。 この特性はニューラルネットワークファミリー([14])の表現性を反映しており、結果として、ニューラルネットワークモデルの構造的複雑さが計算する関数にどのように影響するかを特徴付けるのに使うことができる。 それにもかかわらず、線形領域の数を直接計算することは困難であり、多くの研究者はReLUを用いて深部ニューラルネットワークの線形領域の数(特に上限値)を推定することに集中している。 しかし、これらの手法は入力空間全体の上限を推定しようと試みた。 理論的な手法では、入力空間の特定の領域内の線形領域の数、例えば、逆例やバックドアトリガーのような訓練データポイントを中心とする球数を推定することができない。 本稿では,与えられたReLUニューラルネットワークの入力空間内の任意の球面における線形領域数の上界を推定する最初の手法を提案する。 本手法を実装し,区分線形能動関数を用いて深層ニューラルネットワークにおける境界を計算した。 実験の結果、ニューラルネットワークをトレーニングしている間、線形領域の境界はトレーニングデータポイントから離れる傾向にあることがわかった。 さらに、トレーニングデータ点を中心とする球体は、入力空間内の任意の点よりも線状領域を多く含む傾向があることを観察する。 我々の知る限りでは、これは特定のデータポイントの周りの線形領域の境界に関する最初の研究である。 我々は、特定の入力領域におけるディープニューラルネットワークの構造的複雑さの調査に向けた第一歩であると考えている。

関連論文リスト

• Universal Approximation Property of Random Neural Networks [3.943289808718775]
  ボヒナー空間の大規模なクラス内での普遍近似を証明する。 ランダムニューラルネットワークによって決定論的関数を学習するための近似率と明示的アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2023-12-13T11:27:15Z)
• The Evolution of the Interplay Between Input Distributions and Linear Regions in Networks [20.97553518108504]
  ReLUに基づくディープニューラルネットワークにおける線形凸領域の数をカウントする。 特に、任意の1次元入力に対して、それを表現するのに必要となるニューロンの数に対して最小限の閾値が存在することを証明している。 また、トレーニング中のReLUネットワークにおける決定境界の反復的改善プロセスも明らかにした。
  論文  参考訳（メタデータ） (2023-10-28T15:04:53Z)
• Provable Data Subset Selection For Efficient Neural Network Training [73.34254513162898]
  本稿では,任意の放射基底関数ネットワーク上での入力データの損失を近似する,emphRBFNNのコアセットを構成するアルゴリズムについて紹介する。 次に、一般的なネットワークアーキテクチャやデータセット上で、関数近似とデータセットサブセットの選択に関する経験的評価を行う。
  論文  参考訳（メタデータ） (2023-03-09T10:08:34Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Effects of Data Geometry in Early Deep Learning [16.967930721746672]
  ディープニューラルネットワークは、画像からグラフまで、さまざまなタイプのデータ上の関数を、基礎構造によって近似することができる。 ニューラルネットワークが線形関数として振る舞う領域にデータ多様体を分割する。
  論文  参考訳（メタデータ） (2022-12-29T17:32:05Z)
• Exploring Linear Feature Disentanglement For Neural Networks [63.20827189693117]
  Sigmoid、ReLU、Tanhなどの非線形活性化関数は、ニューラルネットワーク(NN)において大きな成功を収めた。 サンプルの複雑な非線形特性のため、これらの活性化関数の目的は、元の特徴空間から線形分離可能な特徴空間へサンプルを投影することである。 この現象は、現在の典型的なNNにおいて、すべての特徴がすべての非線形関数によって変換される必要があるかどうかを探求することに興味をそそる。
  論文  参考訳（メタデータ） (2022-03-22T13:09:17Z)
• DISCO Verification: Division of Input Space into COnvex polytopes for neural network verification [0.0]
  現代のニューラルネットワークの印象的な結果の一部は、その非線形な振る舞いによるものだ。 本稿では,複数の線形部分問題に分割することで検証問題を単純化する手法を提案する。 また,訓練中の線形領域数を減らすことを目的とした手法の効果について述べる。
  論文  参考訳（メタデータ） (2021-05-17T12:40:51Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Measuring Model Complexity of Neural Networks with Curve Activation Functions [100.98319505253797]
  本稿では,線形近似ニューラルネットワーク(LANN)を提案する。 ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。 我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
  論文  参考訳（メタデータ） (2020-06-16T07:38:06Z)
• Piecewise linear activations substantially shape the loss surfaces of neural networks [95.73230376153872]
  本稿では,ニューラルネットワークの損失面を著しく形成する線形活性化関数について述べる。 我々はまず、多くのニューラルネットワークの損失面が、大域的なミニマよりも経験的リスクの高い局所的ミニマとして定義される無限の急激な局所的ミニマを持つことを証明した。 一層ネットワークの場合、セル内のすべての局所ミニマが同値類であり、谷に集中しており、セル内のすべてのグローバルミニマであることを示す。
  論文  参考訳（メタデータ） (2020-03-27T04:59:34Z)
• Empirical Studies on the Properties of Linear Regions in Deep Neural Networks [34.08593191989188]
  分割線形活性化を持つディープニューラルネットワーク(DNN)は、入力空間を多数の小さな線形領域に分割することができる。 これらの領域の数はDNNの表現力を表すと考えられている。 本研究では, 球面, 対応する超平面の方向, 決定境界, 周辺領域の関連性などの局所的性質について検討する。
  論文  参考訳（メタデータ） (2020-01-04T12:47:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。