論文の概要: Empirical Studies on the Properties of Linear Regions in Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2001.01072v3
• Date: Tue, 28 Apr 2020 19:08:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-14 12:29:27.623724
• Title: Empirical Studies on the Properties of Linear Regions in Deep Neural Networks
• Title（参考訳）: ディープニューラルネットワークにおける線形領域の性質に関する実証的研究
• Authors: Xiao Zhang and Dongrui Wu
• Abstract要約: 分割線形活性化を持つディープニューラルネットワーク(DNN)は、入力空間を多数の小さな線形領域に分割することができる。 これらの領域の数はDNNの表現力を表すと考えられている。 本研究では, 球面, 対応する超平面の方向, 決定境界, 周辺領域の関連性などの局所的性質について検討する。
• 参考スコア（独自算出の注目度）: 34.08593191989188
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A deep neural network (DNN) with piecewise linear activations can partition the input space into numerous small linear regions, where different linear functions are fitted. It is believed that the number of these regions represents the expressivity of the DNN. This paper provides a novel and meticulous perspective to look into DNNs: Instead of just counting the number of the linear regions, we study their local properties, such as the inspheres, the directions of the corresponding hyperplanes, the decision boundaries, and the relevance of the surrounding regions. We empirically observed that different optimization techniques lead to completely different linear regions, even though they result in similar classification accuracies. We hope our study can inspire the design of novel optimization techniques, and help discover and analyze the behaviors of DNNs.
• Abstract（参考訳）: 分割線形活性化を持つディープニューラルネットワーク(dnn)は、入力空間を、異なる線形関数が適合する多数の小さな線形領域に分割することができる。 これらの領域の数はDNNの表現力を表すと考えられている。 線形領域の数をカウントする代わりに、球面、対応する超平面の方向、決定境界、周辺領域の関連性などの局所的性質について検討する。 類似の分類精度が得られても,異なる最適化手法が全く異なる線形領域につながることを実証的に観察した。 我々の研究は、新しい最適化手法の設計を刺激し、DNNの振る舞いの発見と分析に役立つことを願っている。

関連論文リスト

• Recurrent Neural Networks Learn to Store and Generate Sequences using Non-Linear Representations [54.17275171325324]
  線形表現仮説(LRH)に対する反例を提示する。 入力トークンシーケンスを繰り返すように訓練されると、ニューラルネットワークは、方向ではなく、特定の順序で各位置のトークンを表現することを学ぶ。 これらの結果は、解釈可能性の研究はLRHに限定されるべきでないことを強く示唆している。
  論文  参考訳（メタデータ） (2024-08-20T15:04:37Z)
• The Evolution of the Interplay Between Input Distributions and Linear Regions in Networks [20.97553518108504]
  ReLUに基づくディープニューラルネットワークにおける線形凸領域の数をカウントする。 特に、任意の1次元入力に対して、それを表現するのに必要となるニューロンの数に対して最小限の閾値が存在することを証明している。 また、トレーニング中のReLUネットワークにおける決定境界の反復的改善プロセスも明らかにした。
  論文  参考訳（メタデータ） (2023-10-28T15:04:53Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
  NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。 本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。 我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
  論文  参考訳（メタデータ） (2022-09-16T06:36:06Z)
• On the Number of Regions of Piecewise Linear Neural Networks [16.78532039510369]
  多くのフィードフォワードニューラルネットワーク(NN)はCPWLマッピングを生成する。 これらのいわゆる線形領域の数は、CPWL NNの表現性を特徴付ける自然な計量を提供する。 本稿では,CPWL NN が生成する線形領域の平均数を推定する補完的フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-17T08:17:28Z)
• Lower and Upper Bounds for Numbers of Linear Regions of Graph Convolutional Networks [11.338307976409707]
  線形領域の数は、断片的な線形活性化を伴うニューラルネットワークの表現率のよい指標と考えられている。 本稿では,従来のグラフ畳み込みネットワーク (GCN) の線形領域の数を1層,複数層シナリオで推定する。
  論文  参考訳（メタデータ） (2022-06-01T04:32:23Z)
• Exploring Linear Feature Disentanglement For Neural Networks [63.20827189693117]
  Sigmoid、ReLU、Tanhなどの非線形活性化関数は、ニューラルネットワーク(NN)において大きな成功を収めた。 サンプルの複雑な非線形特性のため、これらの活性化関数の目的は、元の特徴空間から線形分離可能な特徴空間へサンプルを投影することである。 この現象は、現在の典型的なNNにおいて、すべての特徴がすべての非線形関数によって変換される必要があるかどうかを探求することに興味をそそる。
  論文  参考訳（メタデータ） (2022-03-22T13:09:17Z)
• DISCO Verification: Division of Input Space into COnvex polytopes for neural network verification [0.0]
  現代のニューラルネットワークの印象的な結果の一部は、その非線形な振る舞いによるものだ。 本稿では,複数の線形部分問題に分割することで検証問題を単純化する手法を提案する。 また,訓練中の線形領域数を減らすことを目的とした手法の効果について述べる。
  論文  参考訳（メタデータ） (2021-05-17T12:40:51Z)
• Online Limited Memory Neural-Linear Bandits with Likelihood Matching [53.18698496031658]
  本研究では,探索学習と表現学習の両方が重要な役割を果たす課題を解決するために,ニューラルネットワークの帯域について検討する。 破滅的な忘れ込みに対して耐性があり、完全にオンラインである可能性の高いマッチングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-07T14:19:07Z)
• Bounding The Number of Linear Regions in Local Area for Neural Networks with ReLU Activations [6.4817648240626005]
  本稿では,与えられたReLUニューラルネットワークの入力空間内の任意の球面における線形領域数の上界を推定する最初の手法を提案する。 実験の結果、ニューラルネットワークをトレーニングしている間、線形領域の境界はトレーニングデータポイントから離れる傾向にあることがわかった。
  論文  参考訳（メタデータ） (2020-07-14T04:06:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。