論文の概要: Theoretical Analysis of the Advantage of Deepening Neural Networks

• arxiv url: http://arxiv.org/abs/2009.11479v1
• Date: Thu, 24 Sep 2020 04:10:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-15 03:56:39.334129
• Title: Theoretical Analysis of the Advantage of Deepening Neural Networks
• Title（参考訳）: 深層ニューラルネットワークの利点に関する理論的解析
• Authors: Yasushi Esaki and Yuta Nakahara and Toshiyasu Matsushima
• Abstract要約: ディープニューラルネットワークによって計算可能な関数の表現性を知ることが重要である。 この2つの基準により,深層ニューラルネットワークの表現性を向上させる上で,各層におけるユニットの増加よりも,レイヤの増加の方が効果的であることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose two new criteria to understand the advantage of deepening neural networks. It is important to know the expressivity of functions computable by deep neural networks in order to understand the advantage of deepening neural networks. Unless deep neural networks have enough expressivity, they cannot have good performance even though learning is successful. In this situation, the proposed criteria contribute to understanding the advantage of deepening neural networks since they can evaluate the expressivity independently from the efficiency of learning. The first criterion shows the approximation accuracy of deep neural networks to the target function. This criterion has the background that the goal of deep learning is approximating the target function by deep neural networks. The second criterion shows the property of linear regions of functions computable by deep neural networks. This criterion has the background that deep neural networks whose activation functions are piecewise linear are also piecewise linear. Furthermore, by the two criteria, we show that to increase layers is more effective than to increase units at each layer on improving the expressivity of deep neural networks.
• Abstract（参考訳）: ニューラルネットワークの深化の利点を理解するための2つの新しい基準を提案する。 ニューラルネットワークの深層化の利点を理解するためには,深層ニューラルネットワークで計算可能な関数の表現性を知ることが重要である。 ディープニューラルネットワークが十分な表現力を持っていなければ、学習が成功しても優れたパフォーマンスは得られない。 このような状況下では,学習効率とは独立に表現率を評価できるため,ニューラルネットワークの深層化の利点を理解するための基準が提案されている。 第1の基準は、ターゲット関数に対するディープニューラルネットワークの近似精度を示す。 この基準には、ディープラーニングの目標は、ディープニューラルネットワークによるターゲット関数の近似である、という背景がある。 第2の基準は、ディープニューラルネットワークで計算可能な関数の線形領域の性質を示している。 この基準は、活性化関数が分割線形であるディープニューラルネットワークも分割線形であるという背景を持つ。 さらに,2つの基準により,深層ニューラルネットワークの表現性を向上させる上で,各層におけるユニットの増加よりも,レイヤの増加の方が効果的であることを示す。

関連論文リスト

• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Neural Network Pruning as Spectrum Preserving Process [7.386663473785839]
  行列スペクトル学習とニューラルネットワーク学習の密集層と畳み込み層との密接な関係を同定する。 本稿では,ニューラルネットワークのプルーニングに適した行列スペーシフィケーションアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-07-18T05:39:32Z)
• Functional Connectome: Approximating Brain Networks with Artificial Neural Networks [1.952097552284465]
  訓練されたディープニューラルネットワークは、合成生物学的ネットワークによって実行される計算を高精度に捉えることができることを示す。 訓練されたディープニューラルネットワークは、新しい環境でゼロショットの一般化を実行可能であることを示す。 本研究は, システム神経科学における新規かつ有望な方向性を明らかにする。
  論文  参考訳（メタデータ） (2022-11-23T13:12:13Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Consistency of Neural Networks with Regularization [0.0]
  本稿では,ニューラルネットワークの規則化による一般的な枠組みを提案し,その一貫性を実証する。 双曲関数(Tanh)と整形線形単位(ReLU)の2種類の活性化関数が検討されている。
  論文  参考訳（メタデータ） (2022-06-22T23:33:39Z)
• Rank Diminishing in Deep Neural Networks [71.03777954670323]
  ニューラルネットワークのランクは、層をまたがる情報を測定する。 これは機械学習の幅広い領域にまたがる重要な構造条件の例である。 しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
  論文  参考訳（メタデータ） (2022-06-13T12:03:32Z)
• Fourier Neural Networks for Function Approximation [2.840363325289377]
  ニューラルネットワークが普遍近似器であることは広く証明されている。 特に、狭いニューラルネットワークが、ディープニューラルネットワークによって実装されている関数を近似するために、ネットワークは指数関数的に多数のニューロンを取ることが証明されている。
  論文  参考訳（メタデータ） (2021-10-21T09:30:26Z)
• What can linearized neural networks actually say about generalization? [67.83999394554621]
  ある無限大のニューラルネットワークにおいて、ニューラル・タンジェント・カーネル(NTK)理論は一般化を完全に特徴づける。 線形近似は、ニューラルネットワークの特定のタスクの学習複雑性を確実にランク付けできることを示す。 我々の研究は、将来の理論的研究を刺激する新しい深層学習現象の具体例を提供する。
  論文  参考訳（メタデータ） (2021-06-12T13:05:11Z)
• The Connection Between Approximation, Depth Separation and Learnability in Neural Networks [70.55686685872008]
  学習可能性と近似能力の関係について検討する。 対象関数の深いネットワークでの学習性は、より単純なクラスがターゲットを近似する能力に依存することを示す。
  論文  参考訳（メタデータ） (2021-01-31T11:32:30Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Expressivity of Deep Neural Networks [2.7909470193274593]
  本稿では,ニューラルネットワークの様々な近似結果について概説する。 既存の結果は、一般的なフィードフォワードアーキテクチャのためのものだが、畳み込み、残留、反復するニューラルネットワークの近似結果も記述する。
  論文  参考訳（メタデータ） (2020-07-09T13:08:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。