論文の概要: The Connection Between Approximation, Depth Separation and Learnability in Neural Networks

• arxiv url: http://arxiv.org/abs/2102.00434v1
• Date: Sun, 31 Jan 2021 11:32:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-02 15:40:48.783584
• Title: The Connection Between Approximation, Depth Separation and Learnability in Neural Networks
• Title（参考訳）: ニューラルネットワークにおける近似,深さ分離,学習可能性の関係
• Authors: Eran Malach, Gilad Yehudai, Shai Shalev-Shwartz, Ohad Shamir
• Abstract要約: 学習可能性と近似能力の関係について検討する。 対象関数の深いネットワークでの学習性は、より単純なクラスがターゲットを近似する能力に依存することを示す。
• 参考スコア（独自算出の注目度）: 70.55686685872008
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Several recent works have shown separation results between deep neural networks, and hypothesis classes with inferior approximation capacity such as shallow networks or kernel classes. On the other hand, the fact that deep networks can efficiently express a target function does not mean this target function can be learned efficiently by deep neural networks. In this work we study the intricate connection between learnability and approximation capacity. We show that learnability with deep networks of a target function depends on the ability of simpler classes to approximate the target. Specifically, we show that a necessary condition for a function to be learnable by gradient descent on deep neural networks is to be able to approximate the function, at least in a weak sense, with shallow neural networks. We also show that a class of functions can be learned by an efficient statistical query algorithm if and only if it can be approximated in a weak sense by some kernel class. We give several examples of functions which demonstrate depth separation, and conclude that they cannot be efficiently learned, even by a hypothesis class that can efficiently approximate them.
• Abstract（参考訳）: いくつかの最近の研究では、ディープニューラルネットワークと、浅いネットワークやカーネルクラスのような近似能力の劣る仮説クラスとの分離結果が示されている。 一方、ディープネットワークがターゲット関数を効率的に表現できるという事実は、このターゲット関数をディープニューラルネットワークで効率的に学習できるという意味ではない。 本研究では,学習能力と近似能力の関係について検討する。 対象関数の深いネットワークでの学習性は、より単純なクラスがターゲットを近似する能力に依存することを示す。 具体的には、深層ニューラルネットワークの勾配降下によって学習可能な関数に必要な条件は、少なくとも弱い意味では、浅いニューラルネットワークで関数を近似できることを示す。 また,関数のクラスが,あるカーネルクラスによって弱意味に近似できる場合に限り,効率的な統計クエリアルゴリズムによって学習できることを示した。 深さ分離を示す関数のいくつかの例を示し、それらを効率的に近似できる仮説クラスによっても効率的に学習できないと結論づける。

関連論文リスト

• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Benefits of Overparameterized Convolutional Residual Networks: Function Approximation under Smoothness Constraint [48.25573695787407]
  大規模なConvResNetは関数の値から目的関数を近似できるだけでなく、一階スムーズ性も十分に発揮できることを示す。 我々の理論は、実際にディープ・ワイド・ネットワークを使うことの利点を部分的に正当化している。
  論文  参考訳（メタデータ） (2022-06-09T15:35:22Z)
• Optimal Learning Rates of Deep Convolutional Neural Networks: Additive Ridge Functions [19.762318115851617]
  深部畳み込みニューラルネットワークにおける平均2乗誤差解析について考察する。 付加的なリッジ関数に対しては、畳み込みニューラルネットワークとReLUアクティベーション関数を併用した1つの完全連結層が最適極小値に到達できることが示される。
  論文  参考訳（メタデータ） (2022-02-24T14:22:32Z)
• Interplay between depth of neural networks and locality of target functions [5.33024001730262]
  対象関数の深度と局所性の間に顕著な相互作用を報告した。 深度は局所関数の学習には有益であるが,グローバル関数の学習には有害であることがわかった。
  論文  参考訳（メタデータ） (2022-01-28T12:41:24Z)
• Optimization-Based Separations for Neural Networks [57.875347246373956]
  本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。 これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
  論文  参考訳（メタデータ） (2021-12-04T18:07:47Z)
• Neural networks with linear threshold activations: structure and algorithms [1.795561427808824]
  クラス内で表現可能な関数を表現するのに、2つの隠れたレイヤが必要であることを示す。 また、クラス内の任意の関数を表すのに必要なニューラルネットワークのサイズについて、正確な境界を与える。 我々は,線形しきい値ネットワークと呼ばれるニューラルネットワークの新たなクラスを提案する。
  論文  参考訳（メタデータ） (2021-11-15T22:33:52Z)
• Firefly Neural Architecture Descent: a General Approach for Growing Neural Networks [50.684661759340145]
  firefly neural architecture descentは、ニューラルネットワークを漸進的かつ動的に成長させるための一般的なフレームワークである。 ホタルの降下は、より広く、より深くネットワークを柔軟に成長させ、正確だがリソース効率のよいニューラルアーキテクチャを学習するために応用できることを示す。 特に、サイズは小さいが、最先端の手法で学習したネットワークよりも平均精度が高いネットワークを学習する。
  論文  参考訳（メタデータ） (2021-02-17T04:47:18Z)
• Theoretical Analysis of the Advantage of Deepening Neural Networks [0.0]
  ディープニューラルネットワークによって計算可能な関数の表現性を知ることが重要である。 この2つの基準により,深層ニューラルネットワークの表現性を向上させる上で,各層におけるユニットの増加よりも,レイヤの増加の方が効果的であることを示す。
  論文  参考訳（メタデータ） (2020-09-24T04:10:50Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Approximation smooth and sparse functions by deep neural networks without saturation [0.6396288020763143]
  本稿では,スムーズかつスパースな関数を近似するために,3つの層を隠蔽したディープニューラルネットワークを構築することを目的とする。 構成したディープネットは, 滑らかかつスパースな関数を制御可能な自由パラメータで近似することで, 最適近似率に達することを証明した。
  論文  参考訳（メタデータ） (2020-01-13T09:28:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。