論文の概要: Is deeper better? It depends on locality of relevant features

• arxiv url: http://arxiv.org/abs/2005.12488v2
• Date: Wed, 27 Jan 2021 12:22:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-28 23:48:01.256472
• Title: Is deeper better? It depends on locality of relevant features
• Title（参考訳）: もっといいのか? 関連する特徴の局所性によって
• Authors: Takashi Mori, Masahito Ueda
• Abstract要約: 過パラメータ化方式における深さ増加の効果について検討する。 実験では、より深いラベルはローカルレーベルにとって、より浅いラベルはグローバルレーベルにとって、より優れていることが示されている。 ニューラルネットワークは、一般化性能の深さ依存性を正しく捉えていない。
• 参考スコア（独自算出の注目度）: 5.33024001730262
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It has been recognized that a heavily overparameterized artificial neural network exhibits surprisingly good generalization performance in various machine-learning tasks. Recent theoretical studies have made attempts to unveil the mystery of the overparameterization. In most of those previous works, the overparameterization is achieved by increasing the width of the network, while the effect of increasing the depth has remained less well understood. In this work, we investigate the effect of increasing the depth within an overparameterized regime. To gain an insight into the advantage of depth, we introduce local and global labels as abstract but simple classification rules. It turns out that the locality of the relevant feature for a given classification rule plays a key role; our experimental results suggest that deeper is better for local labels, whereas shallower is better for global labels. We also compare the results of finite networks with those of the neural tangent kernel (NTK), which is equivalent to an infinitely wide network with a proper initialization and an infinitesimal learning rate. It is shown that the NTK does not correctly capture the depth dependence of the generalization performance, which indicates the importance of the feature learning rather than the lazy learning.
• Abstract（参考訳）: 過パラメータなニューラルネットワークは、さまざまな機械学習タスクにおいて驚くほど優れた一般化性能を示すことが認識されている。 最近の理論的研究は、過度パラメータ化の謎を明らかにする試みを行っている。 これまでのほとんどの作品では、ネットワーク幅を増加させることで過小パラメータ化を実現しているが、深さを増加させる効果はよく分かっていない。 本研究は,過パラメータ領域における深さ増加の効果について検討する。 深度を活かすために,局所ラベルとグローバルラベルを抽象的だが単純な分類規則として導入する。 その結果,各分類規則の局所性は重要な役割を担っていることが明らかとなった。実験結果から,地域ラベルでは深度がよいが,グローバルラベルでは浅度がよいことが示唆された。 また、有限ネットワークの結果を、適切な初期化と無限小学習率を持つ無限広ネットワークと等価であるニューラル・タンジェント・カーネル(NTK)の結果と比較する。 ntkは一般化性能の深さ依存性を正しく捉えていないことが示され,遅延学習よりも特徴学習の重要性が示唆された。

関連論文リスト

• SAR Despeckling Using Overcomplete Convolutional Networks [53.99620005035804]
  スペックルはSAR画像を劣化させるため、リモートセンシングにおいて重要な問題である。 近年の研究では、畳み込みニューラルネットワーク(CNN)が古典的解法よりも優れていることが示されている。 本研究は、受容場を制限することで低レベルの特徴を学習することに集中するために、過剰なCNNアーキテクチャを用いる。 本稿では,合成および実SAR画像の非特定化手法と比較して,提案手法により非特定化性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-05-31T15:55:37Z)
• Wide and Deep Neural Networks Achieve Optimality for Classification [23.738242876364865]
  我々は、最適性を達成するニューラルネットワーク分類器の明示的な集合を同定し、構築する。 特に、最適性を実現するネットワーク構築に使用できる明示的なアクティベーション関数を提供する。 その結果,過度な深度が有害な回帰タスクとは対照的に,分類タスクにディープネットワークを使用することの利点が浮き彫りになった。
  論文  参考訳（メタデータ） (2022-04-29T14:27:42Z)
• Interplay between depth of neural networks and locality of target functions [5.33024001730262]
  対象関数の深度と局所性の間に顕著な相互作用を報告した。 深度は局所関数の学習には有益であるが,グローバル関数の学習には有害であることがわかった。
  論文  参考訳（メタデータ） (2022-01-28T12:41:24Z)
• Optimization-Based Separations for Neural Networks [57.875347246373956]
  本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。 これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
  論文  参考訳（メタデータ） (2021-12-04T18:07:47Z)
• Learning Structures for Deep Neural Networks [99.8331363309895]
  我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。 スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。 公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
  論文  参考訳（メタデータ） (2021-05-27T12:27:24Z)
• The Connection Between Approximation, Depth Separation and Learnability in Neural Networks [70.55686685872008]
  学習可能性と近似能力の関係について検討する。 対象関数の深いネットワークでの学習性は、より単純なクラスがターゲットを近似する能力に依存することを示す。
  論文  参考訳（メタデータ） (2021-01-31T11:32:30Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Depth Selection for Deep ReLU Nets in Feature Extraction and Generalization [22.696129751033983]
  本研究では,従来の経験的リスク最小化を深層ネットに実装することで,多くの学習課題に対して最適な一般化性能が得られることを示す。 本研究は, トイシミュレーションや地震震度予測の実用化など, 一連の数値実験により検証した。
  論文  参考訳（メタデータ） (2020-04-01T06:03:01Z)
• Distance-Based Regularisation of Deep Networks for Fine-Tuning [116.71288796019809]
  我々は,仮説クラスを,初期訓練前の重みを中心にした小さな球面に制約するアルゴリズムを開発した。 実験的な評価は、我々のアルゴリズムがうまく機能していることを示し、理論的な結果を裏付けるものである。
  論文  参考訳（メタデータ） (2020-02-19T16:00:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。