論文の概要: Interplay between depth of neural networks and locality of target functions

• arxiv url: http://arxiv.org/abs/2201.12082v1
• Date: Fri, 28 Jan 2022 12:41:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-31 14:46:51.928402
• Title: Interplay between depth of neural networks and locality of target functions
• Title（参考訳）: ニューラルネットワークの深さとターゲット関数の局所性の間の相互作用
• Authors: Takashi Mori, Masahito Ueda
• Abstract要約: 対象関数の深度と局所性の間に顕著な相互作用を報告した。 深度は局所関数の学習には有益であるが,グローバル関数の学習には有害であることがわかった。
• 参考スコア（独自算出の注目度）: 5.33024001730262
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It has been recognized that heavily overparameterized deep neural networks (DNNs) exhibit surprisingly good generalization performance in various machine-learning tasks. Although benefits of depth have been investigated from different perspectives such as the approximation theory and the statistical learning theory, existing theories do not adequately explain the empirical success of overparameterized DNNs. In this work, we report a remarkable interplay between depth and locality of a target function. We introduce $k$-local and $k$-global functions, and find that depth is beneficial for learning local functions but detrimental to learning global functions. This interplay is not properly captured by the neural tangent kernel, which describes an infinitely wide neural network within the lazy learning regime.
• Abstract（参考訳）: 過パラメータの深層ニューラルネットワーク(dnn)は、さまざまな機械学習タスクにおいて驚くほど優れた一般化性能を示すことが認識されている。 近似理論や統計的学習理論など,様々な観点から深度の利点が研究されてきたが,既存の理論では過パラメータDNNの実証的成功を十分に説明できない。 本稿では,対象関数の深さと局所性との間に顕著な相互作用を示す。 我々は、k$-local と $k$-global 関数を導入し、深さは局所関数の学習に有用であるが、グローバル関数の学習に不利であることを見出した。 この相互作用は、遅延学習システム内で無限に広いニューラルネットワークを記述するニューラルネットワークによって適切にキャプチャされない。

関連論文リスト

• Deep Neural Networks are Adaptive to Function Regularity and Data Distribution in Approximation and Estimation [8.284464143581546]
  深層ニューラルネットワークが、異なる位置とスケールにわたる関数の異なる規則性にどのように適応するかを研究する。 この結果から,深部ニューラルネットワークは関数の正則性や不均一なデータ分布に適応していることが示唆された。
  論文  参考訳（メタデータ） (2024-06-08T02:01:50Z)
• Rank Diminishing in Deep Neural Networks [71.03777954670323]
  ニューラルネットワークのランクは、層をまたがる情報を測定する。 これは機械学習の幅広い領域にまたがる重要な構造条件の例である。 しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
  論文  参考訳（メタデータ） (2022-06-13T12:03:32Z)
• Optimal Approximation with Sparse Neural Networks and Applications [0.0]
  深い疎結合ニューラルネットワークを用いて、関数クラスの複雑性を$L(mathbb Rd)$で測定する。 また、ニューラルネットワークを誘導する関数の可算コレクションである表現システムについても紹介する。 次に、レート歪曲理論とウェッジレット構成を用いて、$beta$マンガ的関数と呼ばれるクラスの複雑性を分析する。
  論文  参考訳（メタデータ） (2021-08-14T05:14:13Z)
• What can linearized neural networks actually say about generalization? [67.83999394554621]
  ある無限大のニューラルネットワークにおいて、ニューラル・タンジェント・カーネル(NTK)理論は一般化を完全に特徴づける。 線形近似は、ニューラルネットワークの特定のタスクの学習複雑性を確実にランク付けできることを示す。 我々の研究は、将来の理論的研究を刺激する新しい深層学習現象の具体例を提供する。
  論文  参考訳（メタデータ） (2021-06-12T13:05:11Z)
• Learning Structures for Deep Neural Networks [99.8331363309895]
  我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。 スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。 公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
  論文  参考訳（メタデータ） (2021-05-27T12:27:24Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• The Connection Between Approximation, Depth Separation and Learnability in Neural Networks [70.55686685872008]
  学習可能性と近似能力の関係について検討する。 対象関数の深いネットワークでの学習性は、より単純なクラスがターゲットを近似する能力に依存することを示す。
  論文  参考訳（メタデータ） (2021-01-31T11:32:30Z)
• Topological obstructions in neural networks learning [67.8848058842671]
  損失勾配関数フローのグローバル特性について検討する。 損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
  論文  参考訳（メタデータ） (2020-12-31T18:53:25Z)
• Is deeper better? It depends on locality of relevant features [5.33024001730262]
  過パラメータ化方式における深さ増加の効果について検討する。 実験では、より深いラベルはローカルレーベルにとって、より浅いラベルはグローバルレーベルにとって、より優れていることが示されている。 ニューラルネットワークは、一般化性能の深さ依存性を正しく捉えていない。
  論文  参考訳（メタデータ） (2020-05-26T02:44:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。