Fugu-MT 論文翻訳(概要): Sample Complexity versus Depth: An Information Theoretic Analysis

論文の概要: Sample Complexity versus Depth: An Information Theoretic Analysis

arxiv url: http://arxiv.org/abs/2203.00246v1
Date: Tue, 1 Mar 2022 05:58:28 GMT
ステータス: 処理完了
システム内更新日: 2022-03-02 13:42:14.845280
Title: Sample Complexity versus Depth: An Information Theoretic Analysis
Title（参考訳）: サンプル複雑度と深さ:情報理論解析
Authors: Hong Jun Jeon and Benjamin Van Roy
Abstract要約: 深層ニューラルネットワークが適しているように見える種類の多層データ生成過程を学習する際のサンプル複雑性について検討する。我々は、任意のデータ生成プロセスの分析が可能な汎用的でエレガントな情報理論ツールを開発する。
参考スコア（独自算出の注目度）: 16.967568120384957
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Deep learning has proven effective across a range of data sets. In light of this, a natural inquiry is: "for what data generating processes can deep learning succeed?" In this work, we study the sample complexity of learning multilayer data generating processes of a sort for which deep neural networks seem to be suited. We develop general and elegant information-theoretic tools that accommodate analysis of any data generating process -- shallow or deep, parametric or nonparametric, noiseless or noisy. We then use these tools to characterize the dependence of sample complexity on the depth of multilayer processes. Our results indicate roughly linear dependence on depth. This is in contrast to previous results that suggest exponential or high-order polynomial dependence.
Abstract（参考訳）: ディープラーニングは、さまざまなデータセットで有効であることが証明されている。これを踏まえて、自然な調査は、"どんなデータ生成プロセスがディープラーニングを成功させるのか? 本研究では,深層ニューラルネットワークが適しているように見える多層データ生成過程のサンプル複雑性について検討する。浅層、深層、パラメトリック、非パラメトリック、ノイズなし、ノイズなど、あらゆるデータ生成プロセスの分析に対応する汎用的でエレガントな情報理論ツールを開発した。次に、これらのツールを用いて、多層プロセスの深さに対するサンプルの複雑さの依存性を特徴づける。以上の結果から, 深さに対する線形依存が示唆された。これは指数的あるいは高次多項式依存を示唆する以前の結果とは対照的である。

関連論文リスト

Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
論文参考訳（メタデータ） (2024-10-31T22:54:34Z)
Fundamental limits of overparametrized shallow neural networks for supervised learning [11.136777922498355]
本研究では,教師ネットワークが生成した入力-出力ペアから学習した2層ニューラルネットワークについて検討する。この結果は,トレーニングデータとネットワーク重み間の相互情報,すなわちベイズ最適一般化誤差に関連する境界の形で得られる。
論文参考訳（メタデータ） (2023-07-11T08:30:50Z)
Joint Edge-Model Sparse Learning is Provably Efficient for Graph Neural Networks [89.28881869440433]
本稿では,グラフニューラルネットワーク(GNN)における結合エッジモデルスパース学習の理論的特徴について述べる。解析学的には、重要なノードをサンプリングし、最小のマグニチュードでプルーニングニューロンをサンプリングすることで、サンプルの複雑さを減らし、テスト精度を損なうことなく収束を改善することができる。
論文参考訳（メタデータ） (2023-02-06T16:54:20Z)
Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文参考訳（メタデータ） (2022-02-01T17:11:13Z)
With Greater Distance Comes Worse Performance: On the Perspective of Layer Utilization and Model Generalization [3.6321778403619285]
ディープニューラルネットワークの一般化は、マシンラーニングにおける主要なオープンな問題の1つだ。初期のレイヤは一般的に、トレーニングデータとテストデータの両方のパフォーマンスに関する表現を学びます。より深いレイヤは、トレーニングのリスクを最小限に抑え、テストや不正なラベル付けされたデータとうまく連携できない。
論文参考訳（メタデータ） (2022-01-28T05:26:32Z)
Generalization Error Bounds for Iterative Recovery Algorithms Unfolded as Neural Networks [6.173968909465726]
線形測定の少ないスパース再構成に適したニューラルネットワークの一般クラスを導入する。層間の重量共有を広範囲に行うことで、全く異なるニューラルネットワークタイプに対する統一的な分析を可能にします。
論文参考訳（メタデータ） (2021-12-08T16:17:33Z)
A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文参考訳（メタデータ） (2021-04-29T14:31:09Z)
Generalized Approach to Matched Filtering using Neural Networks [4.535489275919893]
我々は,新たな深層学習と従来の技術との関係について重要な観察を行う。一致するフィルタリングは、特定のニューラルネットワークと正式に等価です。提案するニューラルネットワークアーキテクチャがマッチングフィルタリングよりも優れていることを示す。
論文参考訳（メタデータ） (2021-04-08T17:59:07Z)
Anomaly Detection on Attributed Networks via Contrastive Self-Supervised Learning [50.24174211654775]
本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
論文参考訳（メタデータ） (2021-02-27T03:17:20Z)
Correlator Convolutional Neural Networks: An Interpretable Architecture for Image-like Quantum Matter Data [15.283214387433082]
本研究では,物理オブザーバブルの観点から直接解釈可能なデータの特徴を発見するネットワークアーキテクチャを開発する。私たちのアプローチは、シンプルでエンドツーエンドの解釈可能なアーキテクチャの構築に役立ちます。
論文参考訳（メタデータ） (2020-11-06T17:04:10Z)
Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
論文参考訳（メタデータ） (2020-01-14T22:26:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。