論文の概要: An Information-Theoretic Framework for Supervised Learning
- arxiv url: http://arxiv.org/abs/2203.00246v6
- Date: Fri, 24 Mar 2023 19:48:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-29 03:52:12.142817
- Title: An Information-Theoretic Framework for Supervised Learning
- Title（参考訳）: 教師付き学習のための情報理論枠組み
- Authors: Hong Jun Jeon and Yifan Zhu and Benjamin Van Roy
- Abstract要約: 後悔とサンプルの複雑さという独自の概念を持つ新しい情報理論フレームワークを提案する。
本稿では、ReLUアクティベーションユニットを用いたディープニューラルネットワークによって生成されたデータから学習する際のサンプルの複雑さについて検討する。
我々は、ランダムな単層ニューラルネットワークの実験的な解析により、理論結果を裏付けることで結論付ける。
- 参考スコア（独自算出の注目度）: 22.280001450122175
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Each year, deep learning demonstrates new and improved empirical results with
deeper and wider neural networks. Meanwhile, with existing theoretical
frameworks, it is difficult to analyze networks deeper than two layers without
resorting to counting parameters or encountering sample complexity bounds that
are exponential in depth. Perhaps it may be fruitful to try to analyze modern
machine learning under a different lens. In this paper, we propose a novel
information-theoretic framework with its own notions of regret and sample
complexity for analyzing the data requirements of machine learning. With our
framework, we first work through some classical examples such as scalar
estimation and linear regression to build intuition and introduce general
techniques. Then, we use the framework to study the sample complexity of
learning from data generated by deep neural networks with ReLU activation
units. For a particular prior distribution on weights, we establish sample
complexity bounds that are simultaneously width independent and linear in
depth. This prior distribution gives rise to high-dimensional latent
representations that, with high probability, admit reasonably accurate
low-dimensional approximations. We conclude by corroborating our theoretical
results with experimental analysis of random single-hidden-layer neural
networks.
- Abstract（参考訳）: ディープラーニングは毎年、より深く広いニューラルネットワークを使って、新しい、そして改善された経験的な結果を示す。
一方、既存の理論的枠組みでは、パラメータをカウントしたり、指数関数的なサンプル複雑性境界に遭遇することなく、2層以上のネットワークを解析することは困難である。
おそらく、異なるレンズの下で現代の機械学習を分析するのは実りあるかもしれない。
本稿では,機械学習のデータ要求を分析するために,後悔とサンプルの複雑さという独自の概念を持つ新しい情報理論フレームワークを提案する。
このフレームワークでは,まずスカラー推定や線形回帰といった古典的な例を通して直観を構築し,一般的な手法を導入する。
次に,このフレームワークを用いて,reluアクティベーションユニットを用いたディープニューラルネットワークが生成するデータから学習のサンプル複雑性を調べる。
重みに関する特定の事前分布に対して、幅が独立で深さが線形なサンプル複雑性境界を確立する。
この事前分布は、高い確率で合理的に正確な低次元近似を許容する高次元の潜在表現をもたらす。
我々は、ランダム単一隠れ層ニューラルネットワークの実験解析により、理論結果を裏付ける。
関連論文リスト
- Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。
3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
論文 参考訳（メタデータ） (2024-10-31T22:54:34Z) - Fundamental limits of overparametrized shallow neural networks for
supervised learning [11.136777922498355]
本研究では,教師ネットワークが生成した入力-出力ペアから学習した2層ニューラルネットワークについて検討する。
この結果は,トレーニングデータとネットワーク重み間の相互情報,すなわちベイズ最適一般化誤差に関連する境界の形で得られる。
論文 参考訳（メタデータ） (2023-07-11T08:30:50Z) - Joint Edge-Model Sparse Learning is Provably Efficient for Graph Neural
Networks [89.28881869440433]
本稿では,グラフニューラルネットワーク(GNN)における結合エッジモデルスパース学習の理論的特徴について述べる。
解析学的には、重要なノードをサンプリングし、最小のマグニチュードでプルーニングニューロンをサンプリングすることで、サンプルの複雑さを減らし、テスト精度を損なうことなく収束を改善することができる。
論文 参考訳（メタデータ） (2023-02-06T16:54:20Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - With Greater Distance Comes Worse Performance: On the Perspective of
Layer Utilization and Model Generalization [3.6321778403619285]
ディープニューラルネットワークの一般化は、マシンラーニングにおける主要なオープンな問題の1つだ。
初期のレイヤは一般的に、トレーニングデータとテストデータの両方のパフォーマンスに関する表現を学びます。
より深いレイヤは、トレーニングのリスクを最小限に抑え、テストや不正なラベル付けされたデータとうまく連携できない。
論文 参考訳（メタデータ） (2022-01-28T05:26:32Z) - Generalization Error Bounds for Iterative Recovery Algorithms Unfolded
as Neural Networks [6.173968909465726]
線形測定の少ないスパース再構成に適したニューラルネットワークの一般クラスを導入する。
層間の重量共有を広範囲に行うことで、全く異なるニューラルネットワークタイプに対する統一的な分析を可能にします。
論文 参考訳（メタデータ） (2021-12-08T16:17:33Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳（メタデータ） (2021-04-29T14:31:09Z) - Generalized Approach to Matched Filtering using Neural Networks [4.535489275919893]
我々は,新たな深層学習と従来の技術との関係について重要な観察を行う。
一致するフィルタリングは、特定のニューラルネットワークと正式に等価です。
提案するニューラルネットワークアーキテクチャがマッチングフィルタリングよりも優れていることを示す。
論文 参考訳（メタデータ） (2021-04-08T17:59:07Z) - Anomaly Detection on Attributed Networks via Contrastive Self-Supervised
Learning [50.24174211654775]
本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。
このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。
高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
論文 参考訳（メタデータ） (2021-02-27T03:17:20Z) - Correlator Convolutional Neural Networks: An Interpretable Architecture
for Image-like Quantum Matter Data [15.283214387433082]
本研究では,物理オブザーバブルの観点から直接解釈可能なデータの特徴を発見するネットワークアーキテクチャを開発する。
私たちのアプローチは、シンプルでエンドツーエンドの解釈可能なアーキテクチャの構築に役立ちます。
論文 参考訳（メタデータ） (2020-11-06T17:04:10Z) - Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。
本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
論文 参考訳（メタデータ） (2020-01-14T22:26:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。