論文の概要: With Greater Distance Comes Worse Performance: On the Perspective of
Layer Utilization and Model Generalization
- arxiv url: http://arxiv.org/abs/2201.11939v1
- Date: Fri, 28 Jan 2022 05:26:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-01 04:29:50.855155
- Title: With Greater Distance Comes Worse Performance: On the Perspective of
Layer Utilization and Model Generalization
- Title（参考訳）: より大きな距離を持つとパフォーマンスが悪化する:層利用とモデル一般化の観点から
- Authors: James Wang, Cheng-Lin Yang
- Abstract要約: ディープニューラルネットワークの一般化は、マシンラーニングにおける主要なオープンな問題の1つだ。
初期のレイヤは一般的に、トレーニングデータとテストデータの両方のパフォーマンスに関する表現を学びます。
より深いレイヤは、トレーニングのリスクを最小限に抑え、テストや不正なラベル付けされたデータとうまく連携できない。
- 参考スコア（独自算出の注目度）: 3.6321778403619285
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generalization of deep neural networks remains one of the main open problems
in machine learning. Previous theoretical works focused on deriving tight
bounds of model complexity, while empirical works revealed that neural networks
exhibit double descent with respect to both training sample counts and the
neural network size. In this paper, we empirically examined how different
layers of neural networks contribute differently to the model; we found that
early layers generally learn representations relevant to performance on both
training data and testing data. Contrarily, deeper layers only minimize
training risks and fail to generalize well with testing or mislabeled data. We
further illustrate the distance of trained weights to its initial value of
final layers has high correlation to generalization errors and can serve as an
indicator of an overfit of model. Moreover, we show evidence to support
post-training regularization by re-initializing weights of final layers. Our
findings provide an efficient method to estimate the generalization capability
of neural networks, and the insight of those quantitative results may inspire
derivation to better generalization bounds that take the internal structure of
neural networks into consideration.
- Abstract（参考訳）: ディープニューラルネットワークの一般化は、マシンラーニングにおける主要なオープン問題の1つだ。
モデル複雑性の厳密な境界を導出することに焦点を当てた以前の理論研究では、ニューラルネットワークがトレーニングサンプル数とニューラルネットワークのサイズの両方に関して二重降下を示すことが示されている。
本稿では、ニューラルネットワークの異なる層がモデルにどのように貢献するかを実証的に検討し、初期の層は、トレーニングデータとテストデータの両方で、パフォーマンスに関連する表現を一般的に学習していることを発見した。
逆に、より深い層はトレーニングのリスクを最小にし、テストや誤ったラベルデータの一般化に失敗します。
さらに、トレーニングされた重みと最終層の初期値との距離が一般化誤差と高い相関を持ち、モデルの過度な適合の指標として機能することを示す。
さらに,最終層の重みを再初期化することにより,トレーニング後の正規化を支援する証拠を示す。
本研究は,ニューラルネットワークの一般化能力を効率的に推定する手法であり,ニューラルネットワークの内部構造を考慮したより優れた一般化境界への導出を促すことができる。
関連論文リスト
- Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
本稿では,重み空間学習におけるSANEアプローチを紹介する。
ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
論文 参考訳（メタデータ） (2024-06-14T13:12:07Z) - Fundamental limits of overparametrized shallow neural networks for
supervised learning [11.136777922498355]
本研究では,教師ネットワークが生成した入力-出力ペアから学習した2層ニューラルネットワークについて検討する。
この結果は,トレーニングデータとネットワーク重み間の相互情報,すなわちベイズ最適一般化誤差に関連する境界の形で得られる。
論文 参考訳（メタデータ） (2023-07-11T08:30:50Z) - Sparsity-aware generalization theory for deep neural networks [12.525959293825318]
本稿では、ディープフィードフォワードReLUネットワークの一般化を解析するための新しいアプローチを提案する。
空間性と一般化の基本的なトレードオフを示す。
論文 参考訳（メタデータ） (2023-07-01T20:59:05Z) - Generalization and Estimation Error Bounds for Model-based Neural
Networks [78.88759757988761]
スパースリカバリのためのモデルベースネットワークの一般化能力は、通常のReLUネットワークよりも優れていることを示す。
我々は,高一般化を保証したモデルベースネットワークの構築を可能にする実用的な設計規則を導出する。
論文 参考訳（メタデータ） (2023-04-19T16:39:44Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity
on Pruned Neural Networks [79.74580058178594]
目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。
本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
論文 参考訳（メタデータ） (2021-10-12T01:11:07Z) - Learning and Generalization in Overparameterized Normalizing Flows [13.074242275886977]
正規化フロー(NF)は教師なし学習において重要なモデルのクラスである。
既存のNFモデルの大部分を含むNFのクラスでは、過度なパラメトリゼーションがトレーニングを損なうという理論的および実証的な証拠を提供する。
ネットワークが過度にパラメータ化されている場合、最小限の仮定の下で、制約のないNFが妥当なデータ分布を効率的に学習できることを実証する。
論文 参考訳（メタデータ） (2021-06-19T17:11:42Z) - What can linearized neural networks actually say about generalization? [67.83999394554621]
ある無限大のニューラルネットワークにおいて、ニューラル・タンジェント・カーネル(NTK)理論は一般化を完全に特徴づける。
線形近似は、ニューラルネットワークの特定のタスクの学習複雑性を確実にランク付けできることを示す。
我々の研究は、将来の理論的研究を刺激する新しい深層学習現象の具体例を提供する。
論文 参考訳（メタデータ） (2021-06-12T13:05:11Z) - Persistent Homology Captures the Generalization of Neural Networks
Without A Validation Set [0.0]
本稿では,代数的トポロジー,特に永続的ホモロジーを用いたニューラルネットワークのトレーニングについて考察する。
ニューラルネットワークの単純な複雑な表現を用いて、ニューラルネットワーク学習プロセスにおけるPHダイアグラム距離の進化について検討する。
その結果,連続するニューラルネットワーク状態間のPHダイアグラム距離は,検証精度と相関していることがわかった。
論文 参考訳（メタデータ） (2021-05-31T09:17:31Z) - Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。
本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
論文 参考訳（メタデータ） (2020-01-14T22:26:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。