論文の概要: Understanding Generalization in Deep Learning via Tensor Methods
- arxiv url: http://arxiv.org/abs/2001.05070v2
- Date: Sun, 10 May 2020 03:38:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-11 12:05:34.180434
- Title: Understanding Generalization in Deep Learning via Tensor Methods
- Title（参考訳）: テンソル法によるディープラーニングの一般化理解
- Authors: Jingling Li, Yanchao Sun, Jiahao Su, Taiji Suzuki, Furong Huang
- Abstract要約: 圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。
本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
- 参考スコア（独自算出の注目度）: 53.808840694241
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural networks generalize well on unseen data though the number of
parameters often far exceeds the number of training examples. Recently proposed
complexity measures have provided insights to understanding the
generalizability in neural networks from perspectives of PAC-Bayes, robustness,
overparametrization, compression and so on. In this work, we advance the
understanding of the relations between the network's architecture and its
generalizability from the compression perspective. Using tensor analysis, we
propose a series of intuitive, data-dependent and easily-measurable properties
that tightly characterize the compressibility and generalizability of neural
networks; thus, in practice, our generalization bound outperforms the previous
compression-based ones, especially for neural networks using tensors as their
weight kernels (e.g. CNNs). Moreover, these intuitive measurements provide
further insights into designing neural network architectures with properties
favorable for better/guaranteed generalizability. Our experimental results
demonstrate that through the proposed measurable properties, our generalization
error bound matches the trend of the test error well. Our theoretical analysis
further provides justifications for the empirical success and limitations of
some widely-used tensor-based compression approaches. We also discover the
improvements to the compressibility and robustness of current neural networks
when incorporating tensor operations via our proposed layer-wise structure.
- Abstract（参考訳）: ディープニューラルネットワークは、未知のデータにうまく一般化するが、パラメータの数はトレーニングサンプル数をはるかに超えることが多い。
最近提案された複雑性尺度は、PACベイズ、堅牢性、過度なパラメータ化、圧縮などの観点から、ニューラルネットワークの一般化可能性を理解するための洞察を提供する。
本稿では,ネットワークのアーキテクチャとその一般化性との関係を圧縮の観点から理解する。
テンソル解析を用いて, ニューラルネットワークの圧縮性と一般化性を密に特徴付ける, 直感的かつデータ依存的, 容易に測定可能な一連の特性を提案する。
さらに、これらの直感的な測定は、より良い/保証された一般化性に好適な特性を持つニューラルネットワークアーキテクチャの設計に関するさらなる洞察を提供する。
実験の結果,提案する測定可能な特性により,一般化誤差のバウンドがテスト誤差の傾向によく一致することがわかった。
我々の理論解析は、広く使われているテンソルベースの圧縮手法の実証的な成功と限界をさらに正当化する。
また,提案する層間構造によるテンソル演算を組み込んだ場合,現在のニューラルネットワークの圧縮性とロバスト性の改善も見いだされる。
関連論文リスト
- Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。
単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。
これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文 参考訳（メタデータ） (2023-07-20T13:34:11Z) - Sparsity-aware generalization theory for deep neural networks [12.525959293825318]
本稿では、ディープフィードフォワードReLUネットワークの一般化を解析するための新しいアプローチを提案する。
空間性と一般化の基本的なトレードオフを示す。
論文 参考訳（メタデータ） (2023-07-01T20:59:05Z) - Generalization and Estimation Error Bounds for Model-based Neural
Networks [78.88759757988761]
スパースリカバリのためのモデルベースネットワークの一般化能力は、通常のReLUネットワークよりも優れていることを示す。
我々は,高一般化を保証したモデルベースネットワークの構築を可能にする実用的な設計規則を導出する。
論文 参考訳（メタデータ） (2023-04-19T16:39:44Z) - Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。
我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。
ニューラルネットの様々な特性をこの新しいカーネルで研究する。
論文 参考訳（メタデータ） (2023-01-01T02:11:39Z) - With Greater Distance Comes Worse Performance: On the Perspective of
Layer Utilization and Model Generalization [3.6321778403619285]
ディープニューラルネットワークの一般化は、マシンラーニングにおける主要なオープンな問題の1つだ。
初期のレイヤは一般的に、トレーニングデータとテストデータの両方のパフォーマンスに関する表現を学びます。
より深いレイヤは、トレーニングのリスクを最小限に抑え、テストや不正なラベル付けされたデータとうまく連携できない。
論文 参考訳（メタデータ） (2022-01-28T05:26:32Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳（メタデータ） (2021-04-29T14:31:09Z) - Formalizing Generalization and Robustness of Neural Networks to Weight
Perturbations [58.731070632586594]
非負のモノトーンアクティベーション機能を備えたフィードフォワードニューラルネットワークの重量変動に対する最初の形式解析を提供します。
また,重みの摂動に対して一般化し頑健なニューラルネットワークを訓練するための新しい理論駆動損失関数を設計した。
論文 参考訳（メタデータ） (2021-03-03T06:17:03Z) - Tensor-Train Networks for Learning Predictive Modeling of
Multidimensional Data [0.0]
有望な戦略は、物理的および化学的用途で非常に成功したテンソルネットワークに基づいています。
本研究では, 多次元回帰モデルの重みをテンソルネットワークを用いて学習し, 強力なコンパクト表現を実現することを示した。
TT形式の重みを計算力の低減で近似するための最小二乗を交互に行うアルゴリズムが提案されている。
論文 参考訳（メタデータ） (2021-01-22T16:14:38Z) - Compressive Sensing and Neural Networks from a Statistical Learning
Perspective [4.561032960211816]
線形測定の少ないスパース再構成に適したニューラルネットワークのクラスに対する一般化誤差解析を提案する。
現実的な条件下では、一般化誤差は層数で対数的にしかスケールせず、測定数ではほとんど線形である。
論文 参考訳（メタデータ） (2020-10-29T15:05:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。