論文の概要: Analyzing and Quantifying Generalization in Convolutional Neural Networks

• arxiv url: http://arxiv.org/abs/2104.00851v1
• Date: Fri, 2 Apr 2021 02:10:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-05 21:34:45.119448
• Title: Analyzing and Quantifying Generalization in Convolutional Neural Networks
• Title（参考訳）: 畳み込みニューラルネットワークにおける一般化の解析と定量化
• Authors: Yang Zhao and Hao Zhang
• Abstract要約: 一般化は畳み込みニューラルネットワーク(CNN)の鍵となる能力である 本稿では,CNNにおける個々のユニットの一般化状況を明らかにする。 また,複数クラスデータを用いた画像分類タスクを用いてネットワークの一般化能力を定量化する。
• 参考スコア（独自算出の注目度）: 23.965084518584298
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generalization is the key capability of convolutional neural networks (CNNs). However, it is still quite elusive for differentiating the CNNs with good or poor generalization. It results in the barrier for providing reliable quantitative measure of generalization ability. To this end, this paper aims to clarify the generalization status of individual units in typical CNNs and quantify the generalization ability of networks using image classification task with multiple classes data. Firstly, we propose a feature quantity, role share, consisting of four discriminate statuses for a certain unit based on its contribution to generalization. The distribution of role shares across all units provides a straightforward visualization for the generalization of a network. Secondly, using only training sets, we propose a novel metric for quantifying the intrinsic generalization ability of networks. Lastly, a predictor of testing accuracy via only training accuracy of typical CNN is given. Empirical experiments using practical network model (VGG) and dataset (ImageNet) illustrate the rationality and effectiveness of our feature quantity, metric and predictor.
• Abstract（参考訳）: 一般化は畳み込みニューラルネットワーク(CNN)の重要な機能である。 しかし、CNNを良いあるいは悪い一般化で差別化することは、まだかなりあり得ない。 その結果、一般化能力の信頼できる定量的指標を提供するための障壁となる。 本稿では,典型的なCNNにおける個々のユニットの一般化状況を明らかにし,複数のクラスデータを用いた画像分類タスクを用いてネットワークの一般化能力を定量化する。 まず,その一般化への貢献に基づいて,ある単位に対する4つの識別状態からなる特徴量,役割共有を提案する。 すべてのユニットにおけるロール共有の分布は、ネットワークの一般化を簡単に可視化する。 次に,トレーニングセットのみを用いて,ネットワークの固有汎化能力を定量化する新しい指標を提案する。 最後に、典型的なCNNのトレーニング精度のみによるテスト精度の予測を行う。 実用的ネットワークモデル(VGG)とデータセット(ImageNet)を用いた実証実験は,我々の特徴量,計量,予測器の合理性と有効性を示す。

関連論文リスト

• On Generalization Bounds for Deep Compound Gaussian Neural Networks [1.4425878137951238]
  Unrolled Deep Neural Network(DNN)は、標準的なDNNよりも優れた解釈性と優れた経験的パフォーマンスを提供する。 本稿では,複合ガウス事前情報に基づく非学習型DNNのクラスに対する新しい一般化誤差境界を開発する。 現実的な条件下では、最悪の場合、一般化誤差は信号次元で$mathcalO(nsqrt(n))$、ネットワークサイズで$mathcalO(($Network Size$)3/2)$である。
  論文  参考訳（メタデータ） (2024-02-20T16:01:39Z)
• Learning Expressive Priors for Generalization and Uncertainty Estimation in Neural Networks [77.89179552509887]
  本稿では,ディープニューラルネットワークにおける一般化と不確実性推定を推し進める新しい事前学習手法を提案する。 キーとなる考え方は、ニューラルネットワークのスケーラブルで構造化された後部を、一般化を保証する情報的事前として活用することである。 本研究では,不確実性推定と一般化における本手法の有効性を徹底的に示す。
  論文  参考訳（メタデータ） (2023-07-15T09:24:33Z)
• Towards Understanding the Generalization of Graph Neural Networks [9.217947432437546]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データ指向学習と表現において最も広く採用されているモデルである。 まず,帰納学習における一般化ギャップと勾配の確率境界を確立する。 理論的な結果は、一般化ギャップに影響を与えるアーキテクチャ固有の要因を明らかにする。
  論文  参考訳（メタデータ） (2023-05-14T03:05:14Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• Graph Neural Networks are Inherently Good Generalizers: Insights by Bridging GNNs and MLPs [71.93227401463199]
  本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。 PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
  論文  参考訳（メタデータ） (2022-12-18T08:17:32Z)
• Towards Better Out-of-Distribution Generalization of Neural Algorithmic Reasoning Tasks [51.8723187709964]
  ニューラルネットワーク推論タスクのOOD一般化について検討する。 目標は、ディープニューラルネットワークを使用して入出力ペアからアルゴリズムを学ぶことである。
  論文  参考訳（メタデータ） (2022-11-01T18:33:20Z)
• Why Robust Generalization in Deep Learning is Difficult: Perspective of Expressive Power [15.210336733607488]
  その結果, ニューラルネットワークのサイズが指数関数的でない限り, 分割されたデータの二項分類問題に対して, 一定の頑健な一般化ギャップが存在することがわかった。 ネットワークサイズに対して$exp(mathcalO(k))$を改良し、低ロバストな一般化誤差を実現する。
  論文  参考訳（メタデータ） (2022-05-27T09:53:04Z)
• Confidence Dimension for Deep Learning based on Hoeffding Inequality and Relative Evaluation [44.393256948610016]
  我々は,新しい信頼度次元(CD)の概念に基づいて,ディープニューラルネットワーク(DNN)の相対的一般化を測定し,ランク付けするために,複数の因子を用いることを提案する。 我々のCDは、全タスクにおいて完全精度のDNNとバイナリニューラルネットワーク(BNN)の両方に対して、一貫した信頼性のある測定値とランキングを得る。
  論文  参考訳（メタデータ） (2022-03-17T04:43:43Z)
• A Theoretical-Empirical Approach to Estimating Sample Complexity of DNNs [11.152761263415046]
  本稿では,深層ニューラルネットワーク(DNN)のトレーニングデータ量と一般化誤差のスケールについて考察する。 我々は、ディープネットワークに保持され、到達不能な容量尺度に依存しない一般化誤差の推定を導出する。
  論文  参考訳（メタデータ） (2021-05-05T05:14:08Z)
• A Survey on Assessing the Generalization Envelope of Deep Neural Networks: Predictive Uncertainty, Out-of-distribution and Adversarial Samples [77.99182201815763]
  ディープニューラルネットワーク(DNN)は多くのアプリケーションで最先端のパフォーマンスを達成する。 入力を受けたDNNが、通常、その決定基準が不透明であるため、正しい出力を提供するかどうかを事前に判断することは困難である。 本調査は,機械学習手法,特にDNNの一般化性能について,大規模フレームワーク内の3つの分野を関連づけるものである。
  論文  参考訳（メタデータ） (2020-08-21T09:12:52Z)
• Fast Learning of Graph Neural Networks with Guaranteed Generalizability: One-hidden-layer Case [93.37576644429578]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データから実際に学習する上で、近年大きな進歩を遂げている。 回帰問題と二項分類問題の両方に隠れ層を持つGNNの理論的に基底的な一般化可能性解析を行う。
  論文  参考訳（メタデータ） (2020-06-25T00:45:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。