論文の概要: Exploiting the Full Capacity of Deep Neural Networks while Avoiding
Overfitting by Targeted Sparsity Regularization
- arxiv url: http://arxiv.org/abs/2002.09237v1
- Date: Fri, 21 Feb 2020 11:38:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-30 00:14:47.751736
- Title: Exploiting the Full Capacity of Deep Neural Networks while Avoiding
Overfitting by Targeted Sparsity Regularization
- Title（参考訳）: ターゲットスペーサ正規化によるオーバーフィッティングを回避しつつ、ディープニューラルネットワークの全容量を爆発させる
- Authors: Karim Huesmann, Soeren Klemm, Lars Linsen and Benjamin Risse
- Abstract要約: オーバーフィッティングは、比較的小さなデータセットでディープニューラルネットワークをトレーニングする際の最も一般的な問題の1つである。
オーバーフィッティング対策として, 新規な対象空間可視化と正規化戦略を提案する。
- 参考スコア（独自算出の注目度）: 1.3764085113103217
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Overfitting is one of the most common problems when training deep neural
networks on comparatively small datasets. Here, we demonstrate that neural
network activation sparsity is a reliable indicator for overfitting which we
utilize to propose novel targeted sparsity visualization and regularization
strategies. Based on these strategies we are able to understand and counteract
overfitting caused by activation sparsity and filter correlation in a targeted
layer-by-layer manner. Our results demonstrate that targeted sparsity
regularization can efficiently be used to regularize well-known datasets and
architectures with a significant increase in image classification performance
while outperforming both dropout and batch normalization. Ultimately, our study
reveals novel insights into the contradicting concepts of activation sparsity
and network capacity by demonstrating that targeted sparsity regularization
enables salient and discriminative feature learning while exploiting the full
capacity of deep models without suffering from overfitting, even when trained
excessively.
- Abstract（参考訳）: オーバーフィッティングは、比較的小さなデータセットでディープニューラルネットワークをトレーニングする際の最も一般的な問題のひとつである。
本稿では、ニューラルネットワークの活性化空間が、新しい標的空間の可視化と正規化戦略を提案するために、オーバーフィッティングの信頼性の高い指標であることを示す。
これらの戦略に基づいて,活性化間隔とフィルタ相関による過度適合を層ごとの層単位で理解し,対処することができる。
本研究は,画像分類性能を著しく向上させながら,分散正規化とバッチ正規化を両立させながら,既知のデータセットやアーキテクチャを効率的に正規化できることを示す。
本研究は, 過度に訓練しても, 過度に訓練しても, 過度に適合することなく, 深層モデルの容量を最大限に活用しながら, 有効かつ差別的な特徴学習を可能にすることを示すことによって, 活性化空間とネットワーク容量の相反する概念に関する新たな知見を明らかにした。
関連論文リスト
- Normalization and effective learning rates in reinforcement learning [52.59508428613934]
正規化層は近年,深層強化学習と連続学習文学においてルネッサンスを経験している。
正規化は、ネットワークパラメータのノルムにおける成長と効果的な学習速度における崩壊の間の等価性という、微妙だが重要な副作用をもたらすことを示す。
そこで本研究では,正規化・プロジェクトと呼ぶ単純な再パラメータ化により,学習率を明示的にする手法を提案する。
論文 参考訳（メタデータ） (2024-07-01T20:58:01Z) - Towards Improving Robustness Against Common Corruptions using Mixture of
Class Specific Experts [10.27974860479791]
本稿では,クラス特化エキスパートアーキテクチャの混合として知られる新しいパラダイムを紹介する。
提案したアーキテクチャは、一般的なニューラルネットワーク構造に関連する脆弱性を軽減することを目的としている。
論文 参考訳（メタデータ） (2023-11-16T20:09:47Z) - Sparsity-aware generalization theory for deep neural networks [12.525959293825318]
本稿では、ディープフィードフォワードReLUネットワークの一般化を解析するための新しいアプローチを提案する。
空間性と一般化の基本的なトレードオフを示す。
論文 参考訳（メタデータ） (2023-07-01T20:59:05Z) - Clustering-Based Interpretation of Deep ReLU Network [17.234442722611803]
我々はReLU関数の非線形挙動が自然なクラスタリングを引き起こすことを認識している。
本稿では,完全連結フィードフォワードReLUニューラルネットワークの解釈可能性を高める手法を提案する。
論文 参考訳（メタデータ） (2021-10-13T09:24:11Z) - Residual Error: a New Performance Measure for Adversarial Robustness [85.0371352689919]
ディープラーニングの広く普及を制限する大きな課題は、敵の攻撃に対する脆弱さである。
本研究は,ディープニューラルネットワークの対角強靭性を評価するための新しい性能尺度である残留誤差の概念を提示する。
画像分類を用いた実験結果から,提案手法の有効性と有効性を示した。
論文 参考訳（メタデータ） (2021-06-18T16:34:23Z) - The Impact of Activation Sparsity on Overfitting in Convolutional Neural
Networks [1.9424280683610138]
オーバーフィッティングは畳み込みニューラルネットワークのトレーニングにおける基本的な課題の1つです。
本研究では,レイヤワイドアクティベーション対策の導出と可視化を目的としたパープレキシティに基づく空間性定義を提案する。
論文 参考訳（メタデータ） (2021-04-13T12:55:37Z) - Anomaly Detection on Attributed Networks via Contrastive Self-Supervised
Learning [50.24174211654775]
本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。
このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。
高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
論文 参考訳（メタデータ） (2021-02-27T03:17:20Z) - Sparsity in Deep Learning: Pruning and growth for efficient inference
and training in neural networks [78.47459801017959]
Sparsityは、モバイル機器に適合する通常のネットワークのメモリフットプリントを減らすことができる。
ニューラルネットワークの要素を除去および追加するためのアプローチ、モデルの疎性を達成するための異なるトレーニング戦略、実際に疎性を利用するメカニズムについて説明する。
論文 参考訳（メタデータ） (2021-01-31T22:48:50Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z) - Untangling tradeoffs between recurrence and self-attention in neural
networks [81.30894993852813]
本稿では,再帰的ネットワークにおける自己注意が勾配伝播に与える影響を公式に分析する。
長期的な依存関係を捉えようとするとき、勾配をなくすことの問題を緩和することを証明する。
本稿では,スパース自己アテンションを反復的にスケーラブルに利用するための関連性スクリーニング機構を提案する。
論文 参考訳（メタデータ） (2020-06-16T19:24:25Z) - AL2: Progressive Activation Loss for Learning General Representations in
Classification Neural Networks [12.14537824884951]
本稿では,トレーニング中のアクティベーションの規模を段階的に罰する新たな正規化手法を提案する。
本手法が一般化に与える影響をラベルランダム化試験と累積アブレーションを用いて解析した。
論文 参考訳（メタデータ） (2020-03-07T18:38:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。