論文の概要: AL2: Progressive Activation Loss for Learning General Representations in Classification Neural Networks

• arxiv url: http://arxiv.org/abs/2003.03633v1
• Date: Sat, 7 Mar 2020 18:38:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-25 19:04:06.960555
• Title: AL2: Progressive Activation Loss for Learning General Representations in Classification Neural Networks
• Title（参考訳）: al2: 分類ニューラルネットワークにおける一般表現学習のためのプログレッシブアクティベーション損失
• Authors: Majed El Helou, Frederike D\"umbgen, Sabine S\"usstrunk
• Abstract要約: 本稿では,トレーニング中のアクティベーションの規模を段階的に罰する新たな正規化手法を提案する。 本手法が一般化に与える影響をラベルランダム化試験と累積アブレーションを用いて解析した。
• 参考スコア（独自算出の注目度）: 12.14537824884951
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The large capacity of neural networks enables them to learn complex functions. To avoid overfitting, networks however require a lot of training data that can be expensive and time-consuming to collect. A common practical approach to attenuate overfitting is the use of network regularization techniques. We propose a novel regularization method that progressively penalizes the magnitude of activations during training. The combined activation signals produced by all neurons in a given layer form the representation of the input image in that feature space. We propose to regularize this representation in the last feature layer before classification layers. Our method's effect on generalization is analyzed with label randomization tests and cumulative ablations. Experimental results show the advantages of our approach in comparison with commonly-used regularizers on standard benchmark datasets.
• Abstract（参考訳）: ニューラルネットワークの容量が大きいため、複雑な機能を学ぶことができる。 しかし、過度な適合を避けるためには、ネットワークには大量のトレーニングデータが必要である。 オーバーフィッティングを減らすための一般的な実践的アプローチは、ネットワーク正規化技術の使用である。 トレーニング中のアクティベーションの規模を段階的に罰する新たな正規化手法を提案する。 与えられた層内の全てのニューロンが生成する複合活性化信号は、その特徴空間内の入力画像の表現を形成する。 我々は、この表現を分類レイヤーの前に最後の特徴層で正規化することを提案する。 本手法の一般化に対する効果をラベルランダム化試験と累積アブレーションを用いて解析する。 実験の結果,標準ベンチマークデータセットにおける一般的な正規化器と比較して,本手法の利点が示された。

関連論文リスト

• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• A Scalable Walsh-Hadamard Regularizer to Overcome the Low-degree Spectral Bias of Neural Networks [79.28094304325116]
  任意の関数を学習するニューラルネットワークの能力にもかかわらず、勾配降下によって訓練されたモデルは、しばしばより単純な関数に対するバイアスを示す。 我々は、この低度周波数に対するスペクトルバイアスが、現実のデータセットにおけるニューラルネットワークの一般化を実際にいかに損なうかを示す。 本稿では,ニューラルネットワークによる高次周波数学習を支援する,スケーラブルな機能正規化手法を提案する。
  論文  参考訳（メタデータ） (2023-05-16T20:06:01Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Theoretical Characterization of How Neural Network Pruning Affects its Generalization [131.1347309639727]
  この研究は、異なるプルーニング率がモデルの勾配降下ダイナミクスと一般化にどのように影響するかを研究する最初の試みである。 プルーニング率が一定の閾値以下である限り、勾配降下はトレーニング損失をゼロに導くことができる。 より驚くべきことに、プルーニング分数が大きくなるにつれて、一般化境界はより良くなる。
  論文  参考訳（メタデータ） (2023-01-01T03:10:45Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• On the optimization and generalization of overparameterized implicit neural networks [25.237054775800164]
  機械学習コミュニティでは、暗黙のニューラルネットワークがますます魅力的になっている。 暗黙の層のみを訓練しても,グローバル収束が保証されることを示す。 本稿では,暗黙的ニューラルネットワークの一般化誤差について検討する。
  論文  参考訳（メタデータ） (2022-09-30T16:19:46Z)
• With Greater Distance Comes Worse Performance: On the Perspective of Layer Utilization and Model Generalization [3.6321778403619285]
  ディープニューラルネットワークの一般化は、マシンラーニングにおける主要なオープンな問題の1つだ。 初期のレイヤは一般的に、トレーニングデータとテストデータの両方のパフォーマンスに関する表現を学びます。 より深いレイヤは、トレーニングのリスクを最小限に抑え、テストや不正なラベル付けされたデータとうまく連携できない。
  論文  参考訳（メタデータ） (2022-01-28T05:26:32Z)
• Subquadratic Overparameterization for Shallow Neural Networks [60.721751363271146]
  私たちは、標準的なニューラルトレーニング戦略を採用することができる分析フレームワークを提供しています。 我々は、Desiderata viaak-Lojasiewicz, smoothness, and standard assumptionsを達成する。
  論文  参考訳（メタデータ） (2021-11-02T20:24:01Z)
• Compressive Sensing and Neural Networks from a Statistical Learning Perspective [4.561032960211816]
  線形測定の少ないスパース再構成に適したニューラルネットワークのクラスに対する一般化誤差解析を提案する。 現実的な条件下では、一般化誤差は層数で対数的にしかスケールせず、測定数ではほとんど線形である。
  論文  参考訳（メタデータ） (2020-10-29T15:05:43Z)
• Exploiting the Full Capacity of Deep Neural Networks while Avoiding Overfitting by Targeted Sparsity Regularization [1.3764085113103217]
  オーバーフィッティングは、比較的小さなデータセットでディープニューラルネットワークをトレーニングする際の最も一般的な問題の1つである。 オーバーフィッティング対策として, 新規な対象空間可視化と正規化戦略を提案する。
  論文  参考訳（メタデータ） (2020-02-21T11:38:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。